24 lines
2.5 KiB
Markdown
24 lines
2.5 KiB
Markdown
# E. Independent Reproducibility — 10%
|
||
|
||
[Mục lục](README.md) · Áp dụng: v4, mục 3.1 về tránh tính trùng và mục 3.2 “Independent reproducibility”; biến `R`. Kiểm tra nguồn: 19/10/2026.
|
||
|
||
## Paper và vị trí cụ thể
|
||
|
||
**[E1] Pineau, J.; Vincent-Lamarre, P.; Sinha, K.; Larivière, V.; Beygelzimer, A.; d’Alché-Buc, F.; Fox, E.; Larochelle, H. (2021). “Improving Reproducibility in Machine Learning Research (A Report from the NeurIPS 2019 Reproducibility Program).” JMLR 22(164), 1–20.** [Bản PDF tại JMLR](https://www.jmlr.org/papers/volume22/20-303/20-303.pdf).
|
||
|
||
Đọc **mục 2.1, trang 4** về định nghĩa; **mục 2.3, trang 5** về chia sẻ code; **mục 4, trang 9–10** về Reproducibility Challenge. Mục 4 mô tả hoạt động kiểm chứng độc lập các claim thực nghiệm và công khai kết quả. Các phần này phân biệt điều kiện hỗ trợ tái lập với hoạt động kiểm chứng thực tế.
|
||
|
||
## Scholar Radar sử dụng như thế nào?
|
||
|
||
Từ [E1], tách ba câu hỏi: paper mô tả đủ không (A), artifact có truy cập/kiểm tra được không, và có báo cáo kiểm chứng độc lập không (E). Đây là cách vận dụng vào v4, không phải thang điểm của paper nguồn.
|
||
|
||
**Ví dụ giả định:** repo có README và config chỉ là bằng chứng artifact. Muốn ghi “đã tái lập độc lập”, phải có báo cáo của nhóm khác, chỉ rõ claim nào, phiên bản code/data, thiết lập và kết quả đối chiếu. Một bảng kết quả được tái lập không đại diện toàn bộ paper.
|
||
|
||
Khi ghi nhận thất bại, phân biệt lỗi môi trường/thiếu tài nguyên với thất bại của claim sau một phép thử phù hợp; báo cáo thất bại đơn lẻ chưa tự chứng minh paper sai.
|
||
|
||
## Giới hạn căn cứ
|
||
|
||
**10%** và các mức 0–4 là đề xuất nội bộ. Tên nhóm “Independent Reproducibility” rộng hơn bằng chứng tại mức 1–2 của v4: các mức này mới phản ánh khả năng tiếp cận artifact. Cần giữ nhãn trạng thái riêng để không gọi đó là tái lập độc lập.
|
||
|
||
V4 có nhắc ACM artifact badges. Trang chính sách ACM trả lỗi truy cập trong lần rà soát này, nên **không dùng làm căn cứ đã kiểm chứng cho từng mức badge**. Khi tích hợp badge thật, cần đọc đúng phiên bản chính sách và phạm vi đánh giá; hồ sơ hiện dùng [E1] làm căn cứ trực tiếp.
|