Cơ sở khoa học và nguồn tham chiếu cho Paper Rating v4

Đối chiếu nguồn: 19/10/2026. Phạm vi: tám nhóm trong đặc tả v4, ưu tiên paper ML thực nghiệm. Đây là bộ tài liệu trong worklog, có thể tách thành repo tài liệu sau này.

Cách đọc

Đi từ cột Nguồn Paper / cơ sở áp dụng trong đặc tả đến hồ sơ nhóm bên dưới, rồi mở nguồn gốc ở đúng mục/trang được ghi. Mỗi hồ sơ phân biệt nội dung nguồn, cách Scholar Radar vận dụng, và điều nguồn không chứng minh. Các diễn giải tiếng Việt là tóm tắt, không phải trích nguyên văn.

• A — Scientific Content Quality, 40%: NeurIPS Reviewer Guidelines, Paper Checklist; ánh xạ đủ sáu tiêu chí con.
• B — Venue Credibility, 15%: CORE Conference Details; DORA làm giới hạn đối với suy luận từ venue.
• C — Peer-review Evidence, 10%: NeurIPS Review Form và quy trình phản hồi tác giả.
• D — Scientific Impact, 10%: Hicks et al. (2015), Leiden Manifesto, nguyên tắc 1, 6, 8.
• E — Independent Reproducibility, 10%: Pineau et al. (2021), JMLR, mục 2.1, 2.3, 4.
• F — Author Track Record, 5%: ORCID assertions; Leiden Manifesto, nguyên tắc 7.
• G — Institution Transparency, 5%: ROR registry và nguồn xác nhận affiliation trong ORCID.
• H — Research Integrity, 5%: COPE Retraction Guidelines v2 (2019), trang 2–3.

Phân loại căn cứ

Paper học thuật: Hicks et al. là bài Comment về nguyên tắc đánh giá; Pineau et al. là báo cáo chương trình tái lập. Không phải nghiên cứu xác nhận công thức tổng hợp của Scholar Radar.

Hướng dẫn/chính sách chuyên môn: NeurIPS, DORA, COPE hỗ trợ xây dựng tiêu chí hoặc giới hạn suy luận. Không gọi các tài liệu này là paper thực nghiệm.

Tài liệu hạ tầng dữ liệu: CORE, ORCID, ROR mô tả đối tượng hoặc dữ liệu có thể tra cứu. Khả năng lấy dữ liệu không đồng nghĩa dữ liệu đó đo chất lượng paper.

Phần còn là đề xuất của Scholar Radar

Toàn bộ trọng số 40/15/10/10/10/5/5/5, tỷ trọng con 25/25/15/15/15/5, 24 câu hỏi, thang 0–4, ngưỡng percentile, phép cộng tuyến tính, chính sách thiếu dữ liệu và quality gates là thiết kế nội bộ. Chưa tìm thấy trong các nguồn đã rà soát một phép kiểm chứng cho tổ hợp này. Việc AI áp dụng rubric của reviewer cũng cần đánh giá riêng.

Đặc biệt, F/G có căn cứ cho xác minh thông tin, chưa có căn cứ trực tiếp để cộng mỗi nhóm 5% vào chất lượng một bài. Khi kiểm nghiệm theo mục 7 của v4, cần so sánh mô hình có/không có F/G và đánh giá thiên lệch. Tài liệu này giữ nguyên phương án v4 để nhóm thảo luận, không tự sửa công thức.

Quy ước bổ sung nguồn

Mỗi nguồn mới cần ghi tác giả/tổ chức, tên, năm/phiên bản, DOI hoặc URL gốc, mục/trang cụ thể, ngày kiểm tra, nội dung được dùng và giới hạn. Với HTML thay đổi theo thời gian, ghi tên mục và phiên bản; không bịa số trang. Nếu chưa đọc được toàn văn thì ghi rõ, không dùng làm căn cứ chi tiết.

Khi chấm một paper thực tế, phân biệt nguồn thiết kế rubric trong bộ này với bằng chứng của paper đang chấm: DOI/version, đoạn PDF, review ID, báo cáo chạy lại hoặc notice. Ví dụ minh họa trong các hồ sơ là tình huống giả định, không phải kết quả chấm một paper có thật.