Upload files to "/"

2026-10-19 15:12:41 +07:00
commit 9e8246160f
@@ -0,0 +1,21 @@
 # D. Scientific Impact — 10%
 [Mục lục](README.md) · Áp dụng: v4, mục 3.2 “Impact”; biến `I`. Kiểm tra nguồn: 19/10/2026.
 ## Paper và vị trí cụ thể
 **[D1] Hicks, D.; Wouters, P.; Waltman, L.; de Rijcke, S.; Rafols, I. (2015). “Bibliometrics: The Leiden Manifesto for research metrics.” Nature 520, 429–431.** Bài Comment về nguyên tắc đánh giá; DOI [10.1038/520429a](https://doi.org/10.1038/520429a). Trang Nature chỉ hiển thị preview khi kiểm tra; đối chiếu toàn văn bằng [bản bài gốc được CAPES lưu](https://www.gov.br/capes/pt-br/centrais-de-conteudo/2782015-the-leiden-manifesto-pdf/@@display-file/file).
 Vị trí: **nguyên tắc 1 và 6, trang 430; nguyên tắc 8, trang 431**. Nguồn đề nghị metrics hỗ trợ chuyên gia, xét khác biệt citation giữa lĩnh vực, dùng chuẩn hóa/percentile và tránh độ chính xác giả.
 ## Scholar Radar sử dụng như thế nào?
 Nguyên tắc 6 hỗ trợ lựa chọn percentile thay citation thô. V4 cụ thể hóa thành tập so sánh cùng **năm/lĩnh vực/loại bài**; cách chọn cohort này vẫn cần định nghĩa và kiểm nghiệm riêng. Nguyên tắc 1, 8 hỗ trợ diễn giải điểm cùng hạn chế thay vì coi citation là phép kiểm tra tính đúng đắn.
 **Ví dụ giả định:** 20 citation ở một lĩnh vực nhỏ không tự thấp hơn 100 citation ở lĩnh vực lớn. Phải biết phân phối của cohort trước khi xếp percentile. Lưu nguồn metadata, ngày lấy dữ liệu, định nghĩa cohort và số phần tử để người đọc kiểm tra phép tính.
 OpenAlex/Semantic Scholar là nguồn lấy dữ liệu trong v4. Không đồng nhất mọi field normalized metric của provider với percentile tự định nghĩa; phải kiểm tra định nghĩa trước khi sử dụng.
 ## Giới hạn căn cứ
 [D1] không xác nhận **10%**, năm mức percentile **20/40/60/80**, chính sách tuổi tối thiểu hoặc cách xác định citation độc lập của v4. Bài viết không phải kiểm nghiệm khả năng dự đoán chất lượng paper của hệ thống này. Các ngưỡng, xử lý paper mới và quan hệ giữa citation với chất lượng cần hiệu chuẩn riêng.
@@ -0,0 +1,23 @@
 # E. Independent Reproducibility — 10%
 [Mục lục](README.md) · Áp dụng: v4, mục 3.1 về tránh tính trùng và mục 3.2 “Independent reproducibility”; biến `R`. Kiểm tra nguồn: 19/10/2026.
 ## Paper và vị trí cụ thể
 **[E1] Pineau, J.; Vincent-Lamarre, P.; Sinha, K.; Larivière, V.; Beygelzimer, A.; d’Alché-Buc, F.; Fox, E.; Larochelle, H. (2021). “Improving Reproducibility in Machine Learning Research (A Report from the NeurIPS 2019 Reproducibility Program).” JMLR 22(164), 1–20.** [Bản PDF tại JMLR](https://www.jmlr.org/papers/volume22/20-303/20-303.pdf).
 Đọc **mục 2.1, trang 4** về định nghĩa; **mục 2.3, trang 5** về chia sẻ code; **mục 4, trang 9–10** về Reproducibility Challenge. Mục 4 mô tả hoạt động kiểm chứng độc lập các claim thực nghiệm và công khai kết quả. Các phần này phân biệt điều kiện hỗ trợ tái lập với hoạt động kiểm chứng thực tế.
 ## Scholar Radar sử dụng như thế nào?
 Từ [E1], tách ba câu hỏi: paper mô tả đủ không (A), artifact có truy cập/kiểm tra được không, và có báo cáo kiểm chứng độc lập không (E). Đây là cách vận dụng vào v4, không phải thang điểm của paper nguồn.
 **Ví dụ giả định:** repo có README và config chỉ là bằng chứng artifact. Muốn ghi “đã tái lập độc lập”, phải có báo cáo của nhóm khác, chỉ rõ claim nào, phiên bản code/data, thiết lập và kết quả đối chiếu. Một bảng kết quả được tái lập không đại diện toàn bộ paper.
 Khi ghi nhận thất bại, phân biệt lỗi môi trường/thiếu tài nguyên với thất bại của claim sau một phép thử phù hợp; báo cáo thất bại đơn lẻ chưa tự chứng minh paper sai.
 ## Giới hạn căn cứ
 **10%** và các mức 0–4 là đề xuất nội bộ. Tên nhóm “Independent Reproducibility” rộng hơn bằng chứng tại mức 1–2 của v4: các mức này mới phản ánh khả năng tiếp cận artifact. Cần giữ nhãn trạng thái riêng để không gọi đó là tái lập độc lập.
 V4 có nhắc ACM artifact badges. Trang chính sách ACM trả lỗi truy cập trong lần rà soát này, nên **không dùng làm căn cứ đã kiểm chứng cho từng mức badge**. Khi tích hợp badge thật, cần đọc đúng phiên bản chính sách và phạm vi đánh giá; hồ sơ hiện dùng [E1] làm căn cứ trực tiếp.
@@ -0,0 +1,21 @@
 # F. Author Track Record — 5%
 [Mục lục](README.md) · Áp dụng: v4, mục 3.2 “Author”; biến `A`. Kiểm tra nguồn: 19/10/2026.
 ## Nguồn và vị trí cụ thể
 **[F1] ORCID (2022). “What does ‘Source’ mean in an ORCID record?”** Tài liệu hạ tầng, không phải nghiên cứu về chất lượng tác giả. Đọc [định nghĩa assertions và mục Examples](https://info.orcid.org/ufaqs/what-does-source-mean-in-an-orcid-record/): thông tin có thể được thêm bởi chủ hồ sơ hoặc hệ thống được cho phép; nguồn cho biết ai đã thêm assertion.
 **[F2] Hicks et al. (2015), Leiden Manifesto**, thông tin thư mục và bản toàn văn tại [hồ sơ D](d-scientific-impact.md). Đọc **nguyên tắc 7, trang 431**: đánh giá cá nhân dựa trên hồ sơ công trình và nhận định định tính; h-index chịu ảnh hưởng tuổi nghề, lĩnh vực và cơ sở dữ liệu.
 ## Scholar Radar sử dụng như thế nào?
 [F1] hỗ trợ kiểm tra định danh và xuất xứ dữ liệu trước khi ghép tác giả–công trình. [F2] là giới hạn cho việc dùng số lượng paper/h-index thay đánh giá đóng góp. Không nguồn nào ở đây nói rằng tác giả có hồ sơ tốt thì paper mới của họ đúng.
 **Ví dụ giả định:** hai người cùng tên, một hồ sơ có nhiều citation. Không được gán hồ sơ nổi tiếng hơn cho paper; cần DOI, ORCID đã liên kết và dữ liệu đối chiếu. Tác giả mới hoặc chưa giải quyết trùng tên giữ trạng thái chưa xác minh.
 Nếu xem correction/retraction trong lịch sử, phải kiểm tra đúng công trình, lý do notice và vai trò có bằng chứng; không biến một sự kiện của đồng tác giả thành kết luận về mọi công trình sau này.
 ## Giới hạn căn cứ
 **Chưa có căn cứ trực tiếp trong các nguồn đã rà soát cho trọng số 5% hoặc phép đổi hồ sơ tác giả thành điểm chất lượng paper.** ORCID chỉ hỗ trợ provenance, không phải chứng chỉ năng lực. Các anchors 0–4 chưa có cơ sở hiệu chuẩn. Nhóm F cần được thử như một giả thuyết thiết kế; nên so sánh với phương án chỉ hiển thị thông tin tác giả bên ngoài overall.
@@ -0,0 +1,21 @@
 # G. Institution Transparency — 5%
 [Mục lục](README.md) · Áp dụng: v4, mục 3.2 “Institution”; biến `O`. Kiểm tra nguồn: 19/10/2026.
 ## Nguồn và vị trí cụ thể
 **[G1] Research Organization Registry — Registry**, tài liệu hạ tầng dữ liệu. Đọc [Scope and criteria for inclusion; About registry data](https://ror.org/registry): ROR định danh tổ chức tham gia nghiên cứu và cung cấp metadata để phân biệt tổ chức. Đây không phải bảng xếp hạng trường.
 **[G2] ORCID (2021). “Trust Markers: Interpreting the trustworthiness of an ORCID record.”** Đọc [Using trust markers… → Affiliations](https://info.orcid.org/interpreting-the-trustworthiness-of-an-orcid-record/): phân biệt affiliation tự khai với affiliation do tổ chức thành viên thêm. Nguồn assertion giúp diễn giải độ tin cậy của liên kết người–tổ chức.
 ## Scholar Radar sử dụng như thế nào?
 [G1] phục vụ chuẩn hóa tên/alias và ROR ID. [G2] hỗ trợ kiểm tra ai xác nhận quan hệ affiliation. Hai bước phải tách nhau: tổ chức tồn tại trong ROR không tự chứng minh một tác giả thuộc tổ chức đó ở thời điểm xuất bản.
 **Ví dụ giả định:** paper ghi tên viết tắt của một viện có nhiều tổ chức trùng tên. Cần đối chiếu địa chỉ/domain và affiliation của tác giả theo thời gian. Nếu chỉ tìm được ROR ID của viện, ghi nhận tổ chức đã khớp nhưng quan hệ tác giả–viện còn chưa xác minh.
 Khai báo xung đột lợi ích phải đọc từ paper/publisher hoặc nguồn xác nhận riêng. ROR không cung cấp bằng chứng rằng một paper đã khai báo đủ xung đột lợi ích.
 ## Giới hạn căn cứ
 **Chưa có căn cứ trực tiếp trong hai nguồn cho việc cộng 5% vào điểm chất lượng paper**, hoặc cho thang 0–4. Chúng chỉ hỗ trợ tính minh bạch và định danh. Không có ROR/affiliation công khai không chứng minh nghiên cứu kém; tác giả độc lập cần được xét phù hợp. Quyết định giữ nhóm G trong overall phải qua kiểm nghiệm, kể cả phương án chỉ hiển thị như metadata.
@@ -0,0 +1,184 @@
 # Scholar Radar — Đề xuất hệ thống chấm điểm Paper v4
 > **Trạng thái:** Đề xuất thiết kế, chưa triển khai/chưa được hiệu chuẩn. **Ngày rà soát nguồn:** 16/10/2026.  
 > **Cơ sở:** `paper-rating-v2` (tài liệu gốc), đề xuất v3, và hướng mới: **yếu tố bên ngoài phải ảnh hưởng tới Overall Paper Score**.  
 > **Phạm vi đầu tiên:** paper Machine Learning thực nghiệm; không áp dụng máy móc cho survey, lý thuyết, hệ thống hay HCI.
 ## 1. Mục tiêu và nguyên tắc
 Tạo **Overall Paper Score (0–100)** từ chất lượng nội dung và bằng chứng bên ngoài: nơi công bố, phản biện, ảnh hưởng, tái lập, tác giả, tổ chức và tính toàn vẹn. Không nhầm **uy tín** với **tính đúng đắn**: tác giả nổi tiếng và hội nghị hạng cao không thể xóa lỗi kỹ thuật. Hội nghị thu phí không đồng nghĩa hội nghị săn mồi; cần bằng chứng về quy trình phản biện và hành vi xuất bản.
 **Phân biệt ba loại kết quả:** (1) `content_score` dựa trên đọc paper, (2) `external_evidence` theo từng nguồn có provenance, (3) `overall_score` khi đủ độ bao phủ. Không có dữ liệu ≠ điểm 0. Kết quả cần hiển thị coverage, thời điểm cập nhật, nguồn, hạn chế và trạng thái provisional/verified. Không coi đánh giá AI là peer review chính thức.
 ## 2. Căn cứ từ các tổ chức chấm paper
 | Tổ chức / hệ thống | Cách đánh giá thực tế | Điều Scholar Radar học theo | Không được suy diễn |
 |---|---|---|---|
 | **NeurIPS 2025** | Reviewer đánh giá **Quality, Clarity, Significance, Originality** theo mức **1–4** (poor/fair/good/excellent), thêm Overall 1–6 và nhận xét | Trục nội dung, thang mức có mô tả, yêu cầu dẫn chứng | **Không** có công thức 40/15/10… chính thức |
 | **ICML / ICLR** | Peer review có nhận xét kỹ thuật, bằng chứng và overall recommendation; mẫu và thang thay đổi theo năm | Kiểm tra soundness, contribution và khả năng chứng minh claim | Không coi điểm reviewer khác năm/hội nghị là cùng một thang |
 | **ACL Rolling Review** | Form phản biện phân biệt soundness, excitement/overall và reproducibility | Tách chất lượng chứng cứ với khả năng tái lập | Không tự suy reviewer giỏi từ confidence |
 | **ICORE/CORE** | Phân hạng **hội nghị**, thường A*, A, B, C tùy danh mục/năm | Bằng chứng uy tín **venue**, không phải điểm paper | Không mặc định A*=100 hay không có hạng=0 |
 | **OpenAlex / Semantic Scholar** | Chỉ số thư mục và trích dẫn, **không** phải hội đồng chấm chất lượng paper | Impact theo tuổi/lĩnh vực và nguồn trích dẫn | Citation nhiều ≠ kết quả đúng |
 Nguồn chính thức: [NeurIPS Reviewer Guidelines 2025](https://neurips.cc/Conferences/2025/ReviewerGuidelines), [ICML Reviewer Instructions](https://icml.cc/Conferences/2026/ReviewerInstructions), [ICLR Reviewer Guide](https://iclr.cc/Conferences/2026/ReviewerGuide), [ACL Rolling Review review form](https://github.com/acl-org/aclrollingreview/blob/main/reviewform.md). **Trọng số và công thức dưới đây do Scholar Radar đề xuất, không được gán cho các tổ chức trên.**
 ## 3. Rubric tổng hợp: 8 yếu tố, 100 điểm
 **Cách truy nguồn (bổ sung 19/10/2026):** Mục 2 là tổng quan; [bộ cơ sở khoa học và hồ sơ A–H](paper-rating-foundations/README.md) chỉ rõ mục/trang của nguồn, cách áp dụng và giới hạn cho từng nhóm. Cột **Nguồn Paper / cơ sở áp dụng** dẫn đến các hồ sơ này; cột **Nguồn ưu tiên** vẫn là nơi lấy dữ liệu của paper đang chấm. Không phải mọi nguồn đều là paper học thuật: hướng dẫn phản biện, chính sách và tài liệu định danh được phân loại rõ.
 | Nhóm | Trọng số | Dữ liệu / câu hỏi chính | Nguồn ưu tiên | Nguồn Paper / cơ sở áp dụng | Độ khả thi MVP |
 |---|---:|---|---|---|---|
 | **A. Scientific Content Quality** | **40%** | Soundness, experimental rigor, originality, significance, clarity | PDF + AI có dẫn chứng | [NeurIPS 2025 Review Form + Paper Checklist — ánh xạ 6 tiêu chí con](paper-rating-foundations/a-scientific-content.md) | Cao với ML thực nghiệm, cần kiểm chứng người |
 | **B. Venue Credibility** | **15%** | Venue xác thực, quy trình review, ranking có năm, dấu hiệu predatory có bằng chứng | Publisher/proceedings, ICORE, DBLP/Crossref | [CORE Conference Details; DORA khuyến nghị 1 — giới hạn suy luận từ venue](paper-rating-foundations/b-venue-credibility.md) | Trung bình; licensing ICORE cần kiểm tra |
 | **C. Peer-review Evidence** | **10%** | Review công khai, lập luận, độ nhất quán, phản hồi tác giả | OpenReview, trang hội nghị | [NeurIPS 2025 Main Tasks 4–5, Review Form 7/10 — review và rebuttal](paper-rating-foundations/c-peer-review.md) | Trung bình/thấp vì nhiều review không công khai |
 | **D. Scientific Impact** | **10%** | Citation chuẩn hóa tuổi/lĩnh vực, trích dẫn độc lập, xu hướng | OpenAlex, Semantic Scholar | [Hicks et al. (2015), Leiden Manifesto — nguyên tắc 1/6/8](paper-rating-foundations/d-scientific-impact.md) | Cao cho metadata; thấp cho paper rất mới |
 | **E. Independent Reproducibility** | **10%** | Code/data/config và **bằng chứng chạy lại độc lập** | GitHub, artifact badge, reproducibility reports | [Pineau et al. (2021), JMLR — mục 2.1/2.3/4](paper-rating-foundations/e-reproducibility.md) | Trung bình; kiểm chứng chạy lại khó |
 | **F. Author Track Record** | **5%** | Nhận diện tác giả đúng, lịch sử nghiên cứu liên quan, correction/retraction được xác minh | ORCID, OpenAlex, Crossref | [ORCID assertions; Leiden nguyên tắc 7 — chưa chứng minh trọng số chất lượng](paper-rating-foundations/f-author-track-record.md) | Trung bình; tránh đánh đồng trùng tên |
 | **G. Institution Transparency** | **5%** | Affiliation được xác minh, cơ sở nghiên cứu có thực, khai báo xung đột lợi ích | ROR, ORCID, publisher | [ROR Registry; ORCID Trust Markers — căn cứ định danh/affiliation](paper-rating-foundations/g-institution-transparency.md) | Trung bình; **không chấm theo thứ hạng đại học** |
 | **H. Research Integrity** | **5%** | Retraction, correction, expression of concern, sự kiện integrity có nguồn | Crossmark/Crossref, publisher, Retraction Watch nếu được phép | [COPE Retraction Guidelines v2 (2019), trang 2–3 — notice và correction](paper-rating-foundations/h-research-integrity.md) | Trung bình; không thể chứng minh không có vấn đề |
 | **Tổng** | **100%** | | | | |
 **Giải thích trọng số:** 40% nội dung để tính đúng đắn vẫn là nền tảng; 15% venue và 10% review phản ánh kiểm tra bên ngoài; 10% impact và 10% reproducibility ghi nhận sử dụng/kiểm chứng; 5% tác giả + 5% tổ chức chỉ ảnh hưởng hạn chế để giảm thiên lệch danh tiếng; 5% integrity chỉ là thành phần nền, **đồng thời có hard gates riêng**. Các tỷ lệ này **chưa có xác nhận thực nghiệm**, cần hiệu chuẩn với bộ paper có review chuyên gia.
 ### 3.1. Nội dung (40% overall): rubric con
 | Tiêu chí con | Tỷ trọng trong Content | Câu hỏi kiểm tra |
 |---|---:|---|
 | Technical Soundness | 25% | Định nghĩa, giả định, phương pháp, lập luận có hợp lý? Claim có được chứng cứ hỗ trợ? |
 | Experimental Rigor | 25% | Dataset/split/metric, baseline công bằng, ablation, độ ổn định, thống kê? |
 | Originality | 15% | Khác biệt kỹ thuật/tri thức so với related work? **Chưa xác minh tính mới ngoài tài liệu nếu chưa truy cứu** |
 | Significance | 15% | Vấn đề quan trọng? Kết quả có khả năng giúp lĩnh vực tiến bộ? |
 | Reproducibility Documentation | 15% | Có đủ mô tả code/data/seed/hyperparameter/environment để người khác tái lập? |
 | Clarity | 5% | Bố cục, thuật ngữ, bảng/hình, giới hạn rõ ràng? |
 **Tránh tính trùng:** Reproducibility Documentation là mức **tài liệu đủ thông tin** trong Content; nhóm E là **bằng chứng bên ngoài** về khả năng chạy lại, không cộng thêm điểm chỉ vì có cùng một link GitHub.
 Mỗi tiêu chí con có **4 câu hỏi**, mỗi câu **0–4 hoặc null**, kèm `rationale`, `evidence_block_ids`, `checked_block_ids`; code tính điểm tiêu chí `100 × sum(level)/16` khi đủ 4 câu. Mức chung: 0 thiếu/sai nghiêm trọng có bằng chứng; 1 chỉ nêu; 2 căn cứ cơ bản nhưng thiếu đáng kể; 3 rõ và tương đối đầy đủ; 4 đáp ứng đầy đủ **trong phạm vi kiểm tra**. Mỗi câu phải có **anchor riêng** trong bản rubric triển khai. Nếu PDF thiếu phần cần đọc: null, không phải 0. **Không** được cho 4 chỉ vì AI không tìm thấy lỗi.
 ### 3.2. Chấm điểm bên ngoài: đề xuất thang 0–4 có điều kiện
 - **Venue:** 0 = có bằng chứng xác minh hoạt động chấp nhận bài không phản biện hoặc giả mạo; 1 = quy trình rất thiếu minh bạch, có vấn đề được xác minh; 2 = xác minh nơi công bố nhưng bằng chứng kiểm soát chất lượng hạn chế; 3 = quy trình review và proceedings minh bạch; 4 = có bằng chứng độc lập mạnh về quy trình chọn lọc và quản trị chất lượng. **ICORE A*/A/B/C chỉ là một tín hiệu, không quyết định mức một mình.** Không xác minh được → null.
 - **Peer review:** 0 = có review công khai phát hiện lỗi nghiêm trọng chưa được giải quyết; 1 = phản biện nêu nhiều vấn đề cốt lõi; 2 = ý kiến trái chiều/chưa giải quyết đủ; 3 = review có luận cứ tốt, các vấn đề lớn được trả lời; 4 = nhiều review độc lập nhất quán và có luận cứ mạnh. Đây là **rubric nội bộ**; không quy đổi máy móc rating 7/10 thành 70/100. Không công khai review → null.
 - **Impact:** đánh giá theo percentile citation **cùng năm/lĩnh vực/loại bài**, kiểm tra nguồn và loại trích dẫn; không chấm citation thô. Đề xuất thử ngưỡng percentile: <20→0, 20–39→1, 40–59→2, 60–79→3, ≥80→4; **ngưỡng cần hiệu chuẩn**, paper mới thiếu độ trưởng thành → null/provisional.
 - **Independent reproducibility:** 0 = có báo cáo tái lập thất bại đáng tin cậy, lỗi thiết yếu; 1 = chỉ có claim/link không truy cập được; 2 = code/data và cấu hình có thể kiểm tra; 3 = artifact được kiểm tra độc lập; 4 = có tái lập độc lập đáng tin cậy. Không có code **không tự động** đồng nghĩa 0 nếu không phải loại nghiên cứu cần code.
 - **Author:** 0–4 dựa trên **bằng chứng kiểm chứng được** về hồ sơ nghiên cứu liên quan, minh bạch và correction; không dựa vào tên tuổi, h-index hoặc số paper đơn thuần. Với tác giả mới hoặc trùng tên chưa giải quyết: null/neutral provisional, không phạt.
 - **Institution:** 0–4 dựa trên xác thực affiliation, tính minh bạch và xung đột lợi ích được khai báo; không dùng QS/THE ranking như chất lượng paper. Nếu chưa xác minh → null.
 - **Integrity:** mức đánh giá dựa trên **trạng thái sự kiện đã xác minh**. Không tìm thấy retraction **không chứng minh sạch**, chỉ ghi `no_notice_found_as_of`. Không dùng AI tự cáo buộc gian lận.
 Các mô tả 0–4 ở đây là **khung đề xuất**, chưa phải rubric kiểm chứng được; trước triển khai phải viết anchors và kiểm tra độ nhất quán giữa người chấm.
 ## 4. Công thức, coverage và các tình huống đặc biệt
 `overall_raw = 0.40*C + 0.15*V + 0.10*P + 0.10*I + 0.10*R + 0.05*A + 0.05*O + 0.05*G`, với mọi thành phần 0–100; C=content, V=venue, P=peer review, I=impact, R=independent reproducibility, A=author, O=organization, G=integrity.
 **Không tự chia lại trọng số nếu thiếu dữ liệu.** Nếu một thành phần null, `overall_score=null` theo công thức đầy đủ; có thể công bố `content_score` và các thành phần đã có, kèm `evidence_coverage = tổng trọng số nhóm có dữ liệu / 100`. Nếu sản phẩm cần một con số sớm, chỉ đưa `provisional_estimate` theo **chính sách hiệu chuẩn riêng** và không xếp hạng chung với điểm đã đủ dữ liệu. Cần thiết kế phương pháp xử lý missingness để paper mới không bị loại khỏi trải nghiệm.
 **Quality gates:** retracted vì kết quả không hợp lệ → `integrity_status=retracted`, loại khỏi ranking bình thường và cảnh báo; lỗi soundness nghiêm trọng được chuyên gia/nguồn đáng tin xác minh → `critical_soundness_concern`, tạm ngừng công bố overall cho đến khi rà soát; venue có nghi vấn nhưng chưa xác minh → `venue_requires_review`, không gán nhãn predatory chắc chắn. **Không áp ngưỡng trừ điểm/cap số học chưa được thử nghiệm.** Correction nhỏ không đồng nghĩa retraction.
 **Ví dụ:** paper arXiv mới có C=88 nhưng chưa có venue/review/citation: chỉ công bố Content=88, Overall=`null`, coverage theo nhóm thực sự có dữ liệu; **không chấm 0** cho các nhóm thiếu. Paper có tác giả nổi tiếng nhưng soundness lỗi nghiêm trọng: flag quality gate, không cho danh tiếng kéo lên điểm cuối. Venue có phí xuất bản hợp pháp không tự bị trừ điểm.
 ## 5. Danh mục nguồn dữ liệu: độ tin cậy, lấy thế nào, chi phí, quota
 > Độ tin cậy dưới đây nói về **loại dữ liệu** (ví dụ DOI, citation, review), không phải chứng nhận mọi bản ghi đúng. Giá và quota thay đổi: phải đọc lại trang chính thức trước production. “Chưa xác minh” nghĩa là **không được tự điền con số**.
 | Nguồn | Dùng để lấy | Độ tin cậy / giới hạn | Cách lấy | Giá / miễn phí | Hạn mức và lưu ý |
 |---|---|---|---|---|---|
 | **OpenAlex** | Work/author/institution, citations, FWCI, venue | Tốt cho metadata/impact; lỗi ghép bản ghi, coverage theo lĩnh vực | REST API bằng DOI/OpenAlex ID, batch/filter | **$1 credit/ngày miễn phí** có key; prepaid từ $1, giá theo operation | Không key **10 req/s**, free key **30 req/s**; lookup ID miễn phí; list/filter **$0.10/1.000 calls**, search **$1/1.000**; giới hạn credit/ngày vẫn áp dụng. [Pricing](https://help.openalex.org/access/pricing/), [Examples](https://help.openalex.org/access/example-costs/), [Auth](https://help.openalex.org/api/authentication/) |
 | **Crossref / Crossmark** | DOI, publisher, publication metadata, update/retraction links | Cao với metadata do thành viên nộp; không đầy đủ tuyệt đối, cần kiểm tra publisher | `api.crossref.org/works/{doi}`; polite pool với mailto/User-Agent | Public/Polite **miễn phí**; Metadata Plus **trả phí, báo giá/điều khoản cần hỏi** | Từ 12/2025: Public **5 req/s single, 1 req/s list**; Polite **10 req/s single, 3 req/s list**; concurrency 1/3. Đọc header. [Access](https://www.crossref.org/documentation/retrieve-metadata/rest-api/access-and-authentication/), [2025 changes](https://www.crossref.org/blog/announcing-changes-to-rest-api-rate-limits/) |
 | **OpenReview** | Review, rating, decision, rebuttal (nếu công khai) | **Nguồn gốc** tốt cho review trên nền tảng; không đại diện mọi hội nghị, form thay đổi | OpenReview API v2, tra venue/submission/notes theo ID; tôn trọng quyền hiển thị | API công khai có thể truy cập miễn phí; **không xác minh phí dịch vụ/enterprise nếu có** | **Chưa xác minh quota công khai thống nhất**; bắt đầu ≤0,2 req/s thử nghiệm, theo 429 và chính sách; không scrape review ẩn. [Docs](https://docs.openreview.net/) |
 | **Semantic Scholar** | Citation, references, influential citations, paper matching | Tốt để đối chiếu OpenAlex; metadata và citation không đầy đủ tuyệt đối | Academic Graph API theo DOI/arXiv/S2 ID | API công khai miễn phí theo tài liệu; hạn mức cao hơn cần trao đổi | API key khởi đầu **1 req/s**; anonymous pool chia sẻ, không đảm bảo throughput. [API](https://www.semanticscholar.org/product/api) |
 | **GitHub** | Repository, releases, commits, license, code availability | Tốt cho trạng thái repo, **không chứng minh code chạy đúng** | REST API/GitHub App theo URL repo được paper cung cấp | API public metadata miễn phí; GitHub paid plans không phải điều kiện bắt buộc | **60 req/h** không auth; **5.000 req/h** token phổ biến; có secondary limits, search limits. [Rate limits](https://docs.github.com/en/rest/using-the-rest-api/rate-limits-for-the-rest-api) |
 | **ICORE / CORE ranking** | Hạng hội nghị CS | Có ích như tín hiệu venue; hạng phụ thuộc danh mục/năm, không chấm paper | Tải/tra cứu danh mục từ **nguồn chính thức**, lưu phiên bản và license | **Chưa xác minh quyền bulk reuse và phí cấp phép**; không tự giả định miễn phí | **Chưa xác minh API/quota chính thức**; không scrape tự động khi chưa được phép. [ICORE](https://www.core.edu.au/conference-portal) |
 | **DBLP** | Proceedings, tên venue, tác giả, bibliographic cross-check | Tốt cho CS bibliography; không chứng minh chất lượng | DBLP API/dataset theo chính sách sử dụng | Dữ liệu công khai; **kiểm tra license/điều khoản bulk** | Chưa xác minh quota endpoint cụ thể. [DBLP](https://dblp.org/faq/) |
 | **ORCID** | ORCID ID, hồ sơ tác giả/affiliation | Định danh tốt khi tác giả xác nhận; hồ sơ có thể thiếu hoặc tự khai | Public API và OAuth khi cần | Public API miễn phí; Member API cần membership | Chưa xác minh quota/gói member hiện hành. [ORCID API](https://info.orcid.org/documentation/features/public-api/) |
 | **ROR** | Định danh tổ chức và alias | Tốt để xác thực tổ chức; không đánh giá chất lượng trường | ROR API/dataset | API/dataset công khai | Cần kiểm tra chính sách sử dụng và quota hiện hành. [ROR](https://ror.readme.io/) |
 | **Publisher / proceedings** | Acceptance, editorial notices, review policy | **Nguồn ưu tiên** cho trạng thái xuất bản và correction | DOI landing page, Crossmark, publisher API nếu có | Tùy nhà xuất bản; metadata thường công khai, full text có thể trả phí | Quota/licensing tùy nguồn; không tự crawl trái robots/ToS |
 | **Retraction Watch / Crossref data** | Retraction/correction records | Tốt để kiểm tra cảnh báo nhưng không toàn diện; phải đối chiếu publisher | Nguồn dữ liệu có quyền truy cập và DOI mapping | Quyền tái sử dụng/bulk **cần kiểm tra riêng** | Không có quota chung xác minh; không suy “không có bản ghi = sạch” |
 | **Papers with Code (lịch sử)** | Liên kết paper–code/benchmark cũ | Dữ liệu có thể lỗi thời | Snapshot/repository dữ liệu cũ nếu giấy phép cho phép | Không giả định có API live | **Không dùng API cũ làm dependency production**; ưu tiên link repo trực tiếp |
 ### 5.1. Nguồn nào là “đáng tin” cho loại quyết định nào?
 - **DOI, metadata, notice:** ưu tiên Crossref + publisher; nếu xung đột, kiểm tra trang chính thức và lưu conflict.
 - **Venue identity:** publisher/proceedings + DBLP; ranking ICORE chỉ khi xác minh đúng venue, năm và giấy phép.
 - **Peer review:** OpenReview notes gốc (nếu công khai); không dùng AI đoán danh tính reviewer ẩn hoặc suy điểm từ tên hội nghị.
 - **Citations:** OpenAlex và Semantic Scholar để đối chiếu; ghi ngày truy vấn, không so số thô giữa năm/lĩnh vực.
 - **Authors/affiliations:** ORCID/ROR và publisher; tránh nhập nhằng tên.
 - **Integrity:** publisher/Crossmark và các thông báo đáng tin; mọi cảnh báo nghiêm trọng cần link gốc và quy trình khiếu nại/sửa lỗi.
 ### 5.2. Tốc độ triển khai ban đầu (không phải quota chính thức)
 | Nguồn | Tốc độ thử nghiệm đề xuất | Ghi chú |
 |---|---:|---|
 | OpenAlex | 1–2 req/s | Dừng theo credit, ưu tiên lookup và batch |
 | Crossref | 1–2 req/s DOI single | List thấp hơn, tuân thủ header |
 | Semantic Scholar | ≤0,5 req/s | Key ban đầu 1 req/s |
 | GitHub | ≤0,5 req/s | Theo primary/secondary limits |
 | OpenReview | ≤0,2 req/s | Chỉ là tốc độ thử nghiệm, **không đảm bảo được phép** |
 | ICORE | 0 tự động | Đợi xác minh quyền truy cập/dataset |
 Thực hiện **per-provider token bucket**, cache, dedup, `429` + `Retry-After`, exponential backoff có jitter, concurrency cap, circuit breaker, metrics, tuân thủ ToS/robots/license. **Không thể bảo đảm “không bị ban” chỉ bằng một tốc độ cố định.**
 ## 6. Đề xuất pipeline triển khai vào Scholar Radar
 1. **Ingestion** giữ `arxiv_id`, DOI, version; chuẩn hóa DOI, tránh ghép sai paper.
 2. **Enrichment queue** gọi Crossref → OpenAlex → OpenReview (nếu matching) → Semantic Scholar → GitHub/ORCID/ROR/venue data. Cache theo source + external ID + thời gian cập nhật.
 3. **AI content evaluator** chấm 24 câu hỏi với evidence block ID, không tự bịa số trang/quote; giữ `document_hash`, `text_snapshot_hash`, `rubric_version`, model/prompt.
 4. **External scoring** dùng rules minh bạch, mỗi item lưu `value`, `score`, `source_url`, `retrieved_at`, `confidence_of_match` (mức khớp định danh, **không** phải xác suất đúng do LLM tự khai), `status`.
 5. **Aggregator** chỉ tính overall khi đủ dữ liệu theo chính sách; lưu `scoring_policy_version`, `evidence_coverage`, `missing_components`, `quality_flags`.
 6. **UI** hiển thị overall nếu đủ, content riêng, 8 thành phần, provenance, cảnh báo, và điểm cộng đồng riêng. Không trộn `relevance` với quality.
 7. **Re-evaluation** khi paper version thay đổi hoặc metadata/notice thay đổi; tránh worker cũ ghi đè kết quả mới.
 **Schema logic gợi ý:** `paper_evaluations`, `evaluation_items`, `external_identifiers`, `paper_external_evidence`, `venue_profiles`, `review_snapshots`, `impact_snapshots`, `integrity_events`, `scoring_policy_versions`. Không lưu reviewer private data hoặc tài liệu trả phí trái phép. Giữ transaction/version guard từ v2.
 ## 7. Kế hoạch khả thi theo giai đoạn
 | Giai đoạn | Làm gì | Điều kiện hoàn thành |
 |---|---|---|
 | **MVP-1** | Content + Crossref/OpenAlex + publisher metadata + integrity notice | ≥95% ID mapping đúng trên mẫu rà soát; không có hallucinated evidence ID |
 | **MVP-2** | OpenReview, GitHub, ORCID/ROR, venue verified | Phân biệt `not_public`, `not_found`, `unverified`; không tự gán venue rank |
 | **MVP-3** | Citation normalization, independent reproducibility, overall coverage policy | Có bộ test paper mới, paper không review, author mới, venue nghi vấn |
 | **Validation** | 30–50 paper nhiều mức chất lượng, reviewer người chấm độc lập | Đo rank correlation, MAE, inter-rater agreement, coverage, lỗi citation/identity, thiên lệch tác giả/venue; chốt trọng số/gates sau kiểm nghiệm |
 Các mục tiêu nghiệm thu như ≥95% mapping là **ngưỡng đề xuất nội bộ**, không phải cam kết hệ thống hiện tại đạt được. Với 8 nhóm bắt buộc, nhiều paper sẽ chưa có Overall; đây là rủi ro sản phẩm lớn nhất cần đo. Cân nhắc mô hình điểm hai tầng (content ngay, overall sau) hoặc một phương pháp ước lượng provisional có hiệu chuẩn và nhãn riêng.
 ## 8. Ví dụ nghiệm thu bắt buộc
 - Paper mới chỉ có arXiv, không review/citation → content có thể có; overall null, không phạt 0.
 - Hội nghị thu APC/registration hợp lệ → không tự đánh dấu predatory.
 - Venue tự nhận “top conference” nhưng không chứng minh được proceedings → venue unverified, không cho điểm uy tín.
 - Review OpenReview có rating cao nhưng chỉ một review sơ sài → không tự cho 4/4.
 - Tác giả nổi tiếng nhưng kết luận sai được xác minh → critical concern, không dùng author score để bù.
 - Tác giả mới, ORCID chưa có → unknown, không coi kém chất lượng.
 - Citation 0 ở paper mới → impact chưa đủ trưởng thành, không mặc định 0.
 - Repo GitHub tồn tại nhưng thiếu dataset/config → không được coi đã tái lập độc lập.
 - Paper retracted → cảnh báo và loại ranking thông thường, không bị các điểm khác che khuất.
 - Nguồn bất đồng DOI/version/venue → chặn tự động công bố bằng chứng xung đột cho đến khi xử lý.
 ## 9. Các quyết định còn phải chốt
 1. **Overall có bắt buộc đủ 8/8 nhóm?** Hiện tài liệu chọn **có** để tránh tự ý tái chuẩn hóa; điều này làm coverage thấp. Cần thử nghiệm trước production.
 2. **Điểm Author/Institution có đáng giữ?** Chúng dễ gây thiên lệch và thiếu dữ liệu; dù người dùng yêu cầu đưa vào overall, phải audit fairness và có phương án loại bỏ nếu không cải thiện chất lượng.
 3. **Giá/giấy phép ICORE, Metadata Plus, Retraction Watch, ORCID Member:** chưa xác minh con số; cần yêu cầu báo giá/đọc điều khoản chính thức, không bịa giá.
 4. **Impact percentile và anchors 0–4:** chưa được hiệu chuẩn. Không công bố như tiêu chuẩn quốc tế.
 5. **Reviewer privacy và review visibility:** chỉ sử dụng review thực sự công khai, không suy danh tính hoặc độ giỏi của reviewer từ thông tin cá nhân.
 ## 10. Nguồn tham khảo chính thức (truy cập/kiểm tra 16-10-2026)
 1. NeurIPS 2025 Reviewer Guidelines — https://neurips.cc/Conferences/2025/ReviewerGuidelines
 2. ICML 2026 Reviewer Instructions — https://icml.cc/Conferences/2026/ReviewerInstructions
 3. ICLR 2026 Reviewer Guide — https://iclr.cc/Conferences/2026/ReviewerGuide
 4. ACL Rolling Review Form — https://github.com/acl-org/aclrollingreview/blob/main/reviewform.md
 5. OpenAlex Pricing — https://help.openalex.org/access/pricing/
 6. OpenAlex Example Costs — https://help.openalex.org/access/example-costs/
 7. OpenAlex API Authentication / Rate Limits — https://help.openalex.org/api/authentication/
 8. Crossref REST Access / Limits — https://www.crossref.org/documentation/retrieve-metadata/rest-api/access-and-authentication/
 9. Crossref rate-limit update (2025) — https://www.crossref.org/blog/announcing-changes-to-rest-api-rate-limits/
 10. OpenReview Documentation — https://docs.openreview.net/
 11. Semantic Scholar API — https://www.semanticscholar.org/product/api
 12. GitHub REST Rate Limits — https://docs.github.com/en/rest/using-the-rest-api/rate-limits-for-the-rest-api
 13. ICORE Conference Portal — https://www.core.edu.au/conference-portal
 14. DBLP FAQ — https://dblp.org/faq/
 15. ORCID Public API — https://info.orcid.org/documentation/features/public-api/
 16. ROR API — https://ror.readme.io/
 **Kết luận:** Đây là một **thiết kế đánh giá có thể hiện thực từng phần**, không phải bảng điểm học thuật được tổ chức nào bảo chứng. Để có một Overall đáng tin, việc khó nhất là **độ bao phủ review/venue/integrity, kiểm chứng nguồn, xử lý paper mới, và hiệu chuẩn trọng số bằng người đánh giá** — không phải phép cộng trọng số.