paper-rating-foundations/scholar-radar-paper-rating-v4-spec.md

# Scholar Radar — Đề xuất hệ thống chấm điểm Paper v4

> **Trạng thái:** Đề xuất thiết kế, chưa triển khai/chưa được hiệu chuẩn. **Ngày rà soát nguồn:** 16/10/2026.  
> **Cơ sở:** `paper-rating-v2` (tài liệu gốc), đề xuất v3, và hướng mới: **yếu tố bên ngoài phải ảnh hưởng tới Overall Paper Score**.  
> **Phạm vi đầu tiên:** paper Machine Learning thực nghiệm; không áp dụng máy móc cho survey, lý thuyết, hệ thống hay HCI.

## 1. Mục tiêu và nguyên tắc

Tạo **Overall Paper Score (0–100)** từ chất lượng nội dung và bằng chứng bên ngoài: nơi công bố, phản biện, ảnh hưởng, tái lập, tác giả, tổ chức và tính toàn vẹn. Không nhầm **uy tín** với **tính đúng đắn**: tác giả nổi tiếng và hội nghị hạng cao không thể xóa lỗi kỹ thuật. Hội nghị thu phí không đồng nghĩa hội nghị săn mồi; cần bằng chứng về quy trình phản biện và hành vi xuất bản.

**Phân biệt ba loại kết quả:** (1) `content_score` dựa trên đọc paper, (2) `external_evidence` theo từng nguồn có provenance, (3) `overall_score` khi đủ độ bao phủ. Không có dữ liệu ≠ điểm 0. Kết quả cần hiển thị coverage, thời điểm cập nhật, nguồn, hạn chế và trạng thái provisional/verified. Không coi đánh giá AI là peer review chính thức.

## 2. Căn cứ từ các tổ chức chấm paper

| Tổ chức / hệ thống | Cách đánh giá thực tế | Điều Scholar Radar học theo | Không được suy diễn |
|---|---|---|---|
| **NeurIPS 2025** | Reviewer đánh giá **Quality, Clarity, Significance, Originality** theo mức **1–4** (poor/fair/good/excellent), thêm Overall 1–6 và nhận xét | Trục nội dung, thang mức có mô tả, yêu cầu dẫn chứng | **Không** có công thức 40/15/10… chính thức |
| **ICML / ICLR** | Peer review có nhận xét kỹ thuật, bằng chứng và overall recommendation; mẫu và thang thay đổi theo năm | Kiểm tra soundness, contribution và khả năng chứng minh claim | Không coi điểm reviewer khác năm/hội nghị là cùng một thang |
| **ACL Rolling Review** | Form phản biện phân biệt soundness, excitement/overall và reproducibility | Tách chất lượng chứng cứ với khả năng tái lập | Không tự suy reviewer giỏi từ confidence |
| **ICORE/CORE** | Phân hạng **hội nghị**, thường A*, A, B, C tùy danh mục/năm | Bằng chứng uy tín **venue**, không phải điểm paper | Không mặc định A*=100 hay không có hạng=0 |
| **OpenAlex / Semantic Scholar** | Chỉ số thư mục và trích dẫn, **không** phải hội đồng chấm chất lượng paper | Impact theo tuổi/lĩnh vực và nguồn trích dẫn | Citation nhiều ≠ kết quả đúng |

Nguồn chính thức: [NeurIPS Reviewer Guidelines 2025](https://neurips.cc/Conferences/2025/ReviewerGuidelines), [ICML Reviewer Instructions](https://icml.cc/Conferences/2026/ReviewerInstructions), [ICLR Reviewer Guide](https://iclr.cc/Conferences/2026/ReviewerGuide), [ACL Rolling Review review form](https://github.com/acl-org/aclrollingreview/blob/main/reviewform.md). **Trọng số và công thức dưới đây do Scholar Radar đề xuất, không được gán cho các tổ chức trên.**

## 3. Rubric tổng hợp: 8 yếu tố, 100 điểm

**Cách truy nguồn (bổ sung 19/10/2026):** Mục 2 là tổng quan; [bộ cơ sở khoa học và hồ sơ A–H](paper-rating-foundations/README.md) chỉ rõ mục/trang của nguồn, cách áp dụng và giới hạn cho từng nhóm. Cột **Nguồn Paper / cơ sở áp dụng** dẫn đến các hồ sơ này; cột **Nguồn ưu tiên** vẫn là nơi lấy dữ liệu của paper đang chấm. Không phải mọi nguồn đều là paper học thuật: hướng dẫn phản biện, chính sách và tài liệu định danh được phân loại rõ.

| Nhóm | Trọng số | Dữ liệu / câu hỏi chính | Nguồn ưu tiên | Nguồn Paper / cơ sở áp dụng | Độ khả thi MVP |
|---|---:|---|---|---|---|
| **A. Scientific Content Quality** | **40%** | Soundness, experimental rigor, originality, significance, clarity | PDF + AI có dẫn chứng | [NeurIPS 2025 Review Form + Paper Checklist — ánh xạ 6 tiêu chí con](paper-rating-foundations/a-scientific-content.md) | Cao với ML thực nghiệm, cần kiểm chứng người |
| **B. Venue Credibility** | **15%** | Venue xác thực, quy trình review, ranking có năm, dấu hiệu predatory có bằng chứng | Publisher/proceedings, ICORE, DBLP/Crossref | [CORE Conference Details; DORA khuyến nghị 1 — giới hạn suy luận từ venue](paper-rating-foundations/b-venue-credibility.md) | Trung bình; licensing ICORE cần kiểm tra |
| **C. Peer-review Evidence** | **10%** | Review công khai, lập luận, độ nhất quán, phản hồi tác giả | OpenReview, trang hội nghị | [NeurIPS 2025 Main Tasks 4–5, Review Form 7/10 — review và rebuttal](paper-rating-foundations/c-peer-review.md) | Trung bình/thấp vì nhiều review không công khai |
| **D. Scientific Impact** | **10%** | Citation chuẩn hóa tuổi/lĩnh vực, trích dẫn độc lập, xu hướng | OpenAlex, Semantic Scholar | [Hicks et al. (2015), Leiden Manifesto — nguyên tắc 1/6/8](paper-rating-foundations/d-scientific-impact.md) | Cao cho metadata; thấp cho paper rất mới |
| **E. Independent Reproducibility** | **10%** | Code/data/config và **bằng chứng chạy lại độc lập** | GitHub, artifact badge, reproducibility reports | [Pineau et al. (2021), JMLR — mục 2.1/2.3/4](paper-rating-foundations/e-reproducibility.md) | Trung bình; kiểm chứng chạy lại khó |
| **F. Author Track Record** | **5%** | Nhận diện tác giả đúng, lịch sử nghiên cứu liên quan, correction/retraction được xác minh | ORCID, OpenAlex, Crossref | [ORCID assertions; Leiden nguyên tắc 7 — chưa chứng minh trọng số chất lượng](paper-rating-foundations/f-author-track-record.md) | Trung bình; tránh đánh đồng trùng tên |
| **G. Institution Transparency** | **5%** | Affiliation được xác minh, cơ sở nghiên cứu có thực, khai báo xung đột lợi ích | ROR, ORCID, publisher | [ROR Registry; ORCID Trust Markers — căn cứ định danh/affiliation](paper-rating-foundations/g-institution-transparency.md) | Trung bình; **không chấm theo thứ hạng đại học** |
| **H. Research Integrity** | **5%** | Retraction, correction, expression of concern, sự kiện integrity có nguồn | Crossmark/Crossref, publisher, Retraction Watch nếu được phép | [COPE Retraction Guidelines v2 (2019), trang 2–3 — notice và correction](paper-rating-foundations/h-research-integrity.md) | Trung bình; không thể chứng minh không có vấn đề |
| **Tổng** | **100%** | | | | |

**Giải thích trọng số:** 40% nội dung để tính đúng đắn vẫn là nền tảng; 15% venue và 10% review phản ánh kiểm tra bên ngoài; 10% impact và 10% reproducibility ghi nhận sử dụng/kiểm chứng; 5% tác giả + 5% tổ chức chỉ ảnh hưởng hạn chế để giảm thiên lệch danh tiếng; 5% integrity chỉ là thành phần nền, **đồng thời có hard gates riêng**. Các tỷ lệ này **chưa có xác nhận thực nghiệm**, cần hiệu chuẩn với bộ paper có review chuyên gia.

### 3.1. Nội dung (40% overall): rubric con

| Tiêu chí con | Tỷ trọng trong Content | Câu hỏi kiểm tra |
|---|---:|---|
| Technical Soundness | 25% | Định nghĩa, giả định, phương pháp, lập luận có hợp lý? Claim có được chứng cứ hỗ trợ? |
| Experimental Rigor | 25% | Dataset/split/metric, baseline công bằng, ablation, độ ổn định, thống kê? |
| Originality | 15% | Khác biệt kỹ thuật/tri thức so với related work? **Chưa xác minh tính mới ngoài tài liệu nếu chưa truy cứu** |
| Significance | 15% | Vấn đề quan trọng? Kết quả có khả năng giúp lĩnh vực tiến bộ? |
| Reproducibility Documentation | 15% | Có đủ mô tả code/data/seed/hyperparameter/environment để người khác tái lập? |
| Clarity | 5% | Bố cục, thuật ngữ, bảng/hình, giới hạn rõ ràng? |

**Tránh tính trùng:** Reproducibility Documentation là mức **tài liệu đủ thông tin** trong Content; nhóm E là **bằng chứng bên ngoài** về khả năng chạy lại, không cộng thêm điểm chỉ vì có cùng một link GitHub.

Mỗi tiêu chí con có **4 câu hỏi**, mỗi câu **0–4 hoặc null**, kèm `rationale`, `evidence_block_ids`, `checked_block_ids`; code tính điểm tiêu chí `100 × sum(level)/16` khi đủ 4 câu. Mức chung: 0 thiếu/sai nghiêm trọng có bằng chứng; 1 chỉ nêu; 2 căn cứ cơ bản nhưng thiếu đáng kể; 3 rõ và tương đối đầy đủ; 4 đáp ứng đầy đủ **trong phạm vi kiểm tra**. Mỗi câu phải có **anchor riêng** trong bản rubric triển khai. Nếu PDF thiếu phần cần đọc: null, không phải 0. **Không** được cho 4 chỉ vì AI không tìm thấy lỗi.

### 3.2. Chấm điểm bên ngoài: đề xuất thang 0–4 có điều kiện

- **Venue:** 0 = có bằng chứng xác minh hoạt động chấp nhận bài không phản biện hoặc giả mạo; 1 = quy trình rất thiếu minh bạch, có vấn đề được xác minh; 2 = xác minh nơi công bố nhưng bằng chứng kiểm soát chất lượng hạn chế; 3 = quy trình review và proceedings minh bạch; 4 = có bằng chứng độc lập mạnh về quy trình chọn lọc và quản trị chất lượng. **ICORE A*/A/B/C chỉ là một tín hiệu, không quyết định mức một mình.** Không xác minh được → null.
- **Peer review:** 0 = có review công khai phát hiện lỗi nghiêm trọng chưa được giải quyết; 1 = phản biện nêu nhiều vấn đề cốt lõi; 2 = ý kiến trái chiều/chưa giải quyết đủ; 3 = review có luận cứ tốt, các vấn đề lớn được trả lời; 4 = nhiều review độc lập nhất quán và có luận cứ mạnh. Đây là **rubric nội bộ**; không quy đổi máy móc rating 7/10 thành 70/100. Không công khai review → null.
- **Impact:** đánh giá theo percentile citation **cùng năm/lĩnh vực/loại bài**, kiểm tra nguồn và loại trích dẫn; không chấm citation thô. Đề xuất thử ngưỡng percentile: <20→0, 20–39→1, 40–59→2, 60–79→3, ≥80→4; **ngưỡng cần hiệu chuẩn**, paper mới thiếu độ trưởng thành → null/provisional.
- **Independent reproducibility:** 0 = có báo cáo tái lập thất bại đáng tin cậy, lỗi thiết yếu; 1 = chỉ có claim/link không truy cập được; 2 = code/data và cấu hình có thể kiểm tra; 3 = artifact được kiểm tra độc lập; 4 = có tái lập độc lập đáng tin cậy. Không có code **không tự động** đồng nghĩa 0 nếu không phải loại nghiên cứu cần code.
- **Author:** 0–4 dựa trên **bằng chứng kiểm chứng được** về hồ sơ nghiên cứu liên quan, minh bạch và correction; không dựa vào tên tuổi, h-index hoặc số paper đơn thuần. Với tác giả mới hoặc trùng tên chưa giải quyết: null/neutral provisional, không phạt.
- **Institution:** 0–4 dựa trên xác thực affiliation, tính minh bạch và xung đột lợi ích được khai báo; không dùng QS/THE ranking như chất lượng paper. Nếu chưa xác minh → null.
- **Integrity:** mức đánh giá dựa trên **trạng thái sự kiện đã xác minh**. Không tìm thấy retraction **không chứng minh sạch**, chỉ ghi `no_notice_found_as_of`. Không dùng AI tự cáo buộc gian lận.

Các mô tả 0–4 ở đây là **khung đề xuất**, chưa phải rubric kiểm chứng được; trước triển khai phải viết anchors và kiểm tra độ nhất quán giữa người chấm.

## 4. Công thức, coverage và các tình huống đặc biệt

`overall_raw = 0.40*C + 0.15*V + 0.10*P + 0.10*I + 0.10*R + 0.05*A + 0.05*O + 0.05*G`, với mọi thành phần 0–100; C=content, V=venue, P=peer review, I=impact, R=independent reproducibility, A=author, O=organization, G=integrity.

**Không tự chia lại trọng số nếu thiếu dữ liệu.** Nếu một thành phần null, `overall_score=null` theo công thức đầy đủ; có thể công bố `content_score` và các thành phần đã có, kèm `evidence_coverage = tổng trọng số nhóm có dữ liệu / 100`. Nếu sản phẩm cần một con số sớm, chỉ đưa `provisional_estimate` theo **chính sách hiệu chuẩn riêng** và không xếp hạng chung với điểm đã đủ dữ liệu. Cần thiết kế phương pháp xử lý missingness để paper mới không bị loại khỏi trải nghiệm.

**Quality gates:** retracted vì kết quả không hợp lệ → `integrity_status=retracted`, loại khỏi ranking bình thường và cảnh báo; lỗi soundness nghiêm trọng được chuyên gia/nguồn đáng tin xác minh → `critical_soundness_concern`, tạm ngừng công bố overall cho đến khi rà soát; venue có nghi vấn nhưng chưa xác minh → `venue_requires_review`, không gán nhãn predatory chắc chắn. **Không áp ngưỡng trừ điểm/cap số học chưa được thử nghiệm.** Correction nhỏ không đồng nghĩa retraction.

**Ví dụ:** paper arXiv mới có C=88 nhưng chưa có venue/review/citation: chỉ công bố Content=88, Overall=`null`, coverage theo nhóm thực sự có dữ liệu; **không chấm 0** cho các nhóm thiếu. Paper có tác giả nổi tiếng nhưng soundness lỗi nghiêm trọng: flag quality gate, không cho danh tiếng kéo lên điểm cuối. Venue có phí xuất bản hợp pháp không tự bị trừ điểm.

## 5. Danh mục nguồn dữ liệu: độ tin cậy, lấy thế nào, chi phí, quota

> Độ tin cậy dưới đây nói về **loại dữ liệu** (ví dụ DOI, citation, review), không phải chứng nhận mọi bản ghi đúng. Giá và quota thay đổi: phải đọc lại trang chính thức trước production. “Chưa xác minh” nghĩa là **không được tự điền con số**.

| Nguồn | Dùng để lấy | Độ tin cậy / giới hạn | Cách lấy | Giá / miễn phí | Hạn mức và lưu ý |
|---|---|---|---|---|---|
| **OpenAlex** | Work/author/institution, citations, FWCI, venue | Tốt cho metadata/impact; lỗi ghép bản ghi, coverage theo lĩnh vực | REST API bằng DOI/OpenAlex ID, batch/filter | **$1 credit/ngày miễn phí** có key; prepaid từ $1, giá theo operation | Không key **10 req/s**, free key **30 req/s**; lookup ID miễn phí; list/filter **$0.10/1.000 calls**, search **$1/1.000**; giới hạn credit/ngày vẫn áp dụng. [Pricing](https://help.openalex.org/access/pricing/), [Examples](https://help.openalex.org/access/example-costs/), [Auth](https://help.openalex.org/api/authentication/) |
| **Crossref / Crossmark** | DOI, publisher, publication metadata, update/retraction links | Cao với metadata do thành viên nộp; không đầy đủ tuyệt đối, cần kiểm tra publisher | `api.crossref.org/works/{doi}`; polite pool với mailto/User-Agent | Public/Polite **miễn phí**; Metadata Plus **trả phí, báo giá/điều khoản cần hỏi** | Từ 12/2025: Public **5 req/s single, 1 req/s list**; Polite **10 req/s single, 3 req/s list**; concurrency 1/3. Đọc header. [Access](https://www.crossref.org/documentation/retrieve-metadata/rest-api/access-and-authentication/), [2025 changes](https://www.crossref.org/blog/announcing-changes-to-rest-api-rate-limits/) |
| **OpenReview** | Review, rating, decision, rebuttal (nếu công khai) | **Nguồn gốc** tốt cho review trên nền tảng; không đại diện mọi hội nghị, form thay đổi | OpenReview API v2, tra venue/submission/notes theo ID; tôn trọng quyền hiển thị | API công khai có thể truy cập miễn phí; **không xác minh phí dịch vụ/enterprise nếu có** | **Chưa xác minh quota công khai thống nhất**; bắt đầu ≤0,2 req/s thử nghiệm, theo 429 và chính sách; không scrape review ẩn. [Docs](https://docs.openreview.net/) |
| **Semantic Scholar** | Citation, references, influential citations, paper matching | Tốt để đối chiếu OpenAlex; metadata và citation không đầy đủ tuyệt đối | Academic Graph API theo DOI/arXiv/S2 ID | API công khai miễn phí theo tài liệu; hạn mức cao hơn cần trao đổi | API key khởi đầu **1 req/s**; anonymous pool chia sẻ, không đảm bảo throughput. [API](https://www.semanticscholar.org/product/api) |
| **GitHub** | Repository, releases, commits, license, code availability | Tốt cho trạng thái repo, **không chứng minh code chạy đúng** | REST API/GitHub App theo URL repo được paper cung cấp | API public metadata miễn phí; GitHub paid plans không phải điều kiện bắt buộc | **60 req/h** không auth; **5.000 req/h** token phổ biến; có secondary limits, search limits. [Rate limits](https://docs.github.com/en/rest/using-the-rest-api/rate-limits-for-the-rest-api) |
| **ICORE / CORE ranking** | Hạng hội nghị CS | Có ích như tín hiệu venue; hạng phụ thuộc danh mục/năm, không chấm paper | Tải/tra cứu danh mục từ **nguồn chính thức**, lưu phiên bản và license | **Chưa xác minh quyền bulk reuse và phí cấp phép**; không tự giả định miễn phí | **Chưa xác minh API/quota chính thức**; không scrape tự động khi chưa được phép. [ICORE](https://www.core.edu.au/conference-portal) |
| **DBLP** | Proceedings, tên venue, tác giả, bibliographic cross-check | Tốt cho CS bibliography; không chứng minh chất lượng | DBLP API/dataset theo chính sách sử dụng | Dữ liệu công khai; **kiểm tra license/điều khoản bulk** | Chưa xác minh quota endpoint cụ thể. [DBLP](https://dblp.org/faq/) |
| **ORCID** | ORCID ID, hồ sơ tác giả/affiliation | Định danh tốt khi tác giả xác nhận; hồ sơ có thể thiếu hoặc tự khai | Public API và OAuth khi cần | Public API miễn phí; Member API cần membership | Chưa xác minh quota/gói member hiện hành. [ORCID API](https://info.orcid.org/documentation/features/public-api/) |
| **ROR** | Định danh tổ chức và alias | Tốt để xác thực tổ chức; không đánh giá chất lượng trường | ROR API/dataset | API/dataset công khai | Cần kiểm tra chính sách sử dụng và quota hiện hành. [ROR](https://ror.readme.io/) |
| **Publisher / proceedings** | Acceptance, editorial notices, review policy | **Nguồn ưu tiên** cho trạng thái xuất bản và correction | DOI landing page, Crossmark, publisher API nếu có | Tùy nhà xuất bản; metadata thường công khai, full text có thể trả phí | Quota/licensing tùy nguồn; không tự crawl trái robots/ToS |
| **Retraction Watch / Crossref data** | Retraction/correction records | Tốt để kiểm tra cảnh báo nhưng không toàn diện; phải đối chiếu publisher | Nguồn dữ liệu có quyền truy cập và DOI mapping | Quyền tái sử dụng/bulk **cần kiểm tra riêng** | Không có quota chung xác minh; không suy “không có bản ghi = sạch” |
| **Papers with Code (lịch sử)** | Liên kết paper–code/benchmark cũ | Dữ liệu có thể lỗi thời | Snapshot/repository dữ liệu cũ nếu giấy phép cho phép | Không giả định có API live | **Không dùng API cũ làm dependency production**; ưu tiên link repo trực tiếp |

### 5.1. Nguồn nào là “đáng tin” cho loại quyết định nào?

- **DOI, metadata, notice:** ưu tiên Crossref + publisher; nếu xung đột, kiểm tra trang chính thức và lưu conflict.
- **Venue identity:** publisher/proceedings + DBLP; ranking ICORE chỉ khi xác minh đúng venue, năm và giấy phép.
- **Peer review:** OpenReview notes gốc (nếu công khai); không dùng AI đoán danh tính reviewer ẩn hoặc suy điểm từ tên hội nghị.
- **Citations:** OpenAlex và Semantic Scholar để đối chiếu; ghi ngày truy vấn, không so số thô giữa năm/lĩnh vực.
- **Authors/affiliations:** ORCID/ROR và publisher; tránh nhập nhằng tên.
- **Integrity:** publisher/Crossmark và các thông báo đáng tin; mọi cảnh báo nghiêm trọng cần link gốc và quy trình khiếu nại/sửa lỗi.

### 5.2. Tốc độ triển khai ban đầu (không phải quota chính thức)

| Nguồn | Tốc độ thử nghiệm đề xuất | Ghi chú |
|---|---:|---|
| OpenAlex | 1–2 req/s | Dừng theo credit, ưu tiên lookup và batch |
| Crossref | 1–2 req/s DOI single | List thấp hơn, tuân thủ header |
| Semantic Scholar | ≤0,5 req/s | Key ban đầu 1 req/s |
| GitHub | ≤0,5 req/s | Theo primary/secondary limits |
| OpenReview | ≤0,2 req/s | Chỉ là tốc độ thử nghiệm, **không đảm bảo được phép** |
| ICORE | 0 tự động | Đợi xác minh quyền truy cập/dataset |

Thực hiện **per-provider token bucket**, cache, dedup, `429` + `Retry-After`, exponential backoff có jitter, concurrency cap, circuit breaker, metrics, tuân thủ ToS/robots/license. **Không thể bảo đảm “không bị ban” chỉ bằng một tốc độ cố định.**

## 6. Đề xuất pipeline triển khai vào Scholar Radar

1. **Ingestion** giữ `arxiv_id`, DOI, version; chuẩn hóa DOI, tránh ghép sai paper.
2. **Enrichment queue** gọi Crossref → OpenAlex → OpenReview (nếu matching) → Semantic Scholar → GitHub/ORCID/ROR/venue data. Cache theo source + external ID + thời gian cập nhật.
3. **AI content evaluator** chấm 24 câu hỏi với evidence block ID, không tự bịa số trang/quote; giữ `document_hash`, `text_snapshot_hash`, `rubric_version`, model/prompt.
4. **External scoring** dùng rules minh bạch, mỗi item lưu `value`, `score`, `source_url`, `retrieved_at`, `confidence_of_match` (mức khớp định danh, **không** phải xác suất đúng do LLM tự khai), `status`.
5. **Aggregator** chỉ tính overall khi đủ dữ liệu theo chính sách; lưu `scoring_policy_version`, `evidence_coverage`, `missing_components`, `quality_flags`.
6. **UI** hiển thị overall nếu đủ, content riêng, 8 thành phần, provenance, cảnh báo, và điểm cộng đồng riêng. Không trộn `relevance` với quality.
7. **Re-evaluation** khi paper version thay đổi hoặc metadata/notice thay đổi; tránh worker cũ ghi đè kết quả mới.

**Schema logic gợi ý:** `paper_evaluations`, `evaluation_items`, `external_identifiers`, `paper_external_evidence`, `venue_profiles`, `review_snapshots`, `impact_snapshots`, `integrity_events`, `scoring_policy_versions`. Không lưu reviewer private data hoặc tài liệu trả phí trái phép. Giữ transaction/version guard từ v2.

## 7. Kế hoạch khả thi theo giai đoạn

| Giai đoạn | Làm gì | Điều kiện hoàn thành |
|---|---|---|
| **MVP-1** | Content + Crossref/OpenAlex + publisher metadata + integrity notice | ≥95% ID mapping đúng trên mẫu rà soát; không có hallucinated evidence ID |
| **MVP-2** | OpenReview, GitHub, ORCID/ROR, venue verified | Phân biệt `not_public`, `not_found`, `unverified`; không tự gán venue rank |
| **MVP-3** | Citation normalization, independent reproducibility, overall coverage policy | Có bộ test paper mới, paper không review, author mới, venue nghi vấn |
| **Validation** | 30–50 paper nhiều mức chất lượng, reviewer người chấm độc lập | Đo rank correlation, MAE, inter-rater agreement, coverage, lỗi citation/identity, thiên lệch tác giả/venue; chốt trọng số/gates sau kiểm nghiệm |

Các mục tiêu nghiệm thu như ≥95% mapping là **ngưỡng đề xuất nội bộ**, không phải cam kết hệ thống hiện tại đạt được. Với 8 nhóm bắt buộc, nhiều paper sẽ chưa có Overall; đây là rủi ro sản phẩm lớn nhất cần đo. Cân nhắc mô hình điểm hai tầng (content ngay, overall sau) hoặc một phương pháp ước lượng provisional có hiệu chuẩn và nhãn riêng.

## 8. Ví dụ nghiệm thu bắt buộc

- Paper mới chỉ có arXiv, không review/citation → content có thể có; overall null, không phạt 0.
- Hội nghị thu APC/registration hợp lệ → không tự đánh dấu predatory.
- Venue tự nhận “top conference” nhưng không chứng minh được proceedings → venue unverified, không cho điểm uy tín.
- Review OpenReview có rating cao nhưng chỉ một review sơ sài → không tự cho 4/4.
- Tác giả nổi tiếng nhưng kết luận sai được xác minh → critical concern, không dùng author score để bù.
- Tác giả mới, ORCID chưa có → unknown, không coi kém chất lượng.
- Citation 0 ở paper mới → impact chưa đủ trưởng thành, không mặc định 0.
- Repo GitHub tồn tại nhưng thiếu dataset/config → không được coi đã tái lập độc lập.
- Paper retracted → cảnh báo và loại ranking thông thường, không bị các điểm khác che khuất.
- Nguồn bất đồng DOI/version/venue → chặn tự động công bố bằng chứng xung đột cho đến khi xử lý.

## 9. Các quyết định còn phải chốt

1. **Overall có bắt buộc đủ 8/8 nhóm?** Hiện tài liệu chọn **có** để tránh tự ý tái chuẩn hóa; điều này làm coverage thấp. Cần thử nghiệm trước production.
2. **Điểm Author/Institution có đáng giữ?** Chúng dễ gây thiên lệch và thiếu dữ liệu; dù người dùng yêu cầu đưa vào overall, phải audit fairness và có phương án loại bỏ nếu không cải thiện chất lượng.
3. **Giá/giấy phép ICORE, Metadata Plus, Retraction Watch, ORCID Member:** chưa xác minh con số; cần yêu cầu báo giá/đọc điều khoản chính thức, không bịa giá.
4. **Impact percentile và anchors 0–4:** chưa được hiệu chuẩn. Không công bố như tiêu chuẩn quốc tế.
5. **Reviewer privacy và review visibility:** chỉ sử dụng review thực sự công khai, không suy danh tính hoặc độ giỏi của reviewer từ thông tin cá nhân.

## 10. Nguồn tham khảo chính thức (truy cập/kiểm tra 16-10-2026)

1. NeurIPS 2025 Reviewer Guidelines — https://neurips.cc/Conferences/2025/ReviewerGuidelines
2. ICML 2026 Reviewer Instructions — https://icml.cc/Conferences/2026/ReviewerInstructions
3. ICLR 2026 Reviewer Guide — https://iclr.cc/Conferences/2026/ReviewerGuide
4. ACL Rolling Review Form — https://github.com/acl-org/aclrollingreview/blob/main/reviewform.md
5. OpenAlex Pricing — https://help.openalex.org/access/pricing/
6. OpenAlex Example Costs — https://help.openalex.org/access/example-costs/
7. OpenAlex API Authentication / Rate Limits — https://help.openalex.org/api/authentication/
8. Crossref REST Access / Limits — https://www.crossref.org/documentation/retrieve-metadata/rest-api/access-and-authentication/
9. Crossref rate-limit update (2025) — https://www.crossref.org/blog/announcing-changes-to-rest-api-rate-limits/
10. OpenReview Documentation — https://docs.openreview.net/
11. Semantic Scholar API — https://www.semanticscholar.org/product/api
12. GitHub REST Rate Limits — https://docs.github.com/en/rest/using-the-rest-api/rate-limits-for-the-rest-api
13. ICORE Conference Portal — https://www.core.edu.au/conference-portal
14. DBLP FAQ — https://dblp.org/faq/
15. ORCID Public API — https://info.orcid.org/documentation/features/public-api/
16. ROR API — https://ror.readme.io/

**Kết luận:** Đây là một **thiết kế đánh giá có thể hiện thực từng phần**, không phải bảng điểm học thuật được tổ chức nào bảo chứng. Để có một Overall đáng tin, việc khó nhất là **độ bao phủ review/venue/integrity, kiểm chứng nguồn, xử lý paper mới, và hiệu chuẩn trọng số bằng người đánh giá** — không phải phép cộng trọng số.