Upload files to "/"

This commit is contained in:
huynd committed 2026-10-19 15:13:15 +07:00
1 parent 9e8246160f
commit 7425e0501e
5 files changed
+127

No files matched your search

+36
View File
@@ -0,0 +1,36 @@
# Cơ sở khoa học và nguồn tham chiếu cho Paper Rating v4
> Đối chiếu nguồn: **19/10/2026**. Phạm vi: tám nhóm trong [đặc tả v4](../scholar-radar-paper-rating-v4-spec.md), ưu tiên paper ML thực nghiệm. Đây là bộ tài liệu trong `worklog`, có thể tách thành repo tài liệu sau này.
## Cách đọc
Đi từ cột **Nguồn Paper / cơ sở áp dụng** trong đặc tả đến hồ sơ nhóm bên dưới, rồi mở nguồn gốc ở đúng mục/trang được ghi. Mỗi hồ sơ phân biệt **nội dung nguồn**, **cách Scholar Radar vận dụng**, và **điều nguồn không chứng minh**. Các diễn giải tiếng Việt là tóm tắt, không phải trích nguyên văn.
- [A — Scientific Content Quality, 40%](a-scientific-content.md): NeurIPS Reviewer Guidelines, Paper Checklist; ánh xạ đủ sáu tiêu chí con.
- [B — Venue Credibility, 15%](b-venue-credibility.md): CORE Conference Details; DORA làm giới hạn đối với suy luận từ venue.
- [C — Peer-review Evidence, 10%](c-peer-review.md): NeurIPS Review Form và quy trình phản hồi tác giả.
- [D — Scientific Impact, 10%](d-scientific-impact.md): Hicks et al. (2015), Leiden Manifesto, nguyên tắc 1, 6, 8.
- [E — Independent Reproducibility, 10%](e-reproducibility.md): Pineau et al. (2021), JMLR, mục 2.1, 2.3, 4.
- [F — Author Track Record, 5%](f-author-track-record.md): ORCID assertions; Leiden Manifesto, nguyên tắc 7.
- [G — Institution Transparency, 5%](g-institution-transparency.md): ROR registry và nguồn xác nhận affiliation trong ORCID.
- [H — Research Integrity, 5%](h-research-integrity.md): COPE Retraction Guidelines v2 (2019), trang 2–3.
## Phân loại căn cứ
**Paper học thuật:** Hicks et al. là bài Comment về nguyên tắc đánh giá; Pineau et al. là báo cáo chương trình tái lập. Không phải nghiên cứu xác nhận công thức tổng hợp của Scholar Radar.
**Hướng dẫn/chính sách chuyên môn:** NeurIPS, DORA, COPE hỗ trợ xây dựng tiêu chí hoặc giới hạn suy luận. Không gọi các tài liệu này là paper thực nghiệm.
**Tài liệu hạ tầng dữ liệu:** CORE, ORCID, ROR mô tả đối tượng hoặc dữ liệu có thể tra cứu. Khả năng lấy dữ liệu không đồng nghĩa dữ liệu đó đo chất lượng paper.
## Phần còn là đề xuất của Scholar Radar
Toàn bộ trọng số **40/15/10/10/10/5/5/5**, tỷ trọng con **25/25/15/15/15/5**, 24 câu hỏi, thang **0–4**, ngưỡng percentile, phép cộng tuyến tính, chính sách thiếu dữ liệu và quality gates là thiết kế nội bộ. Chưa tìm thấy trong các nguồn đã rà soát một phép kiểm chứng cho tổ hợp này. Việc AI áp dụng rubric của reviewer cũng cần đánh giá riêng.
Đặc biệt, F/G có căn cứ cho **xác minh thông tin**, chưa có căn cứ trực tiếp để cộng mỗi nhóm **5%** vào chất lượng một bài. Khi kiểm nghiệm theo mục 7 của v4, cần so sánh mô hình có/không có F/G và đánh giá thiên lệch. Tài liệu này giữ nguyên phương án v4 để nhóm thảo luận, không tự sửa công thức.
## Quy ước bổ sung nguồn
Mỗi nguồn mới cần ghi tác giả/tổ chức, tên, năm/phiên bản, DOI hoặc URL gốc, mục/trang cụ thể, ngày kiểm tra, nội dung được dùng và giới hạn. Với HTML thay đổi theo thời gian, ghi tên mục và phiên bản; không bịa số trang. Nếu chưa đọc được toàn văn thì ghi rõ, không dùng làm căn cứ chi tiết.
Khi chấm một paper thực tế, phân biệt **nguồn thiết kế rubric** trong bộ này với **bằng chứng của paper đang chấm**: DOI/version, đoạn PDF, review ID, báo cáo chạy lại hoặc notice. Ví dụ minh họa trong các hồ sơ là tình huống giả định, không phải kết quả chấm một paper có thật.
+28
View File
@@ -0,0 +1,28 @@
# A. Scientific Content Quality — 40%
[Mục lục](README.md) · Áp dụng: đặc tả v4, mục 3.1; biến `C` trong mục 4. Kiểm tra nguồn: 19/10/2026.
## Nguồn và vị trí cụ thể
**[A1] NeurIPS — Reviewer Guidelines 2025**, hướng dẫn phản biện chính thức. Đọc [Review Form](https://neurips.cc/Conferences/2025/ReviewerGuidelines), câu 2 “Strengths and Weaknesses”, các tiểu mục Quality, Clarity, Significance, Originality; câu 3–6 là rating của bốn trục này. Nguồn yêu cầu xem xét độ đúng kỹ thuật, đóng góp và cách trình bày; không đưa ra sáu tỷ trọng của v4.
**[A2] NeurIPS — Paper Checklist Guidelines**, hướng dẫn checklist. Đọc [các câu 1–8](https://neurips.cc/public/guides/PaperChecklist): Claims, Limitations, Theory Assumptions and Proofs, Experimental Result Reproducibility, Open Access to Data and Code, Experimental Setting/Details, Experiment Statistical Significance, Experiments Compute Resource. Đây là trang dùng chung được liên kết từ hướng dẫn 2025; nội dung có thể cập nhật, không coi là snapshot bất biến năm 2025.
## Ánh xạ vào sáu tiêu chí con
Các ánh xạ sau là **cách vận dụng của Scholar Radar**, không phải công thức do NeurIPS công bố:
- **Technical Soundness — 25% Content:** [A1] Quality; [A2] câu 1, 3 → đối chiếu claim với giả định, chứng minh và kết quả.
- **Experimental Rigor — 25%:** [A2] câu 6, 7 → kiểm tra split, hyperparameter, cách chọn cấu hình, bất định của kết quả. Kiểm tra baseline công bằng và ablation là cách nhóm cụ thể hóa việc kiểm chứng claim, tùy loại đóng góp.
- **Originality — 15%:** [A1] Originality → yêu cầu chỉ ra khác biệt so với related work; thiếu tra cứu ngoài PDF thì ghi giới hạn xác minh.
- **Significance — 15%:** [A1] Significance → giải thích giá trị đóng góp đối với vấn đề nghiên cứu, tách khỏi số citation thực tế ở D.
- **Reproducibility Documentation — 15%:** [A2] câu 4–6, 8 → kiểm tra thông tin cần để chạy lại; chưa suy ra đã có người chạy lại độc lập.
- **Clarity — 5%:** [A1] Clarity; [A2] câu 2 → kiểm tra cách trình bày và phạm vi giới hạn.
## Minh họa áp dụng
Paper giả định báo cáo cải thiện accuracy nhưng không nêu split: mục Experimental Rigor phải dẫn đoạn mô tả thí nghiệm và phần đã kiểm tra. Nếu phụ lục chưa được cung cấp thì ghi thiếu bằng chứng, không khẳng định tác giả không mô tả split. Có code link mới hỗ trợ truy tìm tài liệu, chưa đủ kết luận nhóm E đã tái lập.
## Giới hạn căn cứ
**40%**, sáu tỷ trọng, bốn câu hỏi/tiêu chí và mức **0–4/null** là thiết kế riêng. Thang bốn trục của [A1] là **1–4**, không tương đương thang v4. Cần viết anchors và kiểm tra mức đồng thuận giữa AI với người chấm; các nguồn này không xác nhận AI chấm chính xác.
+21
View File
@@ -0,0 +1,21 @@
# B. Venue Credibility — 15%
[Mục lục](README.md) · Áp dụng: v4, mục 3.2 “Venue”; biến `V`. Kiểm tra nguồn: 19/10/2026.
## Nguồn và vị trí cụ thể
**[B1] CORE — CORE Rankings Portal**, tài liệu hệ thống xếp hạng. Đọc mục [Conference Details](https://www.core.edu.au/conference-portal): mô tả A*, A, B, C và các chỉ báo dùng để xếp **hội nghị**, gồm citation, submission/acceptance và người quản lý chương trình. “Unranked” là chưa có quyết định xếp hạng, không phải kết luận chất lượng thấp.
**[B2] San Francisco Declaration on Research Assessment — DORA** (khởi nguồn 2012), tuyên bố đánh giá nghiên cứu. Đọc [General Recommendation, khuyến nghị 1](https://sfdora.org/read/): không dùng chỉ số cấp tạp chí làm đại diện cho chất lượng bài riêng lẻ. DORA nói trực tiếp về journal metrics; áp dụng cảnh báo tương tự cho conference rank là **suy luận của nhóm**.
## Scholar Radar sử dụng như thế nào?
Từ [B1], lưu rank cùng venue ID, tên đầy đủ, kỳ xếp hạng và nguồn. Tách bước xác minh paper thuộc đúng proceedings khỏi bước tra ranking. Dữ liệu DBLP/Crossref trong mục 5 của v4 phục vụ đối chiếu danh tính, không tự chứng nhận phản biện tốt.
Từ giới hạn [B2], không quy đổi A* thành 100 điểm paper. Phần đánh giá quy trình phản biện phải dùng chính sách và bằng chứng của venue cụ thể; chỉ có tên hội nghị hoặc rank là chưa đủ để khẳng định quy trình thực tế của kỳ tổ chức.
**Ví dụ giả định:** paper xuất hiện ở workshop đồng địa điểm với hội nghị A*. Phải xác minh workshop có bản ghi riêng; không kế thừa rank của main conference.
## Giới hạn căn cứ
Nguồn hỗ trợ mô tả venue và hạn chế suy luận. **15%**, các anchors 0–4 và quan hệ giữa uy tín venue với chất lượng từng paper chưa được hai nguồn xác nhận. DORA là căn cứ để **thận trọng với nhóm B**, không phải tài liệu ủng hộ việc cộng 15%. Cần kiểm nghiệm xem B có bổ sung thông tin ngoài A/C hay chỉ tính trùng và tăng thiên lệch.
+21
View File
@@ -0,0 +1,21 @@
# C. Peer-review Evidence — 10%
[Mục lục](README.md) · Áp dụng: v4, mục 3.2 “Peer review”; biến `P` (chữ C ở tên nhóm khác biến content `C`). Kiểm tra nguồn: 19/10/2026.
## Nguồn và vị trí cụ thể
**[C1] NeurIPS — Reviewer Guidelines 2025**, hướng dẫn chính thức. Đọc [Main Tasks, bước 4–5; Review Form, câu 7 và 10](https://neurips.cc/Conferences/2025/ReviewerGuidelines). Các phần này yêu cầu review có luận cứ, xem phản hồi tác giả, giải thích thay đổi đánh giá; confidence là tự đánh giá của reviewer. Đồng thuận không phải yêu cầu bắt buộc.
Phần Review Form còn phân biệt nhận xét, overall và confidence. Đây là căn cứ về **cấu trúc bằng chứng phản biện**, không phải nghiên cứu đo độ chính xác của review.
## Scholar Radar sử dụng như thế nào?
Đọc một chuỗi review → rebuttal → review cập nhật/meta-review, giữ đúng submission/version. Lưu vấn đề reviewer nêu, căn cứ, phản hồi tương ứng và tình trạng đã giải quyết. OpenReview là nơi lấy bản ghi gốc khi công khai; tên nền tảng tự nó không chứng minh review đáng tin.
**Ví dụ giả định:** reviewer ban đầu cho điểm thấp vì thiếu baseline; rebuttal bổ sung kết quả và reviewer sửa nhận xét. Khi tổng hợp, giữ lịch sử và dùng trạng thái sau thảo luận, tránh đếm hai phiên bản của cùng review thành hai reviewer độc lập.
Không suy năng lực reviewer từ confidence hoặc suy độc lập chỉ từ hai tên hiển thị. Không có review công khai được ghi thiếu dữ liệu, không tự suy từ quyết định accept.
## Giới hạn căn cứ
**10%**, thang 0–4, cách tổng hợp nhiều review và tiêu chí “nhiều review độc lập nhất quán” là rubric nội bộ. Nguồn không chứng minh đồng thuận bảo đảm kết luận đúng. Cần kiểm tra việc nhóm C có lặp lại đánh giá nội dung A và mức coverage khác nhau giữa venue.
+21
View File
@@ -0,0 +1,21 @@
# H. Research Integrity — 5%
[Mục lục](README.md) · Áp dụng: v4, mục 3.2 “Integrity” và quality gates mục 4; biến `G`. Kiểm tra nguồn: 19/10/2026.
## Nguồn và vị trí cụ thể
**[H1] COPE Council (2019). “COPE Retraction guidelines — English.” Version 2, November 2019.** Chính sách/hướng dẫn xuất bản, DOI [10.24318/cope.2019.1.4](https://doi.org/10.24318/cope.2019.1.4). DOI landing page không đọc được trong lần kiểm tra; đã đọc [PDF v2 trên tên miền COPE](https://members.publicationethics.org/sites/default/files/retraction-guidelines-cope.pdf).
Vị trí: **trang 2, Summary** về lý do và nội dung notice; **trang 3, Retractions are not usually appropriate if / The purpose of retraction / Which publications should be retracted?** Nguồn phân biệt kết quả không đáng tin với lỗi có thể sửa; mục đích retraction là sửa hồ sơ khoa học, không phải trừng phạt tác giả.
## Scholar Radar sử dụng như thế nào?
Từ [H1], phân loại notice trước khi tính điểm: correction, retraction, hoặc tình trạng cần xem xét thêm. Lưu DOI/version bị tác động, ngày, đơn vị ban hành, lý do và URL notice. Crossref/Crossmark giúp tìm thông báo; nội dung notice gốc là bằng chứng cần đọc.
**Ví dụ giả định:** correction sửa lỗi chú thích hình không tự dẫn tới gate retracted. Nếu notice xác nhận thu hồi vì kết quả chính không hợp lệ, v4 áp dụng gate và loại khỏi ranking thông thường; không để các điểm khác bù lại.
Không có notice được tìm thấy chỉ hỗ trợ trạng thái `no_notice_found_as_of`, không phải bằng chứng khẳng định “sạch”. AI không được biến nghi vấn thành kết luận sai phạm.
## Giới hạn căn cứ
**5%**, mức điểm integrity, cách chặn ranking và gate `critical_soundness_concern` là chính sách sản phẩm của Scholar Radar. COPE hướng dẫn biên tập viên/nhà xuất bản, không đưa ra thuật toán ranking hay trao cho AI thẩm quyền quyết định retraction. Cần rà soát chuyên gia cho kết luận nghiêm trọng và cơ chế cập nhật khi notice được sửa.