Benchmark

Các bảng dưới ghi kết quả trên tập dev tiếng Việt do TIA tự đánh giá, không phải chứng nhận độc lập hay số đo độ chính xác trong vận hành. TIA 1.5 là ứng viên thử nghiệm cục bộ, chưa được chấp thuận đưa lên API. Bản đang phục vụ (revision eff27e8) đạt 15/25 tình huống vi_sanity (60%). Các lần chạy lịch sử của TIA 1.4 mini đạt 92,2% trên vn-law v1.1 và 95,3% trên vi-sms (nhận ra 89/99 tin lừa đảo, báo nhầm 8/283 tin hợp lệ). Claude Opus 5.5 là mô hình tham chiếu trong phép đánh giá do TIA thực hiện, không phải bên kiểm định TIA. Các con số này không thay thế việc đánh giá trên dữ liệu thực tế của bạn, đặc biệt với pháp luật, y tế, tín dụng và tuyển dụng.

Tải vi-bench.jsonMỗi nguồn là một tài liệu nội bộ của TIA, ghi kèm ngày; bản thân tài liệu chưa được công bố.cập nhật 2026-10-03

TIA 1.5 là ứng viên thử nghiệm cục bộ, chưa được chấp thuận đưa lên API. Trên 231 câu công khai của JevBench v1.4.2.2, ứng viên đúng 125/231 câu (54,1%, khoảng Wilson 95% 47,7–60,4). TIA tự ghép kết quả này với các hàng công bố để tính vị trí 79/98: kém hơn 63, chưa phân biệt được với 24, hơn 10 trong 97 phép so sánh. Vị trí theo số câu đúng trên mỗi US$1 là 24/96, theo số câu đúng mỗi giây là 14/94; giá ứng viên được ước tính từ giá API, không phải dịch vụ đang bán. Đây không phải bảng xếp hạng chính thức hoặc đánh giá độc lập của JevBench. API hiện phục vụ revision eff27e8, với kết quả lịch sử 122/231.

TIA 1.5 đúng

125/23154,1%

Hạng theo độ chính xác

79/98

Hạng theo tầng (cùng câu, trong 56 hàng có kết quả từng câu)

dễ 42/56 · gốc 41/56 · khó 47/56

Kết luận so với 97 hàng

kém hơn 63 · không phân biệt được 24 · hơn 10

Nhóm duy trì JevBench đo và công bố mọi hàng trừ các hàng TIA (bản v1.4.2.2, công bố 27/09/2026, commit fcc6927). TIA chạy TIA 1.5 ngày 03/10/2026 (cùng TIA 1.4 mini và TIA 1.3 mini và TIA 1.2 mini ở các ngày ghi trong từng hàng) bằng bộ chấm JevBench không sửa đổi, qua adapter typesafe của JevBench, trên một worker CPU cục bộ phục vụ đúng mô hình đó. TIA không chạy lại hệ thống nào khác: số đo gốc ở các hàng đó (kết quả tổng, kết quả từng câu, tầng công bố, giá, độ trễ) lấy từ tệp chính thức, có đường dẫn tới đúng dòng ở cột cuối. Phần tính thêm (số câu đúng, khoảng Wilson, tỉ lệ dễ/gốc/khó trên cùng câu, quy đổi đơn vị, hiệu số với TIA, kiểm định, kết luận, hạng) do TIA tính từ chính các tệp đó.

Ghép cặp từng câu (Holm trên 55 phép so sánh: 52 hàng có kết quả từng câu do JevBench công bố, cộng TIA 1.4 mini và TIA 1.3 mini và TIA 1.2 mini với kết quả từng câu từ các lần chạy của TIA): kém hơn 33, không phân biệt được 14, hơn 8. Không ghép cặp (42 hàng chỉ có độ chính xác tổng, khoảng Wilson): kém hơn 30, không phân biệt được 10, hơn 2.

Hạng 79/98 ở trên đếm mọi hàng trong tệp chính thức, kể cả 4 hàng JevBench liệt kê nhưng không xếp hạng (hạng danh dự hoặc lần chạy dở). Chỉ tính các hàng JevBench có xếp hạng: hạng 77/94; kém hơn 61, không phân biệt được 24, hơn 8.

Không so và không xếp hạng: Autoloops – Gemma 4 31B IT. Độ chính xác công bố của hàng này không phải k/231, tức là đo trên tập câu khác; bảng in nguyên số công bố ở cuối.

Cách chấm

• Các hàng được so dùng cùng 231 câu công khai của JevBench (dễ 48, gốc 72, khó 111), commit fcc6927, bộ chấm của JevBench. Câu lỗi hoặc bỏ trống tính là sai, như trong số công bố.
• Hàng có kết quả từng câu (52 hàng do JevBench công bố, cộng TIA 1.4 mini và TIA 1.3 mini và TIA 1.2 mini từ các lần chạy của TIA): kiểm định McNemar chính xác hai phía giữa TIA 1.5 và hệ thống trên các câu hệ thống đã trả lời (đủ 231 câu trừ ba hàng chạy dở), khoảng tin cậy 95% của hiệu độ chính xác bằng paired bootstrap 10.000 lần, hiệu chỉnh Holm cho 55 phép so sánh, kết luận ở mức Holm p < 0,05.
• Hàng không có kết quả từng câu: khi độ chính xác công bố đúng bằng k/231, nó vẫn trên cùng 231 câu nhưng không ghép cặp được. Chúng tôi chỉ kết luận khi khoảng Wilson 95% của hai bên rời nhau; cách này thận trọng hơn kiểm định ghép cặp. Tỉ lệ không phải k/231 là đo trên tập khác: chỉ in, không so, không xếp hạng.
• Các tầng JevBench công bố (dễ, chuẩn, giám khảo, khó) gồm cả câu ẩn mà TIA chưa từng được chạy, nên chỉ in kèm để tham khảo, không đem so với TIA.
• Giá dùng đơn vị US$ cho 1.000 quyết định của JevBench; số của từng hệ là số công bố, đo hoặc ước lượng theo nguồn. Với ứng viên TIA 1.5, chúng tôi ước tính bằng giá API 500 đ cho 1 triệu token đầu vào (từ 01/10/2026), nhân số token đo được mỗi câu và quy đổi 26.000 đ/USD. Đây không phải giá bán của ứng viên. Các bản lịch sử TIA 1.4 mini và TIA 1.3 mini và TIA 1.2 mini không có giá trong bảng.
• Độ trễ là p50 giây mỗi quyết định như JevBench công bố (máy tự host đã áp quy tắc ×2 + 0,15 giây của JevBench). Độ trễ của TIA do TIA đo qua bộ chấm trên CPU máy cục bộ, áp cùng quy tắc; JevBench chưa đo TIA.

Tái lập

Ví dụ dưới chạy mô hình hiện có trên API, không tái lập ứng viên thử nghiệm cục bộ trong bảng. Muốn tái lập ứng viên, cần đúng checkpoint và cấu hình của lần đo. API key phải có giới hạn đủ cao; bộ chấm dừng ở lỗi 429 đầu tiên. Cần Linux, macOS hoặc container Linux vì bộ chấm dùng fcntl. Độ trễ qua mạng khác số đo cục bộ:

git clone https://github.com/fstandhartinger/jevbench && cd jevbench && git checkout fcc6927
# TIA_API_URL: the System One API base URL; TIA_API_KEY: your key (sent as a Bearer token)
# the harness refuses to overwrite results: empty ../out before a re-run
for s in easy original hard; do
  python -m jevbench.cli run --tasks datasets/public/$s.jsonl --adapter typesafe \
    --endpoint "$TIA_API_URL" --key-env TIA_API_KEY --model jev-tia \
    --results ../out/$s.jsonl --raw-dir ../out/raw-$s --ledger ../out/ledger.jsonl
  python -m jevbench.cli summarize --tasks datasets/public/$s.jsonl --results ../out/$s.jsonl
done

Dựng lại bảng: lấy tệp kết quả và tệp từng câu chính thức (đường dẫn dưới), cùng kết quả từng câu của TIA (tải dưới). Mỗi hàng có kết quả từng câu: đếm câu chỉ TIA đúng và câu chỉ hệ thống đúng, kiểm định McNemar chính xác, rồi Holm trên cả họ 55 phép so sánh.

Nội dung câu hỏi thuộc JevBench (giấy phép MIT, cho phép phân phối lại). Chúng tôi dẫn tới tệp gốc ở commit cố định thay vì sao chép; tệp tải của chúng tôi gồm mã câu, nhãn đúng và đầu ra của TIA.

Cùng các chỉ số, tách theo kiểu câu hỏi. Một nhiệt độ toàn cục hiệu chỉnh tốt câu noul nhưng để ECE của score và choice còn cao.

TIA System One so với TIA System One (previous) trên cùng 930 quyết định dev. Hiệu (challenger − champion) với khoảng tin cậy 95% từ paired bootstrap 2.000 lần lấy mẫu. KL và Brier âm là tốt hơn; khoảng của accuracy chạm 0 nên chưa kết luận được về accuracy.

ΔBrier của cổng tính trung bình theo từng lựa chọn, nên nhỏ hơn thang của cột Brier trong bảng (tính theo quyết định). Không trừ trực tiếp hai con số đó.

Kết luận: PROMOTE

• Khác tập: số TIA trên tập dev nội bộ (186 tình huống) tách từ tập train; số đối thủ trên tập test (400 tình huống). Độ khó hai tập không bằng nhau.
• Khác người đo: số đối thủ do tác giả dataset card báo cáo; chúng tôi chưa chạy lại họ. Mã metric của chúng tôi chưa khớp hoàn toàn với card (hàng Prior và quy ước acc/ECE chưa tái lập được), nên chưa có lần đọc test nào.
• Khác cách đo độ trễ: TIA đo phía server, đối thủ đo đầu-cuối từ client.
• Giao thức: trước khi đọc tập test, chúng tôi công bố bản đăng ký trước (mã băm SHA-256 của mô hình, nhiệt độ hiệu chỉnh tính trên phần dữ liệu hiệu chỉnh riêng, seed, phiên bản mã chấm điểm, kết quả kỳ vọng), rồi đọc tập test đúng một lần. Accuracy vượt mức tự nhất quán của chính nhãn trong dataset (theo dataset card) được báo cáo là bão hoà, không phải kỹ năng.

Không có con số nào được bịa hoặc ước lượng cho các mô hình này.

Laya chưa đo

Chúng tôi chưa chạy Laya theo cùng giao thức (cùng tập, cùng mã metric, cùng cách đo độ trễ). Không đặt con số tự báo cáo của bên khác vào bảng này.

Verdict chưa đo

Chưa có số đo công khai trên typed-decisions theo cùng giao thức, và chúng tôi chưa tự đo.