Báo cáo kỹ thuật, bản làm việc. Số liệu cập nhật 2026-10-10.

Giới hạn của kết quả nghiên cứu

Đây là báo cáo kỹ thuật của TIA 1.0. Các bảng bên dưới không phải bản đang phục vụ. Tập dev, TIA đo ngày 01/10/2026. Luật Việt Nam, quyết định đủ căn cứ: 0,342 lên 0,922. Tin nhắn lừa đảo tăng cường: 0,690 lên 0,873. Cổng đã khai báo không đạt. Typed-decisions, tiếng Việt dev, SMS thật và làm theo quy tắc chưa chứng minh hơn TIA 1.3 mini về accuracy.

Trang Mô hình · Đầu trang Benchmark

TIA 1.0:mô hình phán đoán có kiểu

Name: TIA
Brand: TIA

Nguyễn Phương Anh Tú, người sáng lập và Admin 8 Sync, trực tiếp huấn luyện và ra mắt TIA

Tóm tắt

TIA là dòng mô hình quyết định có kiểu do Nguyễn Phương Anh Tú, người sáng lập và Admin 8 Sync, trực tiếp nghiên cứu, huấn luyện và ra mắt. Mô hình đọc một trạng thái và trả về phân phối xác suất trên các lựa chọn được khai báo cho từng câu hỏi nhị phân, phân loại hoặc thứ bậc. Mục tiêu huấn luyện sử dụng các quy tắc chấm điểm đúng đắn; mức hiệu chỉnh thực tế cần đọc từ chỉ số của từng tập đo, không được bảo đảm cho mọi đầu vào. Trên tập dev nội bộ (930 quyết định, TIA tự đo), bản được ghi nhận TIA 1.3 mini đạt accuracy 0,760, KL 0,138, Brier 0,077 ngày 30/09/2026. Đây là kết quả lưu trong báo cáo, không xác nhận bản hiện phục vụ. Bản lịch sử TIA 1.0 đạt accuracy 0,770, KL 0,108, Brier 0,061 ngày 26/09/2026, với p50 phía server 69 ms cho request ba câu hỏi. Lần đọc tập test typed-decisions đã đăng ký trước chưa diễn ra. Riêng 125/231 câu JevBench là kết quả ứng viên thử nghiệm cục bộ, chưa được chấp thuận đưa lên API; API hiện phục vụ revision eff27e8 với kết quả lịch sử 122/231.

Mục lục

1Động lực
2Phát biểu bài toán
3Nguyên lý kiến trúc
4Mục tiêu học
5Giao thức đánh giá
6Kết quả đến nay
7Hướng nghiên cứu
8Giới hạn
Tài liệu tham khảo

1Động lực

Một agent xử lý phiếu hỗ trợ phải quyết định phiếu này có gấp không, nhóm nào nhận, mức ảnh hưởng tới đâu. Một quy trình duyệt hồ sơ hỏi hồ sơ đã đủ chưa, thuộc loại nào, rủi ro ở mức nào. Mỗi câu hỏi nhỏ, nhưng chúng nằm trên đường đi của mọi bước, và số lượng lên tới hàng nghìn mỗi ngày.

Kahneman [1] phân biệt Hệ thống 1, nhanh và tự động, với Hệ thống 2, chậm và cân nhắc. Mô hình ngôn ngữ lớn làm việc như Hệ thống 2: suy luận bằng cách viết văn bản, tốn thời gian và token cho từng câu, và độ tự tin của chúng không được hiệu chỉnh để đặt ngưỡng [5]. Dùng chúng cho mọi phán đoán nhỏ là trả giá của suy nghĩ chậm cho việc cần phản xạ.

TIA là một lớp Hệ thống 1 cho máy: đọc tình huống một lần và trả ngay, cho từng câu hỏi, một phân phối xác suất mà quy trình có thể đặt ngưỡng, xếp hạng, hoặc chuyển lên trên. Khi phân phối trải rộng, câu hỏi được đẩy lên Hệ thống 2 (một mô hình ngôn ngữ lớn hoặc con người). Khi phân phối tập trung, quy trình đi tiếp mà không phải chờ.

2Phát biểu bài toán

Đầu vào là một trạng thái bằng chứng s (văn bản hoặc JSON bất kỳ) và N câu hỏi đặt tên q₁, …, q_N. Mỗi câu hỏi mang một kiểu τ_i, một chỉ dẫn bằng ngôn ngữ tự nhiên x_i và một tập lựa chọn O_i:

q_i = (τ_i, x_i, O_i), τ_i ∈ {nhị phân, phân loại, thứ bậc}, O_i = (o_i1, …, o_{iK_i}), 2 ≤ K_i ≤ 10(1)

Nhị phân hỏi có hay không, có thể kèm mô tả thế nào là có và thế nào là không. Phân loại chọn một trong 2 tới 10 nhãn, mỗi nhãn được mô tả bằng ngôn ngữ tự nhiên, nên tập nhãn là mở: người dùng tự đặt nhãn cho bài toán của mình. Thứ bậc chấm trên thang 2 tới 10 mức có thứ tự, thấp trước.

Với mỗi câu hỏi, mô hình trả về cả phân phối p(y_i | s, q_i) trên O_i, không chỉ một nhãn. Mọi câu hỏi được trả lời trong cùng một lần đọc s:

s, q₁, …, q_N ↦ p(y₁ | s, q₁), …, p(y_N | s, q_N) trong một lần đọc s(2)

C₁ = c(|s| + Σ_i |q_i|), C_N = Σ_i c(|s| + |q_i|)(3)

Ở đây C₁ là chi phí một lượt đọc chung và C_N là chi phí hỏi từng câu một lượt. Nếu chi phí tính toán tăng gần tuyến tính theo số token, hiệu C_N − C₁ xấp xỉ (N − 1)·c(|s|), vì trạng thái chỉ được đọc (và tính tiền) một lần. Trạng thái càng dài và câu hỏi càng nhiều, phần tiết kiệm càng lớn.

3Nguyên lý kiến trúc

Hình 1. Sơ đồ khái niệm: một trạng thái được đọc một lần, mỗi câu hỏi có kiểu nhận một phân phối riêng. Chiều cao các cột chỉ để minh hoạ, không phải đầu ra của mô hình.

3.1Đọc trạng thái chung trong một lượt

Trạng thái được mã hoá một lần thành một biểu diễn chung h = Φ(s), và mọi câu hỏi đọc từ biểu diễn đó. Đây là nguồn gốc của độ trễ thấp và của chi phí khấu hao ở phương trình (3). Nó cũng giữ các câu trả lời nhất quán với nhau, vì chúng dựa trên cùng một cách hiểu về tình huống.

3.2Chấm điểm có điều kiện theo lựa chọn

Mỗi lựa chọn o_ik là văn bản và nhận một điểm z_ik = g(h, q_i, o_ik) dựa trên chính mô tả của nó. Không có đầu ra cố định cho một danh sách nhãn đóng, nên một tập nhãn mới chỉ là một câu hỏi mới, không cần huấn luyện lại. Thứ tự người dùng khai báo nhãn không làm đổi kết quả.

3.3Cấu trúc theo kiểu câu hỏi

Ba kiểu câu hỏi có hình học khác nhau. Câu thứ bậc tôn trọng thứ tự: đoán lệch một mức phải rẻ hơn đoán lệch ba mức, cả khi học lẫn khi chấm. Câu nhị phân và phân loại thì không có thứ tự giữa các nhãn. Đầu ra vì thế đi kèm các đại lượng đúng kiểu, ví dụ điểm kỳ vọng cho câu thứ bậc.

3.4Hiệu chỉnh là một đầu ra hạng nhất

Một xác suất 0,8 chỉ hữu ích nếu các phán đoán 0,8 đúng khoảng 80% số lần. Sau khi học, một nhiệt độ T được khớp hậu kiểm trên dữ liệu hiệu chỉnh tách riêng [5], và softmax trên z_ik/T cho phân phối cuối (phương trình 4). Nhiệt độ không bao giờ được chọn trên tập dùng để báo cáo kết quả.

p(y_i = o_ik | s, q_i) = exp(z_ik / T) / Σ_j exp(z_ij / T)(4)

4Mục tiêu học

Mục tiêu học là các quy tắc chấm điểm đúng đắn [4]: kỳ vọng của điểm đạt tối ưu khi mô hình báo đúng niềm tin của nó, nên mô hình không được thưởng vì tự tin quá mức hay rụt rè quá mức. Với phân phối mục tiêu π_i và nhãn một-nóng y_i, chúng tôi dùng log score dưới dạng KL tới phân phối mục tiêu, điểm Brier [2], và với câu thứ bậc là ranked probability score [3] trên phân phối tích luỹ P_ik:

KL(π_i ‖ p_i) = Σ_k π_ik log(π_ik / p_ik)(5)

BS_i = Σ_k (p_ik − y_ik)²(6)

RPS_i = 1 / (K − 1) · Σ_k=1…K−1 (P_ik − Y_ik)², P_ik = Σ_j≤k p_ij(7)

Mục tiêu thưởng cho cả phân phối, không chỉ cho một nhãn đúng: mô hình được huấn luyện để trả về một phân phối xác suất đã hiệu chỉnh trên các lựa chọn được khai báo, và được đánh giá trên các quyết định giữ lại, không dùng khi học.

Dữ liệu được chia thành bốn phần tách biệt theo tình huống, để mọi câu hỏi về cùng một trạng thái nằm trong cùng một phần. Dữ liệu huấn luyện được lọc trùng lặp với các tập đánh giá trước khi học.

Huấn luyệnhọc trọng số
Hiệu chỉnhkhớp nhiệt độ T
Phát triểnchọn mô hình
Kiểm trađọc một lần, sau khi đăng ký trước

Hình 2. Bốn phần dữ liệu và việc mỗi phần được phép làm. Tập kiểm tra được niêm phong cho tới lần đọc duy nhất.

5Giao thức đánh giá

Chỉ số: Accuracy (nhãn xác suất cao nhất trùng nhãn vàng), KL tới phân phối vàng, Brier, và sai số hiệu chỉnh kỳ vọng ECE [6], cùng độ trễ có ghi rõ cách đo và phần cứng.
Dev và test: Mọi lựa chọn mô hình diễn ra trên tập phát triển. Số dev dùng để quyết định nội bộ và không được đặt cạnh số test của hệ thống khác.
Đọc test một lần: Trước khi đọc tập kiểm tra, chúng tôi cam kết công khai một bản đăng ký trước: mô hình, nhiệt độ, mã chấm và kết quả kỳ vọng. Sau đó tập kiểm tra được chấm đúng một lần. Việc này chưa diễn ra.
Khoảng tin cậy: Mọi so sánh giữa hai phiên bản dùng bootstrap ghép cặp trên cùng các quyết định [7] và báo khoảng tin cậy 95%, không chỉ một con số.
Chuyên biệt và tổng quát: Kết quả của mô hình được học trên tập train của một benchmark (giao thức chuyên biệt) và kết quả không học riêng cho benchmark đó (giao thức tổng quát) được báo cáo tách rời, không trộn trong một bảng.

ECE = Σ_b (|B_b| / n) · |acc(B_b) − conf(B_b)|(8)

ECE không được đọc riêng: một mô hình trả phân phối nhãn cố định mà không đọc đầu vào vẫn có thể đạt ECE thấp.

6Kết quả đến nay

Các bảng trong mục này không phải bản đang phục vụ. Toàn bộ số dưới đây đo trên dev nội bộ (tách từ tập train): 186 tình huống, 930 quyết định, trên LocalLLaMA/typed-decisions. Người đo: TIA; ngày đo: TIA 1.3 mini 30/09/2026, TIA 1.2 mini 30/09/2026, TIA 1.1 mini 29/09/2026, TIA 1.0 26/09/2026, Tiền thân TIA (09/2026) 26/09/2026. Không so được với số test.

Các bảng trong mục này không phải bản đang phục vụ. Toàn bộ số dưới đây đo trên dev nội bộ (tách từ tập train): 186 tình huống, 930 quyết định, trên LocalLLaMA/typed-decisions. Người đo: TIA; ngày đo: TIA 1.3 mini 30/09/2026, TIA 1.2 mini 30/09/2026, TIA 1.1 mini 29/09/2026, TIA 1.0 26/09/2026, Tiền thân TIA (09/2026) 26/09/2026. Không so được với số test.
Mô hình	Acc	KL	Brier	TV	ECE
TIA 1.3 mini	0,760	0,138	0,077	0,171	0,163
TIA 1.2 mini	0,755	0,138	0,077	0,172	0,157
TIA 1.1 mini	0,759	0,134	0,075	0,168	0,158
TIA 1.0	0,770	0,108	0,061	0,150	0,156
Tiền thân TIA (09/2026)	0,744	0,187	0,096	0,209	0,152
Prior (cùng tập dev, không đọc đầu vào)	0,495	0,440	0,204	0,316	0,036
Uniform (cùng tập dev, không đọc đầu vào)	0,255	0,452	0,242	0,384	0,070

KL trên tập dev (thấp hơn là tốt hơn)

TIA 1.3 mini0,138
TIA 1.2 mini0,138
TIA 1.1 mini0,134
TIA 1.00,108
Tiền thân TIA (09/2026)0,187
Priorcùng tập dev, không đọc đầu vào0,440
Uniformcùng tập dev, không đọc đầu vào0,452

Theo kiểu câu hỏi (noul là nhị phân, choice là phân loại, score là thứ bậc):

Theo kiểu câu hỏi (dev)
Mô hình	Kiểu	n	Accuracy	KL	Brier	TV	ECE
TIA 1.3 mini	noul	278	0,820	0,078	0,061	0,124	0,099
TIA 1.3 mini	choice	280	0,736	0,178	0,091	0,195	0,182
TIA 1.3 mini	score	372	0,734	0,153	0,078	0,189	0,207
TIA 1.2 mini	noul	278	0,806	0,079	0,061	0,127	0,090
TIA 1.2 mini	choice	280	0,754	0,172	0,088	0,190	0,189
TIA 1.2 mini	score	372	0,718	0,157	0,081	0,192	0,188
TIA 1.1 mini	noul	278	0,813	0,072	0,057	0,118	0,091
TIA 1.1 mini	choice	280	0,732	0,175	0,088	0,191	0,167
TIA 1.1 mini	score	372	0,739	0,149	0,078	0,187	0,207
TIA 1.0	noul	278	0,806	0,065	0,052	0,110	0,078
TIA 1.0	choice	280	0,736	0,134	0,069	0,170	0,172
TIA 1.0	score	372	0,769	0,121	0,061	0,165	0,222
Tiền thân TIA (09/2026)	noul	278	0,752	0,136	0,104	0,172	0,062
Tiền thân TIA (09/2026)	choice	280	0,714	0,224	0,099	0,235	0,207
Tiền thân TIA (09/2026)	score	372	0,761	0,196	0,089	0,218	0,228

TIA 1.0 so với phiên bản trước

Bootstrap ghép cặp trên 930 quyết định dev, 2.000 lần lấy mẫu lại, khoảng tin cậy 95% của hiệu (TIA 1.0 trừ phiên bản trước).

Bootstrap ghép cặp trên 930 quyết định dev, 2.000 lần lấy mẫu lại, khoảng tin cậy 95% của hiệu (TIA 1.0 trừ phiên bản trước).
Chỉ số	Hiệu	KTC 95%
KL	-0,078	[-0,090; -0,065]
Brier	-0,013	[-0,016; -0,010]
Accuracy	+0,026	[-0,001; 0,053]

Brier ở đây lấy trung bình theo từng lựa chọn, nên nhỏ hơn thang của cột Brier phía trên.

Độ trễ

TIA 1.0, bản lịch sử mà báo cáo này đo: p50 69 ms, phía server (thời gian mô hình), một request 3 câu hỏi, 98 token, tuần tự, n = 200; p95 81 ms. Đo trên AMD Ryzen 9 9950X3D 16-Core Processor, 32 vCPU, ngày 26/09/2026. Đây là độ trễ phía server của lần đo đó, không phải độ trễ đầu-cuối của API hiện tại. Với bản được ghi nhận TIA 1.3 mini, số đo ngoài đường phục vụ không gồm HTTP và không xác nhận hiệu năng API.

Xem trang Benchmark để đặt các số này cạnh dataset card

7Hướng nghiên cứu

7.1Neo phán đoán vào kết quả kiểm chứng được

Với các mệnh đề kỹ thuật như "thay đổi này làm hỏng bộ kiểm thử", nhãn có thể lấy bằng cách thực sự chạy phép kiểm chứng, ví dụ chạy bộ test. Khi đó nhãn đến từ thực tế thay vì từ một quy trình gán nhãn tự động, và không mang thiên lệch của quy trình đó.

7.2Phán đoán cho agent lập trình

Agent lập trình liên tục phải quyết định: thay đổi này đã được kiểm chứng chưa, nên chạy kiểm tra nào tiếp theo, lỗi này thuộc loại nào. Đây là các câu hỏi có kiểu, lặp lại, cần câu trả lời nhanh và có độ tin cậy.

7.3Đánh giá ở mức agent

Đặt TIA làm thành phần nhanh bên trong một agent lớn hơn và đo toàn bộ agent trên các benchmark agent chạy trong terminal. Đây là một hướng nghiên cứu, chưa phải kết quả.

7.4Suy luận trên thiết bị

Một mô hình phán đoán chạy ngay trên máy của người dùng giữ dữ liệu nhạy cảm tại chỗ, không cần gửi trạng thái đi đâu.

8Giới hạn

Số dev không phải số test. Tập dev có 186 tình huống, còn nhỏ; khoảng tin cậy của hiệu accuracy giữa TIA 1.0 và phiên bản trước vẫn chạm 0.
Nhãn dev đến từ một quy trình gán nhãn tự động, không phải từ người gán nhãn, nên accuracy dev đo mức đồng thuận với các nhãn đó, không phải với sự thật.
Trên các câu công khai của JevBench, lần chạy lịch sử TIA 1.4 mini đạt 102/231; ứng viên thử nghiệm cục bộ TIA 1.5 đạt 125/231. Bảng do TIA tự tính cho vị trí 79/98 và 10 so sánh có ý nghĩa (8 so cặp Holm p < 0,05, 2 so khoảng Wilson không ghép cặp). Đây không phải thứ hạng chính thức hoặc kiểm định độc lập; ứng viên chưa đạt cổng chấp thuận đưa lên API.
Hiệu chỉnh chỉ được đo trên dữ liệu giữ lại. Một nhiệt độ chung chưa đủ cho mọi kiểu câu hỏi: với TIA 1.0 trên tập dev, ECE nhị phân 0,078, phân loại 0,172, thứ bậc 0,222.
Một lần huấn luyện; chưa có trung bình và độ lệch qua nhiều lần chạy.
Chúng tôi đang thử nghiệm nội bộ một mô hình học sinh chưng cất cục bộ (student distillation, chưa có tên phát hành). Mười lần chạy thử ngắn gần nhất chưa tạo ra bản nặng ổn định: các lần chạy muộn nhất bị bùng nổ gradient và KL ở bước huấn luyện thứ hai. Chưa có artifact huấn luyện hiệu quả, chưa đo benchmark, và mô hình này không được phục vụ trên API.
Benchmark bằng tiếng Anh. Về tiếng Việt, TIA 1.0: nhận đầu vào tiếng Việt; chưa có số đo riêng cho tiếng Việt. TIA 1.3 mini: nhận đầu vào tiếng Việt; tập giữ lại tiếng Việt của TIA (1144 quyết định, dev): accuracy 0,658; bộ kiểm tra nhanh 25 câu: đúng 15/25 câu; tin nhắn SMS tiếng Việt thật (382 tin, dev, đo ngày 30/09/2026): accuracy 0,940, nhận ra 89/99 tin lừa đảo, báo nhầm 13/283 tin hợp lệ (TIA đo ngày 30/09/2026).

Dữ liệu SMS tiếng Việt: “Vietnamese SMS Dataset with Quality Assurance” của Tran Nguyen Thai Tuan, Le Hoang Khang, Nguyen Minh Tai, Nguyen Van Thang, Mai Hoang Dinh, Hugging Face (bản a90e2bd), giấy phép CC BY 4.0. Thay đổi: chuyển sang dạng quyết định có kiểu của TIA, bỏ trùng lặp, chia lại tập.

Tài liệu tham khảo

[1]D. Kahneman. Thinking, Fast and Slow. Farrar, Straus and Giroux, 2011.
[2]G. W. Brier. Verification of forecasts expressed in terms of probability. Monthly Weather Review, 78(1):1–3, 1950.
[3]E. S. Epstein. A scoring system for probability forecasts of ranked categories. Journal of Applied Meteorology, 8(6):985–987, 1969.
[4]T. Gneiting and A. E. Raftery. Strictly proper scoring rules, prediction, and estimation. Journal of the American Statistical Association, 102(477):359–378, 2007.
[5]C. Guo, G. Pleiss, Y. Sun and K. Q. Weinberger. On calibration of modern neural networks. In Proceedings of the 34th International Conference on Machine Learning (ICML), PMLR 70:1321–1330, 2017.
[6]M. P. Naeini, G. F. Cooper and M. Hauskrecht. Obtaining well calibrated probabilities using Bayesian binning. In Proceedings of the AAAI Conference on Artificial Intelligence, 29(1), 2015.
[7]B. Efron. Bootstrap methods: another look at the jackknife. The Annals of Statistics, 7(1):1–26, 1979.