Cách chứng minh model trả lời đúng là model ghi trên nhãn

Mỗi ngày một lần, từng model trong catalog nhận đúng một prompt kiểm tra cố định (canary). Câu trả lời được so với các lần chạy trước của chính model đó, và mỗi model nhận một kết luận kèm thời điểm kiểm tra. Kết quả của từng model xem ở trang Proof (tiếng Anh).

Cùng dữ liệu đó là JSON công khai tại https://api.relayswitch.io/v1/proof: không cần key, đọc được từ bất kỳ origin nào, cache năm phút. Bạn có thể đưa địa chỉ này vào hệ thống giám sát của mình thay vì tin lời trang này.

Kết luận cho biết id này hôm nay trả lời giống các lần trước và có tuyến đang phục vụ. Nó loại trừ việc đổi model và việc mất tuyến; còn với bài toán của riêng bạn, vẫn nên chạy lại bằng prompt của chính bạn.

Ngoài kiểm tra hằng ngày, mỗi request có một biên nhận ghi model, số token tính tiền và số tiền, lấy tại GET https://api.relayswitch.io/v1/requests/:id/receipt. Biên nhận được ký bằng Ed25519 và kiểm chứng bằng public key tại trang kiểm chứng biên nhận (tiếng Anh), không cần tài khoản; đã ký rồi thì bên vận hành không sửa lại về sau được.

Biên nhận cũng là cách thấy được một kiểu tính tiền mà công cụ dò model bỏ sót: relay chuyển request tới đúng model nhưng tính tiền theo một hệ số nhân. Lấy số token tính tiền trên biên nhận nhân với giá ghi trên trang model rồi so với số dư bị trừ là biết. Ở đây giá trong bảng là giá trừ vào số dư; xem bảng giá.

Trước khi tin bất kỳ relay nào, hãy nạp mức thấp nhất và chạy bảy phép thử dưới đây. Ba phép đầu xong trong nửa giờ; bốn phép sau cần chạy vài ngày.

Bắt đầu thử một relay bằng lệnh liệt kê model. Ở đây lệnh này không tốn tiền và cho bạn danh sách id chính xác để dùng trong các phép thử; id nào đang có trong catalog cũng xem được ở danh sách model.

Gửi một request tối thiểu; -i in cả header của response, trong đó có request id. Dùng id đó để lấy biên nhận của đúng request này rồi so model, số token và số tiền. Một canary một câu hỏi dễ tự chạy: đặt temperature bằng 0 và yêu cầu tính 48213 × 7391, chỉ in ra con số, kèm một câu cho biết dữ liệu huấn luyện dừng ở tháng năm nào. Đáp án duy nhất đúng là 356342283; tháng năm thì đối chiếu với ngày nhà phát triển công bố.

Model bị đổi thường sai ở một trong hai chỗ: tính sai phép nhân (hay gặp ở model nhỏ và bản lượng tử hóa), hoặc báo một mốc không phải của model trên nhãn. Hỏi cùng câu đó mỗi ngày; đáp án từ đúng thành sai trong khi id model trên biên nhận không đổi nghĩa là thứ đứng sau id đã bị thay.

Các công cụ kiểm tra relay làm một hoặc vài trong ba lớp: dò trường giao thức (tên trường, thứ tự, dạng id trong response), dấu vân tay văn phong (thói quen dùng từ, cách từ chối) và đường cong năng lực (một bộ câu hỏi khó dần). Cả ba đều bỏ sót hai thứ. Một là hệ số nhân giá: request tới đúng model nên mọi phép dò đều qua, chỉ có hóa đơn là cao hơn. Hai là bản lượng tử hóa của cùng một model: một câu hỏi đơn lẻ vẫn trả lời đúng, nhưng năng lực giảm trên cả bộ câu hỏi, nên phải chạy cùng một bộ qua nhiều ngày.

Vì vậy sau công cụ vẫn còn cần hai thứ: một biên nhận có chữ ký cho từng request và một kết luận kiểm tra công khai mỗi ngày. Nếu bạn đang cân nhắc giữa các gateway, trang so sánh OpenRouter đặt hai cách làm cạnh nhau.