Cek harian: model yang menjawab memang model yang tertulis
Setiap model menerima prompt uji yang sama sekali sehari, dan jawabannya dibandingkan dengan hasil sebelumnya. Relay yang mengganti model di balik sebuah id akan terlihat sebagai berubah, dan hasilnya terbuka untuk publik tanpa API key.
01Cara kerja cek harian
Setiap model di katalog dikirimi satu prompt canary yang sama sekali sehari. Jawabannya dibandingkan dengan jawaban pada pengujian-pengujian sebelumnya, lalu tiap model diberi satu status beserta waktu pengujiannya. Hasil terkini per model ada di halaman proof (berbahasa Inggris).
Data yang sama tersedia sebagai JSON publik di https://api.relayswitch.io/v1/proof: tanpa API key, bisa dibaca dari origin mana pun, dan di-cache selama lima menit. Id model yang diuji sama dengan yang ada di daftar model.
02Arti tiga status
Tiap model mendapat satu dari tiga status di bawah. Lulus cek berarti jawaban id itu hari ini sama dengan sebelumnya dan rutenya merespons. Yang disingkirkan adalah penggantian model dan rute yang mati; untuk kasus pemakaian Anda sendiri, tetap jalankan prompt Anda sendiri.
| Stabil | Model menjawab prompt canary seperti pada pengujian-pengujian sebelumnya. |
| Berubah | Jawabannya bergeser dari pengujian sebelumnya: yang melayani id itu bukan lagi yang melayaninya dulu. |
| Tidak terjangkau | Tidak ada rute model itu yang menjawab pada pengujian terakhir; status sebelumnya hanya riwayat, bukan keadaan saat ini. |
03Struk bertanda tangan untuk setiap request
Cek harian menjawab pertanyaan tentang model; struk menjawab pertanyaan tentang satu request. Kirim satu request kecil, ambil id request dari header respons, lalu minta struknya di GET https://api.relayswitch.io/v1/requests/:id/receipt. Struk bertanda tangan Ed25519 dan mencatat model, token yang ditagih, dan biayanya, sehingga bisa diverifikasi secara offline dengan public key dan tidak bisa diubah belakangan.
Halaman verifikasi struk (berbahasa Inggris) memeriksa tanda tangannya tanpa akun. Contoh request lain ada di halaman Claude API.
curl -i https://api.relayswitch.io/v1/messages \ -H "Authorization: Bearer sk-relay-..." \ -H "anthropic-version: 2023-06-01" \ -H "content-type: application/json" \ -d '{"model": "claude-fable-5.1", "max_tokens": 16, "messages": [{"role": "user", "content": "Reply with ok"}]}'04Menguji relay mana pun: mulai dari top-up kecil
Sebelum memercayai relay mana pun, isi saldo sekecil mungkin dan jalankan tujuh tes di bagian berikut. Tujuannya mendapat bukti sebelum percaya: jika lulus, tambah saldo; jika tidak, kerugiannya terbatas. Mulailah dengan meminta daftar id model yang bisa dipanggil key Anda, karena tiap tes memerlukan id yang persis.
curl https://api.relayswitch.io/v1/models \ -H "Authorization: Bearer sk-relay-..."05Tujuh tes yang bisa Anda jalankan sendiri
Tiga tes pertama selesai dalam setengah jam; empat sisanya perlu dijalankan beberapa hari.
| Pengakuan identitas | Tanyakan model apa dia dan siapa pengembangnya. Ini hanya menyingkirkan penyamaran paling kasar, karena satu kalimat system prompt bisa membuat model apa pun mengaku GPT atau Claude. Jawaban benar tidak membuktikan apa-apa; jawaban salah atau tidak konsisten barulah sinyal. |
| Batas pengetahuan | Tanyakan beberapa peristiwa sesudah batas data latih model itu dan beberapa sebelum batas tersebut. Model asli akan bilang tidak tahu untuk yang sesudahnya; model lama yang menyamar gagal juga pada peristiwa tak lama sebelum batas itu. Catat tanggal yang diumumkan pengembang dan tanyakan tiga peristiwa di tiap sisi. |
| Kata sandi di konteks panjang | Kirim teks panjang yang tak berkaitan, selipkan satu kata sandi di tengahnya, lalu tanyakan kata sandinya. Model yang tertulis menemukannya persis selama masih di dalam jendela konteksnya; model berjendela kecil atau rute yang memotong konteks gagal atau mengarang. Tulis teksnya sendiri. |
| Canary aritmetika atau kode | Satu perkalian banyak digit dengan jawaban tunggal, atau kode yang menuntut output persis. Model unggulan menjawab benar secara konsisten; setelah diturunkan ke model kecil, tingkat salahnya naik jelas. Tanyakan lima kali dan catat benar salahnya. |
| Perbandingan jumlah token | Hitung input Anda dengan tokenizer milik pengembang, lalu bandingkan dengan prompt_tokens di usage pada respons; lakukan hal yang sama untuk output dengan completion_tokens. Selisih besar berarti penagihan tidak mengikuti model yang tertulis, atau request ditulis ulang. |
| Konsistensi beberapa hari | Jadikan tes di atas sebuah skrip, jalankan pada jam yang sama tiap hari, dan simpan jawabannya. Pada hari rutenya diganti, jawabannya berubah secara keseluruhan. Lulus sekali bukan berarti lulus seterusnya. |
| Pemeriksaan struk | Minta struk per request yang memuat id model, token yang ditagih, biaya, dan tanda tangan. Struk seperti itu bisa diverifikasi offline dengan public key. Di relay tanpa struk, Anda hanya bisa mengandalkan catatan sendiri. |
06Satu pertanyaan canary, dan yang luput dari alat pendeteksi
Atur temperature ke 0 dan kirim satu kalimat: hitung 48213 × 7391 dan tulis angkanya saja, lalu sebutkan dalam satu kalimat sampai bulan dan tahun berapa data latihmu. Satu-satunya jawaban yang benar adalah 356342283, dan bulan batasnya dicocokkan dengan tanggal yang diumumkan pengembang. Model pengganti salah di salah satu dari dua hal itu: perkaliannya keliru, yang umum pada model kecil dan versi terkuantisasi, atau bulan batas yang disebut bukan milik model yang tertulis.
Alat pendeteksi relay yang beredar bekerja di tiga lapis: pemeriksaan field protokol pada respons, sidik gaya dari beberapa putaran prompt, dan kurva kemampuan dari soal yang makin sulit. Ada dua hal yang lolos dari ketiganya. Pertama, pengali harga: request diteruskan apa adanya ke model asli lalu ditagih lebih mahal, sehingga pemeriksaan protokol dan gaya lulus semua. Ini hanya terlihat jika token yang ditagih di struk dikalikan dengan harga di halaman model, lalu dicocokkan dengan saldo yang terpotong. Kedua, versi terkuantisasi: versi berpresisi rendah dari model yang sama bisa menjawab benar satu soal, tetapi kurva kemampuannya turun, jadi kumpulan soal yang sama perlu dijalankan beberapa hari. Cara penagihan di sini dijelaskan di halaman harga.
Pertanyaan umum
- Model mengaku GPT atau Claude, apakah bisa dipercaya?
- Tidak sebagai satu-satunya dasar. Satu kalimat system prompt bisa membuat model apa pun menyebut nama apa pun. Lihat apakah ia menjawab benar soal peristiwa sesudah batas pengetahuannya, menemukan kata sandi di teks panjang, dan menghitung dengan benar.
- Bagaimana cek harian dilakukan?
- Setiap model di katalog menerima prompt uji yang sama sekali sehari, dan jawabannya dibandingkan dengan pengujian-pengujian sebelumnya. Ada tiga status: stabil, berubah, dan tidak terjangkau. Hasilnya berupa JSON publik di https://api.relayswitch.io/v1/proof, tanpa API key.
- Bagaimana cara memverifikasi struk?
- GET https://api.relayswitch.io/v1/requests/:id/receipt mengembalikan struk bertanda tangan Ed25519 yang mencatat model, token yang ditagih, dan biayanya. Tanda tangannya diperiksa dengan public key dan tidak memerlukan akun.
- Apakah lulus cek berarti modelnya pasti asli?
- Cek menunjukkan bahwa jawaban id itu hari ini sama dengan sebelumnya dan rutenya merespons. Yang disingkirkan adalah penggantian model dan rute yang mati. Untuk kasus pemakaian Anda sendiri, jalankan lagi dengan prompt Anda sendiri.
- Bagaimana tahu sebuah model diturunkan diam-diam?
- Penurunan diam-diam berarti id yang sama diganti dengan model yang lebih lemah atau versi terkuantisasi. Kirim soal berjawaban tunggal yang sama dengan temperature 0 sekali sehari: jika jawabannya berubah dari benar menjadi salah, atau bulan batas pengetahuannya berubah, modelnya sudah diganti. Lalu lihat struknya: id model tetap tetapi jawaban berubah berarti yang berubah adalah modelnya, bukan prompt Anda. Cek harian di sini menandai keadaan itu sebagai berubah.
- Kenapa pengujian dimulai dari top-up kecil?
- Karena tujuan pengujian adalah mendapat bukti sebelum percaya. Top-up terkecil di sini $10, cukup untuk menjalankan ketujuh tes beberapa kali. Jika lulus, tambah saldo; jika tidak, kerugiannya terbatas. Top-up tidak dapat dikembalikan.
Uji dulu, baru percaya
Isi $10 dan jalankan ketujuh tes. Setiap model dicek sekali sehari secara terbuka, dan setiap request punya struk bertanda tangan.