ラベルどおりのモデルが応答しているかを、毎日公開チェックする

カタログのすべてのモデルに、1 日 1 回、同じチェック用プロンプトを送ります。応答は過去数回の実行と比較され、モデルごとに 1 つの結果が付きます。ある ID の裏側で応答するモデルが入れ替えられた場合、その変化はここに表示されます。

結果の一覧は日次チェックのページ（英語）にあり、モデルごとの結果とチェックの時刻を確認できます。閲覧に API キーは不要です。チェックの対象になっているモデルと料金はモデル一覧にあります。

同じデータは公開の JSON としても取得できます。https://api.relayswitch.io/v1/proof は API キーなしで、どのオリジンからでも読め、5 分間キャッシュされます。

日次チェックとは別に、リクエストごとに署名付きレシートがあります。GET https://api.relayswitch.io/v1/requests/:id/receipt が、モデル、課金トークン数、料金を記した Ed25519 署名付きのレシートを返します。署名は検証ページ（英語）で公開鍵を使って確認でき、検証にアカウントは必要ありません。

レシートの課金トークン数に料金ページの単価を掛けると、引き落とされた金額と 1 件ずつ照合できます。

中継 API を信用する前に、少額のチャージで次の 7 項目を試します。項目ごとに、何を送るか、本物のモデルがどう答えるか、入れ替えられているとどうなるかを書いています。最初の 3 つは 30 分ほどで終わり、残りの 4 つは数日かけて実行します。

中継 API の検出ツールが行っているのは、このセクションの表にある 3 つの層のどれか、またはその組み合わせです。

どの層でも分からないことが 2 つあります。1 つは倍率です。リクエストを本物のモデルにそのまま転送したうえで倍率を掛けて課金するサービスは、プロトコルの確認にも文体の確認にも合格します。レシートの課金トークン数に料金表の単価を掛け、引き落とされた残高と照合して初めて分かります。もう 1 つは量子化版です。同じモデルの低精度版は 1 問なら正解できますが、能力の曲線は全体として下がります。1 問の合格は結論にならず、同じ問題のセットを数日実行する必要があります。

テストの最初に、そのキーで呼び出せるモデル ID の一覧を取得します。RelaySwitch では、このリクエストに料金はかかりません。以降のテストでは、ここに表示された ID を 1 文字も変えずに model に書きます。

下の例は、Claude の ID に最小のメッセージを 1 件送る curl です。content を自分のチェック用の質問に置き換え、max_tokens を答えが収まる値にし、temperature を 0 にして、毎日同じ時刻に送ります。応答の本文と usage を保存し、日ごとに比べます。

質問の例として、「48213 × 7391 を計算し、数字だけを出力してください。続けて、学習データがいつまでのものかを 1 文で答えてください」があります。正しい答えは 356342283 の 1 つだけで、カットオフの時期は開発元が公表している日付と照らし合わせます。入れ替えられたモデルは、掛け算を間違えるか、ラベルのモデルとは違う時期を答えます。

例は -i を付けているので、レスポンスヘッダーからそのリクエストの ID が分かります。この ID でレシートを取得し、モデル ID が変わっていないかを確認します。モデル ID が同じなのに答えだけが変わったのであれば、変わったのはプロンプトではなく、応答しているモデルです。OpenAI 形式で送る場合の例は Claude API の使い方にあります。