怎麼證明呼叫到的是標示的模型
每個模型每天會收到同一則檢查提示,回答與先前幾次比對,結果公開在 https://api.relayswitch.io/v1/proof,不需要金鑰就能看。某個 id 背後的模型被換掉,在這裡就會顯示為「已變更」;每次請求另有一張附簽章的收據。即時結果在 Proof 頁(英文)。
01每日公開檢查怎麼做
目錄裡的每個模型,每天收到同一則檢查提示,回答會和先前幾次的結果比對,每個模型得到一個結論與檢查時間。同一份資料也是公開的 JSON:https://api.relayswitch.io/v1/proof,不需要金鑰,任何來源都能讀取,快取五分鐘。
這個檢查說明的是:這個 id 今天的回答與先前一致,而且線路有回應。它排除的是換模型與線路中斷兩件事;你自己的使用情境,還是要用自己的提示再測一次。
02三種結論的意思
| 穩定 | 模型對檢查提示的回答,與先前幾次一致。 |
| 已變更 | 回答與先前不同:這個 id 背後提供服務的,已經不是先前那一個。 |
| 未回應 | 最近一次檢查時,這個模型沒有任何線路回應;上一次的結論只是歷史,不代表現在。 |
03每次請求一張簽章收據
每日檢查看的是模型,收據看的是你的每一次請求。先送一個最小的請求,-i 會印出回應標頭,裡面有這次請求的 id;再用這個 id 讀取收據:GET https://api.relayswitch.io/v1/requests/:id/receipt。
收據以 Ed25519 簽章,寫明模型 id、計費 token 與費用,可以在驗證頁(英文)用公鑰核對,不需要帳戶,事後也無法竄改。
curl -i https://api.relayswitch.io/v1/messages \ -H "Authorization: Bearer sk-relay-..." \ -H "anthropic-version: 2023-06-01" \ -H "content-type: application/json" \ -d '{"model": "claude-fable-5.1", "max_tokens": 16, "messages": [{"role": "user", "content": "Reply with ok"}]}'04先確認金鑰能呼叫哪些模型
自己動手測之前,先列出這把金鑰能呼叫的模型 id,這個請求不花錢。拿回來的 id 就是接下來測試時要填在 model 欄位的寫法,也可以和模型列表對照。
curl https://api.relayswitch.io/v1/models \ -H "Authorization: Bearer sk-relay-..."05自己測任何一家 API 服務:七項清單
在信任任何一家 API 代理服務之前,先用最低金額儲值,把下面七項跑一遍。前三項半小時內做得完,後四項要連續跑幾天。
| 自報身分 | 問它是什麼模型、誰開發的。答對不代表什麼,因為一句系統提示就能讓任何模型自稱 GPT 或 Claude;答錯或前後矛盾才是訊號。 |
| 知識截止日期 | 記下開發商公布的截止日期,前後各問三件事。真的模型對截止之後的事會說不知道;換成舊模型,連截止前不久的事也答不出來。 |
| 長文找暗號 | 送一段兩三千字、自己寫的無關文字,中間埋一句暗號,最後問暗號是什麼。標示的模型在上下文長度內找得回來;被換成小模型或被截斷的線路會找不到,或編一個。 |
| 算術與程式題 | 一道只有唯一答案的多位數乘法,或要求精確輸出的程式。同一題問五次並記錄對錯;降級成小模型後,錯誤率會明顯上升。 |
| token 數對照 | 用開發商的 tokenizer 算一次輸入,再看回應 usage 裡的 prompt_tokens。兩者應該接近;差很多,表示計費不是照標示的模型,或請求被改寫過。 |
| 多日一致性 | 把上面幾項寫成腳本,每天同一時間跑一次並保存回答。線路被換的那天,回答會整體改變。 |
| 核對收據 | 要一張請求層級的收據:模型 id、計費 token、費用與簽章。沒有收據的服務,只能靠自己記錄。 |
06一個問題的快速檢查
把 temperature 設為 0,送出這一句:計算 48213 × 7391,只輸出數字,再用一句話說明訓練資料截止到哪一年哪一月。唯一正確的答案是 356342283;截止月份則對照開發商公布的日期。
被換掉的模型通常錯在兩處之一:乘法算錯(小模型與量化版常見),或報出的截止月份不屬於標示的那個模型。每天同一時間送一次、把回答存下來逐日比對,就是你自己的每日檢查。
07檢測工具查不出來的兩件事
市面上的檢測工具做的不外乎三層:協定欄位探測、風格指紋、能力曲線。下面兩種情況三層都查不出來,所以工具之外還需要兩樣東西:每次請求的簽章收據(計費 token 乘以費用與價格頁的標價,要等於扣掉的餘額),以及每天公開的檢查結論。
- 加價計費:把請求原樣轉給真的模型,再以高於標價的費率收費。協定探測與風格指紋全部通過,帳單卻變多了。
- 量化版:同一個模型的低精度版本,單一題目答得對,整體能力卻下降。單題通過不算結論,要同一組題目連續跑幾天。
常見問題
- 模型自稱是 GPT 或 Claude,可以相信嗎?
- 不能單獨當作依據。一句系統提示就能讓任何模型報出任何名字。要看它答不答得出截止日期之後的事、找不找得回長文裡的暗號、算不算得對。
- 每日檢查是怎麼做的?
- 目錄裡的每個模型每天收到同一則檢查提示,回答與先前幾次比對。結論有三種:穩定、已變更、未回應。結果是公開的 JSON:GET https://api.relayswitch.io/v1/proof,不需要金鑰。
- 收據要怎麼驗證?
- GET https://api.relayswitch.io/v1/requests/:id/receipt 會回傳附 Ed25519 簽章的收據,寫明模型、計費 token 與費用。簽章可以在英文站的驗證頁用公鑰核對,不需要帳戶。
- 檢查通過,就一定是真的模型嗎?
- 檢查說明的是這個 id 今天的回答與先前一致,而且線路有回應。它排除的是換模型與線路中斷;你自己的使用情境,還是要用自己的提示再測一次。
- 怎麼判斷模型被偷偷換成比較弱的版本?
- 兩個辦法一起用。同一道只有唯一答案的題目,用 temperature 0 每天問一次:答案從對變錯,或知識截止的月份變了,就是換過了。再看收據:模型 id 沒變而回答變了,問題就不在你的提示。每日檢查裡標示為已變更的,就是這種情況。
- 測試一家 API 服務要先儲多少?
- 用最低金額就夠。測試的目的是在信任之前先拿到證據:這裡的最低儲值是 $10,足夠把七項各跑幾遍;通過了再加碼,沒通過損失也有限。儲值不退款。