표시된 모델이 진짜인지 확인하기: 일일 공개 점검

게이트웨이를 쓸 때 확인하기 어려운 것은 모델 id 뒤에서 실제로 응답하는 모델입니다. id는 그대로인데 더 약한 모델이나 양자화 버전으로 조용히 바뀌어도 응답 한두 개로는 알아차리기 어렵습니다. 그래서 카탈로그의 모든 모델에 매일 같은 점검 프롬프트를 보내고 이전 실행의 응답과 비교한 뒤 모델별 판정을 공개합니다.

모델별 최신 판정과 점검 시각은 일일 점검 결과 페이지(영어)에 있습니다. 같은 데이터가 https://api.relayswitch.io/v1/proof에 공개 JSON으로 있으며 키가 필요 없고 어느 출처에서든 읽을 수 있고 5분간 캐시됩니다.

점검을 통과했다는 것은 이 id의 오늘 응답이 이전과 같고 경로가 응답했다는 뜻입니다. 모델 교체와 응답 불가를 걸러 내는 것이므로, 자신의 용도에 맞는지는 자신의 프롬프트로 다시 확인해야 합니다.

일일 점검이 모델 전체를 보는 기록이라면 영수증은 요청 한 건의 기록입니다. 모든 요청에는 모델, 과금 토큰, 비용이 적힌 서명된 영수증이 있고 GET https://api.relayswitch.io/v1/requests/:id/receipt로 조회합니다. 서명은 Ed25519이며 영수증 검증 페이지(영어)에서 공개 키로 확인할 수 있고 계정이 필요 없습니다.

아래 요청을 보내면 -i 옵션이 응답 헤더를 출력하고, 헤더에 이 요청의 id가 들어 있습니다. 그 id를 위 경로에 넣어 영수증을 조회하십시오.

어떤 게이트웨이든 믿기 전에 적은 금액으로 먼저 시험하십시오. 앞의 세 가지는 30분 안에 끝나고 나머지 네 가지는 며칠에 걸쳐 실행합니다.

temperature를 0으로 두고 다음 한 문장을 보냅니다: 48213 × 7391을 계산해 숫자만 출력하고, 학습 데이터가 몇 년 몇 월까지인지 한 문장으로 답하라. 유일한 정답은 356342283이고, 기준 월은 개발사가 공개한 날짜와 대조합니다.

바뀐 모델은 둘 중 한 곳에서 틀립니다. 곱셈을 틀리거나(작은 모델과 양자화 버전에서 흔함), 표시된 모델의 것이 아닌 기준 월을 말합니다. 같은 프롬프트를 매일 같은 시각에 보내고 응답과 usage를 저장해 날짜별로 비교하십시오.

점검할 모델 id는 아래 요청으로 조회합니다. 이 경로는 키가 호출할 수 있는 모델 id를 돌려주며 과금되지 않습니다.

공개된 점검 도구가 쓰는 방법은 아래 표의 세 가지이며, 방법마다 잡는 것과 놓치는 것을 함께 적었습니다.

도구로 잡히지 않는 것이 두 가지 있습니다. 하나는 배율입니다. 요청을 진짜 모델로 그대로 전달하고 요금만 더 받으면 탐지와 지문을 모두 통과하므로, 영수증의 과금 토큰에 모델 페이지의 단가를 곱해 차감된 잔액과 맞춰 봐야 드러납니다. 다른 하나는 양자화 버전으로, 같은 문제 묶음을 며칠 동안 돌려야 보입니다.

그래서 도구 뒤에 남는 것은 요청마다의 서명된 영수증과 매일 공개되는 판정 두 가지입니다. RelaySwitch의 단가는 가격 페이지와 모델 목록에 그대로 공개되어 있어 영수증과 대조할 수 있습니다.