모델 비교는 구체적인 과제에서 시작됩니다. 즉, 우리가 무엇을 요청했는지, 그리고 그 결과가 요구 사항을 충족했는지 확인하는 것입니다. 우리는 GlobalGPT CLI를 사용하여 GlobalGPT에서 AI 모델을 테스트합니다. 예외 사항은 관련 기사에서 확인할 수 있습니다.
AI는 출력 결과물에 오류가 없는지, 프롬프트 지침을 준수했는지 확인합니다. 출력 결과물이 이러한 검증을 통과하면, 해당되는 경우 속도, 가격, 토큰 사용량을 비교합니다. 또한 작성자들은 글쓰기 스타일이나 시각적 매력 등 주관적인 품질도 평가합니다. 오디오 평가는 Gemini 3.6 Flash를 사용하여 전적으로 AI가 수행합니다.
저희는 GlobalGPT 검토팀, GlobalGPT의 일부입니다. 이 방법론은 신형 모델 출시 시 블로그에 게시하는 테스트 결과와 모델 비교 내용을 다룹니다. GlobalGPT 사용자 데이터를 기반으로 한 연구 보고서는 해당 데이터셋과 분석 방법을 설명합니다.
테스트 환경: GlobalGPT CLI
GlobalGPT CLI는 당사의 기본 테스트 환경입니다. 다른 인터페이스, API 경로 또는 네이티브 코딩 도구를 사용하는 테스트는 해당 맥락에서 이해해야 합니다. 모델 이름, 사용 가능한 설정, 도구 및 접근 권한은 환경에 따라 다를 수 있습니다.
출력을 생성하는 모델과 이를 평가하는 AI는 서로 다른 역할을 합니다. 평가자의 판단은 반환된 출력에 대한 증거일 뿐이며, 테스트 대상 모델이 내부적으로 어떻게 작동하는지를 규명하는 것은 아닙니다.
작업 설계: 프롬프트, 입력값 및 요구 사항
우리는 모델에게 명확히 식별 가능한 요구 사항이 포함된 구체적인 과제를 부여합니다. 글쓰기 과제의 경우, 제공된 노트만을 바탕으로 요약을 작성해야 할 수도 있습니다. 코딩 과제의 경우, 빈 입력을 처리하는 함수를 구현해야 할 수도 있습니다. 이미지 과제의 경우, 포스터에 정확한 문구를 기재해야 할 수도 있습니다.
비교를 위해, 프롬프트와 입력 자료는 각 모델이 수행해야 할 작업을 정의합니다. 지원되는 형식, 설정 또는 사용 가능한 도구의 차이는 결과를 해석할 때 중요한 요소가 됩니다. 고정된 프롬프트 비교와 여러 번의 시도를 통해 프롬프트를 개선해 나가는 튜토리얼은 서로 다른 질문에 답을 제공합니다.
출력 평가: 오류, 지침 및 효율성
오류 및 신속한 준수
AI는 출력이 주어진 과제에 부합하는지, 그리고 식별 가능한 오류가 포함되어 있는지 평가합니다. 관련 점검 항목에는 잘못된 계산, 근거 없는 주장, 누락된 필드, 또는 필수 형식을 따르지 않은 경우 등이 포함될 수 있습니다.
‘통과’는 적용된 검사에서 오류가 발견되지 않았음을 의미합니다. 이는 출력 결과에 가능한 모든 오류가 전혀 없다는 것을 보장하지는 않습니다. AI 평가자는 실수를 간과하거나 잘못된 판단을 내릴 수도 있습니다.
집행 증거는 평가의 별도 항목입니다. 당사의 키미 코딩 계획 테스트, 생성된 코드 뒤에는 다섯 가지 로컬 검증이 이어졌다. 코드를 읽고, 모델에게 자신의 답변을 검토하도록 요청하며, 테스트를 실행하는 것은 각기 다른 근거를 제공한다.
속도, 가격, 토큰 활용
출력 결과가 과제 요건을 충족하는 경우, 효율성을 통해 유용한 대안을 가려낼 수 있습니다. 필수 계산 과정을 생략한 빠른 답안은 정답과 동일한 작업을 수행한 것으로 볼 수 없습니다.
| 측정 | 읽는 방법 |
|---|---|
| 시간 | 측정 창을 확인하십시오. 요청부터 완료까지의 시간에는 경로 및 관련 처리 시간이 포함되며, 반드시 제공자 측 모델 지연 시간은 아닙니다. |
| 토큰 사용 | 서비스에서 반환된 범주를 사용하십시오. 입력, 출력, 캐시 또는 추론 토큰 데이터가 누락되었다고 해서 사용 횟수가 0인 것은 아닙니다. |
| 비용 | 기록된 GlobalGPT 청구액 또는 크레딧을, 공급자 API 가격을 기준으로 산출된 예상 금액과 구분해야 합니다. 구독료도 또 다른 지표입니다. |
| 미디어 생성 | 출력 설정과 적용 가능한 크레딧 또는 출력당 요금을 고려하십시오. 토큰 수치는 제공되지 않거나 의미가 없을 수 있습니다. |
견적에는 명시된 산정 기준이 필요합니다. 검증된 환산 규칙이 없으면 크레딧을 달러로 환산할 수 없으며, 응답 필드의 값이 0이라고 해서 그 요청이 무료였다고 단정할 수는 없습니다.
주관적 과제에 대한 평가자의 판단
저자들은 또한 선호도가 유용성에 영향을 미칠 때 결과물을 비교하기도 한다. 글이나 이미지의 경우, 이는 어떤 결과물이 더 명확한 언어 표현을 사용했는지, 가독성이 더 뛰어난 레이아웃을 갖추었는지, 아니면 의뢰 요건에 더 잘 부합하는 구성을 가지고 있는지 설명하는 것을 의미할 수 있다.
우리의 Seedream 5.0 Pro와 GPT Image 2 비교 특정 과제에 대한 대조 이미지를 보여줍니다. 눈에 띄는 문구와 레이아웃을 통해 독자들은 저자의 선호도와 함께 살펴볼 수 있는 요소를 얻게 됩니다. 미적 선호도는 객관적으로 검증된 요구 사항과는 별개의 개념입니다.
Gemini 3.6 플래시를 활용한 AI 오디오 평가
당사의 오디오 청취 평가는 전적으로 AI에 의해 수행됩니다. 실제 오디오를 분석하는 데 Gemini 3.6 Flash를 사용합니다. 이는 AI를 통한 평가 결과이며, 사람이 직접 청취한 패널 평가 결과가 아닙니다.
평가는 요청된 말, 언어, 소리 현상, 타이밍, 또는 음악적 구조 등 과제에 따라 달라집니다. 저희는 Seed Audio 1.0 리뷰 여기에는 생성된 오디오와 콘텐츠, 이벤트, 타이밍, 아티팩트에 대한 AI 분석이 포함됩니다.
형식이나 재생 시간과 같은 파일 속성은 내용에 대한 판단과는 별개입니다. 오디오 트랙이 존재한다고 해서 요청된 단어나 소리가 정확하다는 것을 증명하지는 않습니다. 출판된 악보는 반드시 평가 기준과 해당 악보가 묘사하는 오디오를 함께 참고하여 읽어야 합니다.
시험 날짜, 설정 및 결과 증거를 읽는 방법
자세한 테스트 결과는 해당 기사 본문에 포함되어야 합니다. 유용한 배경 정보로는 다음이 있습니다:
- 테스트 날짜, 모델 식별자 및 환경.
- 과제, 지침, 입력 자료 및 요구되는 결과.
- 사용 가능한 설정, 시도 횟수 및 관련 변경 사항.
- 평가자, 적용된 확인 사항 및 저자 선호의 근거.
- 실제 출력물 또는 발췌문, 스크린샷 또는 미디어 자료, 그리고 확인 가능한 시기, 사용 내역 및 비용 기록.
논문과 과거 테스트에 따라 기록이 서로 다릅니다. 누락된 측정값은 관측된 사실로 재구성할 수 없습니다. 모델 모음 페이지의 ‘블로그 및 가이드’ 섹션에는 관련 리뷰와 이 방법론에 대한 링크가 제공되며, 전체 프롬프트와 출력 증거는 블로그 게시물에 그대로 남아 있습니다.
재시도, 실패한 요청 및 수정 사항 해석하기
첫 번째 결과, 선별된 결과, 수정된 시도는 독자들에게 각기 다른 정보를 전달합니다. 기술적 오류, 빈 응답, 잘린 답변, 프롬프트나 설정 변경 등을 포함한 기사의 시도 내역은 중요한 의미를 지닙니다.
요청이 성공적으로 완료되었더라도 사용 불가능한 응답이 반환될 수 있습니다. 요청이 실패한 경우, 테스트된 경로에 문제가 있음을 드러낼 수는 있더라도 일반적인 모델의 취약점을 입증하는 것은 아닙니다. 당사의 기사에서는 다양한 테스트 범위를 적용하고 있으며, 모든 결과에 대해 일률적인 실행 횟수나 블라인드 테스트 절차가 적용되는 것은 아닙니다.
작업 결과를 통해 알 수 있는 것과 알 수 없는 것
결과는 테스트 대상인 과제, 모델, 날짜 및 환경에 대한 결론을 뒷받침합니다. 소규모 과제 세트와 개별 시간 측정만으로는 보편적인 성과 순위를 확립할 수 없습니다. 비교 대상 중 한쪽만 테스트된 경우, 그 증거만으로는 두 모델 중 어느 쪽이 우월한지 입증할 수 없습니다.
공식 사양, 외부 벤치마크, 과거 테스트 결과, 그리고 기사 자체의 분석 결과는 각기 다른 종류의 근거를 제공합니다. 모든 점수는 명시된 평가 척도, 가중치, 그리고 제외 항목에 따라 달라집니다. 독자들은 부분적인 결과나 실패한 결과를 포함하여, 평가 결과와 근거를 서로 연결 지을 수 있어야 합니다.
기사 업데이트와 모델 재검증의 차이점
당사의 정책에 명시된 바와 같이, 일반적으로 2~4주마다 기사를 검토합니다. 편집 기준. 콘텐츠 검사는 모든 모델 테스트를 다시 실행했다는 의미는 아닙니다.
가격 업데이트, 기존 산출물에 대한 평가 수정, 새로운 산출물 생성은 서로 별개의 작업입니다. 과거의 분석 결과는 원래의 테스트 맥락과 계속 연결되어 있으며, 단순히 기사 업데이트 날짜가 변경되었다고 해서 그것이 새로운 테스트 결과가 되는 것은 아닙니다.
