Gemini 3.0, A/B 테스트를 통해 공개적으로 포착됨

1 month ago 17

  • 최근 Gemini 3.0이 Google AI Studio에서 A/B 테스트를 통해 일부 사용자에게 노출된 소식이 등장함
  • Gemini 3.0은 코딩 성능의 혁신으로 AI 업계에서 큰 기대를 받고 있음
  • 모델의 품질 평가에서 SVG 생성 테스트가 효율적인 지표임이 실제 사례로 확인됨
  • 필자는 Xbox 360 컨트롤러의 SVG 생성 결과에서 전례 없는 수준의 퀄리티를 경험함
  • 모델 응답 시간과 출력 길이 차이 등 Gemini 3.0의 세부 특징도 추가로 관찰됨

Gemini 3.0의 비공식적 공개 및 맥락

  • 최근 루머에 따르면 Google AI Studio에서 A/B 테스트를 통해 일부 사용자에게 Gemini 3.0에 접근이 가능함이 밝혀짐
  • 커뮤니티에서 Xbox 컨트롤러 등 SVG 이미지가 공유되며 해당 루머의 신빙성이 높아짐

Gemini 3.0 등장 배경 및 기대

  • Gemini 3.0은 현재 AI 분야에서 코딩 성능 향상 기대감으로 큰 관심을 받는 모델임
  • 효율적인 AI 품질 측정 방법으로 SVG 생성의 효용성이 부각되었으며, 기존 pelican riding a bicycle와 같은 테스트 사례가 이를 입증함

실제 A/B 테스트 경험

  • 필자는 직접 여러 번 시도 끝에 A/B 테스트 화면을 경험함
  • 실제로 Xbox 360 컨트롤러 SVG 생성 결과는 기존 최첨단 모델 대비 매우 뛰어난 수준을 보였음

테스트 프롬프트 및 세부 결과

  • 사용된 프롬프트는 다음과 같음

    Create an SVG image of an Xbox 360 controller. Output it in a Markdown multi-line code block. Like this: ```svg ...
  • Gemini 3.0의 모델 ID는 ecpt50a2y6mpgkcn으로 확인되었으나, 구체적인 버전 정보는 알기 어려움

  • 기본 선택 모델이 Gemini 2.5 Pro였기에, 실제로는 Gemini 3.0 Pro와의 비교로 추정 가능함

  • 응답 시간(TTFT)이 약 24초 더 소요되었으며, 출력 길이는 약 40% 더 긴 편임(추론 관련 토큰 포함 추정)

  • GPT-5 Pro 수준의 복잡한 연산 대비, 상대적으로 테스트용 연산량이 크지 않음

Appendix

  • Gemini 3.0과 Gemini 2.5 Pro 간의 A/B 비교 결과 아웃풋이 별도로 시각적으로 제시됨

Read Entire Article