- 최근 Gemini 3.0이 Google AI Studio에서 A/B 테스트를 통해 일부 사용자에게 노출된 소식이 등장함
- Gemini 3.0은 코딩 성능의 혁신으로 AI 업계에서 큰 기대를 받고 있음
- 모델의 품질 평가에서 SVG 생성 테스트가 효율적인 지표임이 실제 사례로 확인됨
- 필자는 Xbox 360 컨트롤러의 SVG 생성 결과에서 전례 없는 수준의 퀄리티를 경험함
- 모델 응답 시간과 출력 길이 차이 등 Gemini 3.0의 세부 특징도 추가로 관찰됨
Gemini 3.0의 비공식적 공개 및 맥락
- 최근 루머에 따르면 Google AI Studio에서 A/B 테스트를 통해 일부 사용자에게 Gemini 3.0에 접근이 가능함이 밝혀짐
- 커뮤니티에서 Xbox 컨트롤러 등 SVG 이미지가 공유되며 해당 루머의 신빙성이 높아짐
Gemini 3.0 등장 배경 및 기대
- Gemini 3.0은 현재 AI 분야에서 코딩 성능 향상 기대감으로 큰 관심을 받는 모델임
- 효율적인 AI 품질 측정 방법으로 SVG 생성의 효용성이 부각되었으며, 기존 pelican riding a bicycle와 같은 테스트 사례가 이를 입증함
실제 A/B 테스트 경험
- 필자는 직접 여러 번 시도 끝에 A/B 테스트 화면을 경험함
- 실제로 Xbox 360 컨트롤러 SVG 생성 결과는 기존 최첨단 모델 대비 매우 뛰어난 수준을 보였음
테스트 프롬프트 및 세부 결과
-
사용된 프롬프트는 다음과 같음
Create an SVG image of an Xbox 360 controller. Output it in a Markdown multi-line code block.
Like this:
```svg
...
-
Gemini 3.0의 모델 ID는 ecpt50a2y6mpgkcn으로 확인되었으나, 구체적인 버전 정보는 알기 어려움
-
기본 선택 모델이 Gemini 2.5 Pro였기에, 실제로는 Gemini 3.0 Pro와의 비교로 추정 가능함
-
응답 시간(TTFT)이 약 24초 더 소요되었으며, 출력 길이는 약 40% 더 긴 편임(추론 관련 토큰 포함 추정)
-
GPT-5 Pro 수준의 복잡한 연산 대비, 상대적으로 테스트용 연산량이 크지 않음
Appendix
- Gemini 3.0과 Gemini 2.5 Pro 간의 A/B 비교 결과 아웃풋이 별도로 시각적으로 제시됨