DeepSeek V4 Flash 0731의 ARC-AGI 평가 결과

• 세 가지 추론 수준으로 검증한 결과, 최대 수준에서 ARC-AGI-1 89.0%, ARC-AGI-2 61.4% 를 기록함
• 최대 추론 기준 Semi-Private 평가 비용은 작업당 각각 $0.02와 $0.04로 집계됨
• 추론 수준을 낮추면 ARC-AGI-1은 89.0%에서 84.0%로, ARC-AGI-2는 61.4%에서 46.0%로 하락함
• 공개 평가에서는 ARC-AGI-1 400개 작업과 ARC-AGI-2 120개 작업의 추론 수준별 통과 여부를 확인할 수 있음
• 전체 점수는 추론 수준이 높을수록 상승하지만, 일부 작업은 낮은 수준에서만 통과하며 개별 결과가 일관된 순서를 따르지는 않음

모델과 평가 구성

• DeepSeek V4 Flash 0731 모델은 Max·High·Low 세 가지 추론 변형으로 평가됨
• 관련 논문과 모델이 함께 공개돼 있음
• 검증 점수는 추론 수준별로 다음과 같음
  • Max: ARC-AGI-1 89.0%, ARC-AGI-2 61.4%
  • High: ARC-AGI-1 87.0%, ARC-AGI-2 56.0%
  • Low: ARC-AGI-1 84.0%, ARC-AGI-2 46.0%
  • ARC-AGI-3는 세 변형 모두 점수가 공개되지 않음

최대 추론 수준의 비용

• ARC-AGI-1 Semi-Private에서 89.0%를 기록했으며 작업당 비용은 $0.02임
• ARC-AGI-2 Semi-Private에서는 61.4%를 기록했고 작업당 비용은 $0.04임

공개 평가의 작업별 결과

• ARC-AGI-2 Public Eval은 120개 작업, ARC-AGI-1 Public Eval은 400개 작업으로 구성되며 각 작업의 Max·High·Low 통과 여부가 공개됨
• 전체 점수는 추론 수준이 높을수록 상승하지만, 개별 작업은 항상 같은 순서를 따르지 않음
  • ARC-AGI-2의 0934a4d8은 High만 통과했고, 4a21e3da는 Max와 Low가 통과함
  • ARC-AGI-2의 7b5033c1과 7c66cb00은 Low만 통과함
  • ARC-AGI-1의 31adaf00, 4ff4c9da, 50f325b5는 Low만 통과함
  • ARC-AGI-1의 14754a24, 16b78196, 477d2879는 Max만 통과함
• 여러 작업은 세 수준에서 모두 통과하거나 모두 실패했으며, 나머지는 추론 변형에 따라 성공 여부가 달라짐