벤치마크 상세

SWE-bench Multilingual 300

다언어 저장소 이슈 해결: TypeScript, Java, Go 등 다양한 코드베이스를 다루는 에이전트

공식 리더보드 보기 공식 multilingual 리더보드에서 같은 mini-SWE-agent 버전으로 평가된 모델만 비교합니다. 모델과 하네스·도구 설정이 결합된 결과이며 일반 채팅 성능으로 해석하지 않습니다.

점수 그래프

왼쪽부터 높은 순서

1 72.7 Gemini 3 Flash 2 72 Claude 4.6 Opus 3 70.7 Claude 4.5 Opus 4 69.7 GLM 5 5 68.7 Gemini 3 Pro 6 68.3 MiniMax M2.5 7 67.3 Kimi K2.5 8 67 Claude 4.5 Sonnet 9 66.7 GPT-5.2 OpenAI 10 64.7 Claude 4.5 Haiku

읽는 법

전체 벤치마크

Python 외 여러 언어와 framework에서 실제 issue 해결 능력을 봅니다.

한국 개발자에게는 실제 웹/앱 스택과 더 가까운 신호일 수 있습니다.