
MAI Code 2 vs SWE-2: 동일한 두 벤치마크, 그중 한쪽만 공개
- OrcaNEWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 100만 토큰당 · 180 tok/s
- tencentNEWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 100만 토큰당 · 223 tok/s
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100만 토큰당 · 89 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100만 토큰당 · 98 tok/s
- orcaNEWOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100만 토큰당 · 88 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100만 토큰당 · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 100만 토큰당 · 79 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 100만 토큰당 · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100만 토큰당 · 118 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100만 토큰당 · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100만 토큰당 · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447지능
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100만 토큰당 · 199 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929지능
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100만 토큰당 · 114 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733지능
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 100만 토큰당 · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740지능
MAI Code 2와 SWE-2는 출시 자료에서 거의 동일한 벤치마크를 언급하며, 그중 하나만이 자사 점수를 공개한다. 마이크로소프트의 2026년 11월 17일 게시물은 DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas, FrontierCode v1.1을 나열한 뒤 비율을 보고한다: Claude Opus 5.5 성능의 96%를 5%의 비용으로. Cognition의 SWE-2 게시물은 2026년 9월 10일에 게시되었으며, 앞의 두 벤치마크와 동일한 항목을 나열하고 각각의 숫자를 제시한다: DeepSWE 1.1에서 73.0%, Terminal-Bench 2.1에서 92.8%, Terminal-Bench 4.0에서 27.3%. 주목해야 할 것은 세 번째 숫자다. 그것은 마이크로소프트가 보고하지 않은 에디션이며, 터미널 벤치마크가 더 어려워질 때 코딩 모델에 어떤 일이 일어나는지 보여준다.
두 모델은 또한 이 범주에서 이례적으로 만드는 배포 제약을 공유합니다. 어느 쪽도 공개 토큰당 API를 제공하지 않습니다. MAI Code 2는 GitHub Copilot 클라이언트에서 선택하면 접근할 수 있습니다. SWE-2는 Devin 내부에서 실행됩니다. 자체 코드에서 호출할 수 없는 두 모델이며, 그중 하나는 수치를 공개합니다.
아무도 앞세우지 않는 벤치마크 에디션
Cognition의 표는 두 벤더가 공개한 자료 중 가장 유용한 산출물이다. SWE-2가 그 표에서 무언가를 이겨서가 아니라, 동일한 모델을 동일한 벤치마크의 두 판본에서 측정한 결과를 보여주기 때문에 유용하다.
• Terminal-Bench 2.1 — SWE-2 92.8%로, Claude Fable 5.1의 91.4%, GPT-6 Astra의 89.9%, Kimi K3의 88.3%를 앞섰습니다
• Terminal-Bench 4.0 — SWE-2는 27.3%인 반면, Claude Fable 5.1은 55.8%, GPT-6 Astra는 57.9%, Kimi K3는 21.5%입니다.
• DeepSWE 1.1 — SWE-2 73.0%로, GPT-6 Astra의 74.1%, GPT-5.6 Sol의 72.7%, Claude Fable 5.1의 67.4%와 비교된다
• FrontierCode 1.1 Main — SWE-2 50.0%로, GPT-6 Astra의 53.3% 및 Claude Fable 5.1의 50.9%와 대비됩니다
처음 두 줄을 함께 읽어 보라. SWE-2는 2.1에서 2위이고 4.0에서는 뒤에서 두 번째로, 약 65점 하락이며 그것만 그런 게 아니다. Kimi K3도 같은 두 버전에서 67점 떨어진다. 버티는 모델은 장기 호라이즌 작업에 맞춰 튜닝된 모델들이다. 이는 한 연구실의 하네스 특유의 이상 현상이 아니라 벤치마크 에디션이 더 어려워진 것이며, 바로 그래서 "우리는 Terminal Bench 2.1을 돌렸다"는 말이 2026년 11월에는 9월보다 더 약한 주장인 이유이기도 하다.
마이크로소프트는 Terminal Bench 2.1을 실시했다. 마이크로소프트는 이에 대한 점수를 공개하지 않았다. 마이크로소프트는 4.0에 대해서는 아무것도 공개하지 않았다. 이 세 가지 사실을 종합하면, 구매자는 MAI Code 2가 어떤 종류의 코딩 모델인지 알 수 없다. 터미널 작업이 길어져도 견디는 종류인지, 아니면 그렇지 않은 종류인지.
각 공급업체가 실제로 공개한 내용
공개 격차는 모델들의 가격보다 크므로, 이를 분명히 밝힐 가치가 있습니다.
Cognition은 4개 벤치마크를 포함한 7개 모델 표를 공개했는데, 여기에는 명시된 비교군, 경쟁 모델들을 Cognition 자체 CLI에서 각 모델의 최고 추론 노력 수준으로 실행했다는 설명, 그리고 제외한 항목 하나를 정직하게 공개한 내용이 담겨 있다. Claude Fable 5.1은 최대 노력 수준에서 작업당 $12.83의 비용으로 FrontierCode에서 50.3%를 기록해 자사의 중간 노력 결과보다 낮았고, 그래서 차트에서 제외되었다. 어떤 데이터 포인트를 제거했는지 알려주는 벤더는 그 표를 깎아내릴 수 있는 도구를 독자에게 주는 벤더다.
마이크로소프트는 벤치마크 이름과, 서브에이전트를 비활성화하고 모든 모델을 최대 추론 강도로 설정한 GitHub Copilot CLI를 통해 자사 내부 평가 플랫폼인 MSBench라는 하네스, 그리고 해당 벤치마크들이 평균으로 산출하는 비율을 공개했다. MAI Code 2에 대해서는 네 가지 벤치마크 중 어느 것에서도 통과율을 공개하지 않았고, 파라미터 수, 출력 상한, 그리고 두 비율 외에 이름이 명시된 경쟁사와의 비교표도 공개하지 않았다. 2026년 11월 18일 기준 Artificial Analysis에는 해당 모델에 대한 행이 없어 대체할 제3자 측정치가 없다.
이 공개 내용 중 하나는 추론을 재현할 수 있게 해 줍니다. 다른 하나는 결론을 받아들이라고 요구합니다.
어느 모델도 엔드포인트가 아니며, 이는 구매 결정을 바꿉니다.
SWE-2는 토큰당 가격이 공개되어 있지 않고 공개 API도 없습니다. Cognition의 글에 따르면 SWE-2는 Devin Desktop과 CLI에서 사용할 수 있으며 Devin Web과 Fusion으로도 순차 출시될 예정인데, 그 글에 나오는 유일한 비용 수치는 작업당 벤치마크 비용뿐입니다. 이는 경쟁 제품이 비싸다는 걸 보여주려고 인용하는 종류의 숫자이지, 청구 기준으로 삼는 종류의 숫자가 아닙니다.
MAI Code 2에는 GitHub가 공개한 가격표가 있습니다. 입력 토큰 100만 개당 $0.50, 캐시된 입력 $0.025, 출력 $2.50이며, 2027년 5월 17일까지 프로모션 가격이 적용된 후에는 $1.00 / $0.05 / $5.00이 됩니다. 자체 API 표면은 없습니다. 더 작은 형제 모델인 MAI Code 2 Flash는 이 제품군에서 유일하게 API가 있는 모델로, Microsoft Foundry에서 OpenAI 호환 Responses API를 통해 제한적으로 액세스할 수 있는 프리뷰입니다.
• 가격 — MAI Code 2는 백만 토큰당 $0.50 / $0.025 / $2.50이며, 2027년 5월 17일까지 프로모션 가격이고, SWE-2는 공개된 토큰당 가격이 없습니다
• 접근성 — Pro, Pro+, Max, Business, Enterprise 전반에 걸친 GitHub Copilot 시트 대 Desktop 및 CLI의 Devin 구독
• 무게 — 어느 쪽에도 분산되지 않음
• 컨텍스트 — SWE-2의 공개된 컨텍스트 수치는 없으며, Visual Studio Code와 Copilot CLI에서만 사용할 수 있는 MAI Code 2의 100만 토큰과 대비됩니다
• 공개된 벤치마크 점수 — MAI Code 2는 없고, SWE-2는 네 개
• 독립 인덱스 행 — 두 모델 모두 이 항목이 없음
실질적인 결론은 두 구매 모두 토큰 구매가 아니라 시트 구매이며, 그중 하나만 모델링할 수 있는 측정 기준이 함께 제공된다는 것입니다. 재무 팀이 단위당 비용을 필요로 한다면 MAI Code 2는 이를 제공하지만 SWE-2는 제공하지 않습니다. 엔지니어링 팀이 해당 모델이 여러분의 리포지토리에서 개선되는지 알아야 한다면 SWE-2는 비교 표를 제공하고 MAI Code 2는 비율을 제공합니다.

각 모델이 하도록 만들어진 작업
Microsoft가 MAI Code 2에 대해 내놓은 개요는 일상적인 엔터프라이즈 업무입니다. 코드를 프로덕션에 배포하기, 심층 디버깅, 다중 파일 구현, 저장소 전체 추론, UI와 대시보드가 그것입니다. 출시 게시글은 이 모델들이 "기초 과학 연구와 매우 장기 호라이즌의 에이전트 작업처럼 더 어려운 문제에는 아직 명시적으로 튜닝되지 않았다"고 솔직하게 밝히는데, 이 문장은 Terminal Bench 2.1 주장 바로 옆에 어색하게 놓입니다. Terminal-Bench는 장기 호라이즌 에이전트 벤치마크이기 때문입니다. 마이크로소프트 자신의 포지셔닝에 따르면, 그 벤치마크가 측정하는 대상에 대해서는 튜닝하지 않았다고 말합니다.
Cognition의 SWE-2 브리프는 정반대 방향으로 간다. 더 적은 단계, 더 저렴한 롤아웃, 그리고 이를 실행하는 에이전트와 공동 설계된 모델이다. 게시글은 SWE-2 medium에서 실행당 평균 단계가 SWE-1.7의 127단계 대비 53단계로 떨어졌고, medium 비용이 SWE-1.7보다 81% 낮으며, 첫 실제 편집까지 걸리는 단계의 중앙값이 48단계 대비 18단계라고 보고한다. 이는 에이전트 효율성에 관한 엔지니어링 주장이며, 어떤 벤치마크 행보다 Devin 구독자에게 더 중요하다. 왜냐하면 한 작업이 월간 허용량을 얼마나 소모하는지를 결정하기 때문이다.
그래서 두 모델은 다시 서로 다른 목표에 맞춰 조정됩니다. 하나는 IDE 내부의 일상적인 작업을 위한 것이고, 다른 하나는 자율 에이전트 내부의 단계 수를 위한 것입니다. 어느 쪽도 다른 쪽의 더 나은 버전이 아닙니다.
어느 모델도 라우팅 가능하지 않을 때 라우터가 제 역할을 하는 곳
MAI Code 2도 SWE-2도 OrcaRouter의 카탈로그에 없습니다, 그리고 그와 다르게 암시할 정직한 방법은 없습니다: 하나는 Copilot 모델 선택기 항목이고, 다른 하나는 Devin 내부에 있습니다. 라우팅 계층이 바꾸는 것은 그 두 모델에 대한 접근이 아니라 비교를 구축하는 비용입니다. 이들에 대한 모든 평가에서 대조군은 호출하고 측정할 수 있는 모델이어야 합니다 — Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon — 그리고 이 모델들은 공급자 정가에 0% 마크업으로 하나의 키 뒤에 있습니다, 따라서 이들에 대한 벤치마크 실행은 정확히 공급업체의 요율로 청구됩니다.
그 점은 대부분의 비교에서보다 여기서 더 중요합니다. 두 모델에 관한 흥미로운 질문은 비교에 관한 것이기 때문입니다. 일상적인 코더가 당신의 코드에서 머지당 비용으로 프런티어 모델을 이길 수 있을까요? 두 하네스에서 만들어진 두 벤더의 표를 읽는 것으로는 답할 수 없습니다. 팀이 실제로 접근할 수 있는 이 둘 중 하나와 함께 측정 가능한 모델을 실행하고, 토큰이 아니라 완료된 작업을 세면 답할 수 있습니다. 자동 페일오버는 공급자 속도 제한이 실행 중간에 발생할 때도 그 비교가 계속 실행되게 해줍니다 또한 가격이 목록가로 전달되므로, 대조군의 작업당 비용은 이를 측정하는 데 사용하는 계층 때문에 부풀려지지 않습니다.
검증할 수 있는 것을 기준으로 보면, 어느 것을 골라야 할까요?
• 귀하의 팀은 Devin을 사용 중이고 롤아웃당 단계 수를 줄이고 싶습니다 — SWE-2, 그리고 Cognition의 게시물에 있는 단계 수 및 비용 절감 수치가 이를 결정합니다.
• 팀이 Copilot을 사용 중이고 일상적인 수리에 저렴한 토큰을 원합니다 — MAI Code 2는 $0.50 및 $2.50이며, 프로모션 요금은 물론 2027년 5월의 두 배 인상 요금 기준으로도 모델링됩니다.
• 그 선택을 숫자로 정당화해야 합니다 — SWE-2, 왜냐하면 SWE-2는 네 개를 공개하고 다른 모델은 아무것도 공개하지 않기 때문입니다.
• 장기적인 에이전트 작업이 필요하다면, 이용 가능한 증거로 볼 때 둘 다 아닙니다. Microsoft는 이를 위해 튜닝하지 않았다고 말합니다; SWE-2 자체 표는 벤치마크가 더 어려워질 때 65포인트 붕괴를 보여줍니다.
• 토큰당 비용 모델이 필요합니다 — SWE-2는 모델링할 공개 요율이 없으므로 MAI Code 2를 사용하세요.

주목할 점은 마이크로소프트가 이 비교를 실질적으로 만들어 줄 수치를 과연 공개할지 여부다. Terminal Bench 2.1 통과율이면 충분할 것이고, Terminal Bench 4.0 통과율이면 확실히 결론이 날 것이다. 작업이 길어질 때 코딩 모델이 어떤 모습인지 SWE-2 자체의 표가 보여 주는 버전이 바로 그 에디션이기 때문이다. 그중 하나라도 존재하기 전까지 MAI Code 2는 약속이 붙은 요율표이고 SWE-2는 스텝 수가 붙은 표이며, 둘 중 벤더 외부에서 확인할 수 있는 것은 하나뿐이다.

이 글에서 비교한 모델1
이 글에서 자동 인식 · 벤치마크: Artificial Analysis · 매일 업데이트
