Qwen3-VL 235B-A22B Thinking — 오픈 가중치 비전-언어 추론 모델, 총 235B / 활성 파라미터 22B, 128k 컨텍스트.
Qwen3 VL 235B A22B Thinking는 Qwen 제품군의 대규모 다중 모드 언어 모델입니다. 이 모델은 혼합 전문가 아키텍처를 채택하여 추론 중에 2350억 개의 매개변수 중 220억 개만 활성화됩니다. 이 설계는 계산 효율성과 높은 모델 용량 간의 균형을 맞춥니다. 이 모델은 텍스트, 이미지, 비디오를 입력으로 받아들이고 텍스트 출력을…
해당 모델은 이미지 캡셔닝, 시각적 질문 응답, 객체 인식, 공간 추론 등 다양한 시각-언어 작업을 수행합니다. 다이어그램, 차트, 필기 텍스트를 해석할 수 있습니다. MoE 구조 덕분에 입력에 따라 관련 전문가 모듈을 활성화하여 다양한 이미지 유형을 효율적으로 처리할 수 있습니다. 생각하기 모드는 복잡한 시각적 퍼즐이나 장면에 대한 다단계 추론의 정확성을 더욱 향상시킵니다. 기본적인 객체 세기와 같은 간단한 작업에는 더 작은 모델로도 충분할 수 있습니다.
비디오 입력은 설정 가능한 간격으로 프레임을 샘플링하여 처리됩니다. 모델은 비디오 콘텐츠 요약, 영상 속 동작이나 객체에 대한 질문 응답, 시간적 순서 탐지가 가능합니다. 비디오를 타임라인이 있는 일련의 이미지로 취급하므로 인과관계나 시간에 따른 변화에 대한 추론도 가능합니다. 생각 모드는 최종 분석 전에 중간 결론을 명확히 설명할 수 있어 특히 유용합니다. 매우 긴 비디오의 경우 컨텍스트 윈도우 제한이 적용될 수 있습니다.
Qwen3 VL 235B A22B Thinking은 특화된 추론 기능을 갖춘 대규모 MoE 모델입니다. 논리적 추론, 상세 문서 분석 또는 비디오 이해가 필요한 복잡한 멀티모달 작업에서 높은 정확도가 필요할 때 사용하세요. 일반적인 이미지 캡셔닝, 기본 OCR 또는 단순 검색의 경우, 더 작은 모델(예: Qwen2.5 VL 7B)이 더 빠르고 저렴합니다. Thinking 모드는 출력 토큰을 추가하므로, 체인 오브 소트가 필요하지 않다면 비용과 지연 시간을 줄이기 위해 비활성화하세요.
MoE 모델은 라우팅 오버헤드로 인해 유사한 활성화 크기의 밀집 모델보다 약간 높은 지연 시간을 보일 수 있습니다. 생각 모드는 긴 추론 과정을 생성하여 출력 토큰 수와 비용을 증가시킵니다. 주로 영어 텍스트에 최적화되어 있으며, 비영어권 언어나 저자원 언어에 대한 성능은 낮을 수 있습니다. 비디오 처리는 컨텍스트 윈도우에 맞는 최대 프레임 수에 제한됩니다. 또한 대규모 언어 모델에서 흔히 그렇듯 모호하거나 적대적인 입력에 대해 할루시네이션을 일으킬 수 있습니다.
이 모델에 대한 특정 벤치마크 점수는 사용 가능한 데이터에 제공되지 않았습니다. Qwen3 VL 제품군의 일원으로서, 이 모델은 시리즈의 아키텍처 강점을 계승하며, 일반적으로 VQAv2, MMLU(멀티모달 버전), DocVQA와 같은 시각-언어 작업에서 경쟁력 있는 결과를 달성합니다. 그러나 성능은 작업에 따라 다를 수 있습니다. 모델의 적합성을 평가하기 위해 자체 데이터로 테스트하는 것을 권장합니다. 사고 모드는 일반적으로 추론 중심 벤치마크에서 점수를 향상시킵니다.
지연 시간은 입력 크기, 활성화된 전문가 수(22B), 그리고 추론 모드 활성화 여부에 따라 달라집니다. MoE 아키텍처는 밀집형 235B 모델에 비해 효율적인 확장을 가능하게 합니다. 첫 토큰 생성 시간은 이 활성화된 크기(약 22B 파라미터)의 모델에서 일반적인 수준입니다. 추론 없이 짧은 이미지+텍스트 프롬프트를 사용할 경우 첫 토큰까지의 시간은 몇 초 정도일 수 있습니다. 추론이 활성화되고 긴 출력 시퀀스가 포함되면 전체 추론 시간이 크게 증가할 수 있습니다. OrcaRouter는 API 대시보드를 통해 실시간 모니터링을 제공합니다.
22B 활성 매개변수를 가진 MoE 설계는 모델 용량과 계산 비용 간의 유리한 균형을 제공합니다. 이는 토큰당 더 적은 FLOPs를 사용하면서 많은 작업에서 밀집 70B 모델의 정확도와 같거나 능가할 수 있습니다. 전문가 라우팅은 특화를 가능하게 합니다: 서로 다른 전문가가 다양한 유형의 시각적 또는 추론 작업을 처리합니다. 이는 더 작은 밀집 모델보다 도메인 변화에 대해 모델을 더 강건하게 만듭니다. 대기 시간은 일반적으로 밀집 235B 모델보다 낮지만, 밀집 22B 모델보다는 높습니다.
장점에도 불구하고, 이 모델은 만병통치약이 아닙니다. 미세 조정하지 않는 한 정확한 공간 위치 파악(예: 정확한 객체 경계 상자)이 필요한 작업에 어려움을 겪을 수 있습니다. 추론 모드는 때때로 관련 없거나 순환적인 추론을 생성하여 이점 없이 비용만 증가시킬 수 있습니다. 모든 패치를 처리해야 하므로 매우 고해상도 이미지에 대한 추론은 비효율적일 수 있습니다. 워크로드가 단순하고 변동성이 낮은 입력이 주를 이룬다면, 더 작은 모델이 비용 효율적이고 더 빠를 것입니다.
가격은 입력 토큰 100만 개당 $0.40, 출력 토큰 100만 개당 $4.00입니다. 이 요율은 OrcaRouter가 마크업 없이 제공업체 요율로 청구합니다. 입력 토큰에는 모든 텍스트 프롬프트, 이미지 토큰 및 비디오 프레임 토큰이 포함됩니다. 출력 토큰에는 (활성화된 경우) 생각 사슬과 최종 답변이 모두 포함됩니다. 일반적인 멀티모달 쿼리(입력 토큰 1,000개, 출력 토큰 500개)의 경우 비용은 $0.00040 + $0.00200 = $0.00240입니다. 총 비용은 토큰 사용량에 따라 선형적으로 증가합니다.
OrcaRouter는 제공업체 가격을 마크업하지 않지만, 인프라의 일부로 캐싱 옵션을 제공할 수 있습니다. 특히, 입력 토큰 캐싱은 프롬프트의 일부(예: 시스템 메시지 또는 공통 이미지 조각)를 재사용할 경우 비용을 절감할 수 있습니다. 최신 캐싱 정책은 OrcaRouter 문서를 참조하십시오. 약정이나 대량 할인 구조는 없으며, 소비된 토큰에 대해서만 비용을 지불합니다. MoE의 비용 이점은 각 단계에서 22B 파라미터만 사용되므로 토큰당 실현됩니다.
입력 토큰 수는 이미지나 비디오 프레임의 수와 해상도에 따라 달라집니다. 각 이미지는 일반적으로 고정 크기 패치로 나뉘며, 각 패치는 토큰으로 변환됩니다. 고해상도 이미지나 긴 동영상은 입력 토큰 수를 크게 증가시킵니다. 출력 토큰에는 사고 사슬이 포함되며, 중간 난이도 질문에 대한 일반적인 사고 사슬은 200-500개의 토큰을 추가할 수 있습니다. 최대 출력 길이는 40,960토큰으로, 필요한 경우 매우 긴 추론 시퀀스를 허용합니다. 이에 따라 예산을 계획하세요.
OpenAI 호환 API 엔드포인트를 기본 URL https://api.orcarouter.ai/v1로 사용하세요. 모델 파라미터를 "qwen/qwen3-vl-235b-a22b-thinking"으로 설정하세요. 인증은 Authorization 헤더에 포함된 API 키를 통해 이루어집니다. 요청 형식은 messages와 함께 OpenAI 채팅 완료 규칙을 따릅니다. 멀티모달 입력의 경우, type "text"와 type "image_url"(또는 비디오의 경우 "video_url")이 포함된 content 배열을 포함하세요. 예시: curl -X POST https://api.orcarouter.ai/v1/chat/completions -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json" -d '{"model":"qwen/qwen3-vl-235b-a22b-thinking","messages":[{"role":"user","content":[{"type":"text","text":"What is in this image?"},{"type":"image_url","image_url":{"url":"https://example.com/photo.jpg"}}]}]}'
표준 OpenAI 호환 매개변수(temperature, top_p, max_tokens, stop 등) 외에도 이 모델은 chain-of-thought 모드를 활성화하거나 비활성화하는 "thinking" 매개변수를 지원합니다. "thinking": true(기본값)로 설정하면 추론이 포함되고, false로 설정하면 최종 답변만 출력됩니다. 기타 모델별 매개변수에는 추론 체인의 길이를 제한하는 "max_thinking_tokens"가 포함됩니다. 전체 목록은 OrcaRouter API 문서를 참조하십시오. 응답 형식은 OpenAI와 동일하며, 활성화된 경우 thinking 체인이 콘텐츠의 일부로 포함됩니다.
현재 OpenAI의 GPT-4V 또는 GPT-4o를 사용 중이라면 마이그레이션이 간단합니다. 기본 URL을 https://api.orcarouter.ai/v1로 변경하고, OrcaRouter API 키를 사용한 후 모델을 "qwen/qwen3-vl-235b-a22b-thinking"으로 설정하세요. 채팅 완성 API의 스키마는 동일합니다. thinking 모드는 더 긴 출력을 생성할 수 있으며, "thinking": false로 비활성화할 수 있습니다. 이미지 및 비디오 입력은 동일한 콘텐츠 유형 구조를 사용합니다. 먼저 소량의 요청으로 테스트하여 호환성과 비용을 확인하세요.
비디오 입력은 비디오 파일(예: MP4)의 URL로 제공됩니다. messages content 배열에서 url 필드를 가진 "video_url" 타입을 사용하세요. OrcaRouter의 백엔드는 컨텍스트 윈도우에 맞는 최대 프레임 수까지 비디오에서 프레임을 샘플링합니다. 선택적으로 frame_sample_rate 파라미터를 지정할 수 있습니다. 그런 다음 모델은 샘플링된 프레임을 시퀀스로 처리합니다. thinking 모드는 프레임 간 추론을 통해 시간적 이벤트를 이해할 수 있습니다. 매우 긴 비디오의 경우 사전 필터링이나 세그먼트 분할을 고려하세요.
Qwen3 VL 235B A22B는 MoE 아키텍처를 사용하며 22B의 활성 파라미터를 가지고 있습니다. 반면 GPT-4o는 공개되지 않은 크기의 덴스 모델입니다. 두 모델 모두 이미지, 텍스트, 비디오 입력을 지원합니다. 생각(thinking) 모드는 명시적 추론을 제공하며, GPT-4o는 기본적으로 이를 지원하지 않습니다(사고 사슬을 프롬프트할 수는 있습니다). Qwen3 VL은 일반적으로 토큰당 비용 효율성이 더 높습니다($0.40/$4.00 대 GPT-4o의 $5/$15, 100만 입력/출력 토큰 기준). MoE 라우팅으로 인해 지연 시간이 더 길어질 수 있습니다. 성능은 특정 작업에 따라 달라지므로, 나란히 평가하는 것을 권장합니다.
Gemini 2.0 Flash는 낮은 지연 시간에 최적화된 더 작고 빠른 모델입니다. Qwen3 VL 235B A22B Thinking은 MoE를 통해 더 큰 유효 용량과 내장된 사고 모드를 제공합니다. Gemini Flash는 약 100만 토큰의 컨텍스트 창을 가지는 반면, Qwen3 VL은 131K의 컨텍스트 창을 가집니다. 복잡한 시각적 요소에 대한 심층 추론이 필요한 작업에서는 Qwen3 VL이 더 정확한 결과를 생성할 수 있습니다. 그러나 단순하거나 시간에 민감한 작업의 경우 Gemini Flash가 더 빠르고 저렴합니다. 둘 다 OrcaRouter의 API를 통해 접근할 수 있습니다.
Llama 3.2 90B는 90B 파라미터를 가진 밀집 비전-언어 모델입니다. Qwen3 VL 235B A22B는 총 파라미터 수가 더 많지만 22B만 활성화하여 토큰당 더 적은 FLOPs를 사용할 가능성이 있습니다. Llama 3.2는 이미지 입력만 지원하며(비디오는 지원하지 않음). Qwen3 VL의 사고 모드는 명시적 추론을 제공하는 반면, Llama에는 내장 메커니즘이 없습니다. OrcaRouter를 통한 Llama 3.2의 가격은 일반적으로 토큰당 더 낮지만, 추론 깊이가 중요한 작업에서는 Qwen3 VL이 더 나은 결과를 제공할 수 있습니다. 컨텍스트 윈도우는 Qwen3 VL에서 더 큽니다(131K 대 128K).
이 모델(총 235B, 활성 22B)은 Qwen3 VL MoE 제품군 중 가장 큽니다. 더 작은 변형(예: 총 72B / 활성 15B)은 더 저렴하고 빠릅니다. 까다로운 멀티모달 추론 작업, 비디오 이해, 또는 사고 모드가 가치를 더할 때 최고의 정확도가 필요한 경우 이 모델을 선택하세요. 간단한 캡션 생성이나 분류와 같이 더 작은 모델이 잘 처리하는 작업의 경우, 더 작은 MoE(또는 밀집 모델)의 비용 절감 효과가 상당할 것입니다.
OpenAI 호환 — 쓰던 SDK 그대로
https://api.orcarouter.ai/v1import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key=os.environ["ORCAROUTER_API_KEY"],
)
response = client.chat.completions.create(
model="qwen/qwen3-vl-235b-a22b-thinking",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)enable_searchenable_thinkinginclude_reasoninglogprobsmax_tokensnparallel_tool_callspresence_penaltyreasoningrepetition_penaltyresponse_formatseedstopstreamstream_optionstemperaturethinking_budgettool_choicetoolstop_ktop_logprobstop_p| 입력 / 1M tokens | $0.400 |
|---|---|
| 출력 / 1M tokens | $4.00 |
| 통화 | USD |
정가 기준 추정치
추정치일 뿐입니다 — 실제 토큰 수는 제공자의 토크나이저에 따라 달라집니다.
이번 주 개발자들의 이야기
GET /api/public/models/qwen/qwen3-vl-235b-a22b-thinking열기 @misc{orcarouter_qwen3_vl_235b_a22b_thinking,
title = {Qwen3 VL 235B A22B Thinking API},
author = {Qwen},
year = {2025},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/qwen/qwen3-vl-235b-a22b-thinking}
}Qwen. (2025). Qwen3 VL 235B A22B Thinking API. OrcaRouter. https://www.orcarouter.ai/models/qwen/qwen3-vl-235b-a22b-thinking