Qwen3-VL 8B Thinking — 오픈 가중치 소형 비전-언어 추론 모델, 8B 파라미터, 128k 컨텍스트.
Qwen3 VL 8B Thinking은 알리바바 클라우드의 Qwen 팀이 개발하고 OrcaRouter에서 qwen 제공사로 호스팅되는 80억 매개변수 멀티모달 언어 모델입니다. 이 모델은 Qwen3 비전-언어 모델 제품군에 속하며, "Thinking" 접미사는 시각 및 텍스트 입력에 대한 향상된 추론 능력을 나타냅니다. 텍스트, 이미지, 비디오를 입력으로…
Qwen3 VL 8B Thinking은 시각적 질문 응답에 뛰어나며, 특히 질문에 여러 객체, 공간적 관계, 또는 이미지에 포함된 텍스트(예: 도로 표지판, 영수증)가 포함된 경우에 효과적입니다. 또한 짧은 클립 요약, 동작 식별, 특정 타임스탬프에 대한 질문 응답과 같은 비디오 이해 작업도 처리할 수 있습니다. 문서 분석은 강력한 사용 사례로, 텍스트와 차트가 모두 포함된 PDF 또는 스캔된 양식에서 정보를 추출하는 데 유용합니다. 긴 컨텍스트 창 덕분에 총 토큰화된 입력이 131K 미만인 한, 간헐적인 이미지 삽입이 포함된 대용량 문서(예: 100페이지 이상의 PDF)를 처리하는 데 적합합니다.
사용 사례가 순수 텍스트 기반이고 이미지나 비디오를 포함하지 않는다면, 전용 텍스트 전용 모델(예: Qwen3-8B 또는 유사한 크기의 Llama 변형)이 비용 효율적일 가능성이 높습니다. 멀티모달 모델은 시각적 입력을 인코딩하는 데 추가 오버헤드가 발생하며, Qwen3 VL 8B Thinking의 토큰당 가격($0.18 입력, $2.10 출력/백만 토큰)은 많은 텍스트 전용 대안보다 높을 수 있습니다. 또한 작업이 매우 짧은 이미지에서 단순 분류나 추출인 경우, 더 작은 시각-언어 모델(예: Qwen2 VL 2B)이 성능 저하 없이 더 낮은 지연 시간과 비용으로 충분할 수 있습니다.
네, 모델은 단일 API 호출에서 여러 이미지와 텍스트를 섞어서 받아들일 수 있습니다. 단, 총 토큰 수(이미지 토큰 + 텍스트 토큰)가 131,072 컨텍스트 윈도우를 초과하지 않아야 합니다. 각 이미지는 해상도와 복잡성에 따라 가변적인 토큰 수로 인코딩됩니다. OrcaRouter의 OpenAI 호환 API를 사용하면 콘텐츠 배열에 여러 이미지 URL 또는 base64로 인코딩된 이미지를 보낼 수 있습니다. 컨텍스트 제약 외에는 이미지 수에 대한 엄격한 제한이 없습니다. 비디오의 경우 일반적으로 키 프레임을 추출하여 텍스트 프롬프트와 함께 별도의 이미지로 보내면 됩니다.
모든 멀티모달 모델과 마찬가지로 Qwen3 VL 8B Thinking은 특히 저해상도나 모호한 콘텐츠에서 이미지나 비디오의 세부 정보를 환각(hallucinate)할 수 있습니다. 실시간 비디오 스트리밍용으로 설계되지 않았으며, 정적 프레임 세트를 처리합니다. 8B 파라미터 크기는 더 큰 모델(예: 70B-100B+ 비전-언어 모델)에 비해 고도로 전문화된 도메인(예: 의료 영상, 위성 이미지)에서 정확도가 떨어질 수 있음을 의미합니다. 오디오 입력을 지원하지 않습니다. 사고 과정(thinking process)으로 인해 출력 길이가 늘어날 수 있으므로, 이에 따라 출력 토큰 사용량을 계획하세요. 마지막으로, 영어에 최적화되어 있지만 다른 언어도 다양한 효과로 처리할 수 있습니다.
Qwen3 VL 8B Thinking의 표준 멀티모달 평가(예: MMMU, MathVista, VideoMME)에 대한 구체적인 벤치마크 점수는 제공된 사실에 포함되어 있지 않습니다. 사용자는 공식 Qwen 모델 카드나 연구 논문에서 최종 발표된 결과를 확인해야 합니다. 일반적으로 Qwen3 VL 시리즈는 다른 7B-8B 파라미터 모델에 비해 시각-언어 작업에서 경쟁력 있는 성능을 보여주었습니다. "Thinking" 변형은 시각적 사고 사슬(visual chain-of-thought)과 같은 추론 중심 벤치마크를 개선할 것으로 예상됩니다. 공개된 점수가 없으므로, 자체 대표 데이터셋에서 모델을 테스트하여 적합성을 평가하는 것이 좋습니다.
OrcaRouter의 인프라에서 이 특정 모델의 지연 시간 데이터는 공개되지 않았습니다. 일반적으로 8B 파라미터 멀티모달 모델은 비전 인코딩으로 인해 동일한 크기의 순수 텍스트 모델보다 지연 시간이 더 깁니다. 비디오 입력은 추가 프레임 처리로 인해 지연 시간을 더욱 증가시킵니다. 고성능 GPU 클러스터(예: A100, H100)에서 8B 모델의 일반적인 첫 토큰까지의 시간은 입력 길이와 배치 크기에 따라 수백 밀리초에서 수초 범위입니다. 출력 토큰 생성 속도는 일반적으로 초당 수십 토큰으로 측정됩니다. 이 값들은 정성적입니다. 실제 성능은 OrcaRouter의 현재 프로비저닝 및 부하에 따라 달라집니다.
장점: 이 모델은 긴 멀티모달 컨텍스트(131K 토큰)를 처리하고, 대규모 출력(최대 40K 토큰)을 허용하며, 세 가지 입력 유형을 처리합니다. 사고 능력은 단계별 추론이 필요한 작업에서 추론 능력을 향상시킵니다. 8B 멀티모달 모델로서 경쟁력 있는 가격을 제공합니다. 한계: 많은 공개 리더보드에서 최신 프론티어 모델과의 벤치마킹이 이루어지지 않았습니다. 최대 출력 처리량이 더 작은 모델보다 낮을 수 있습니다. 창의적인 이미지 생성에 최적화되어 있지 않습니다(텍스트만 출력). 사용자는 시각적 작업에서 할루시네이션이 전혀 없다고 가정해서는 안 됩니다. 비디오 처리는 연속 분석보다는 프레임 기반 추출로 제한됩니다.
Qwen3 VL 8B Thinking은 공급자 요율로 토큰당 과금되며 추가 요금이 없습니다. 입력 토큰은 100만 토큰당 $0.18입니다. 출력 토큰은 100만 토큰당 $2.10입니다. 별도의 인프라 수수료, 요청당 기본 비용 또는 월간 구독료는 없습니다. 요금은 모든 입력 형식(텍스트, 이미지, 비디오)에 동일하게 적용되며, 각 형식은 토큰화되어 입력 요율로 청구됩니다. OrcaRouter는 명시된 요율에 대해 어떠한 추가 요금도 부과하지 않습니다. 예를 들어, 2,000개의 입력 토큰으로 토큰화되는 이미지를 처리하는 경우 입력 비용은 2,000 * ($0.18 / 100만) = $0.00036입니다. 출력 비용도 동일한 방식으로 계산됩니다.
각 이미지는 크기와 압축 수준에 따라 가변적인 토큰 수로 인코딩됩니다. 고해상도 이미지는 수천 개의 토큰을 소비할 수 있습니다. 비디오는 프레임을 추출(보통 몇 초당 한 프레임)하고 각 프레임을 이미지로 인코딩하여 처리됩니다. 따라서 토큰 비용은 비디오 길이와 프레임 속도에 따라 선형적으로 증가합니다. 사용자는 이미지 크기를 조정하거나 프레임 수를 줄여 비용을 제어할 수 있습니다. 미디어 인코딩에는 토큰 비용 외에 별도의 수수료가 없습니다. 출력 비용은 생성된 텍스트 토큰 수에만 의존합니다. 긴 비디오의 경우 입력 토큰이 빠르게 131K 한도에 도달하여 요청당 비용이 증가할 수 있습니다.
제공된 정보에 따르면, 일괄 사용 또는 선불 약정에 대한 할인은 없습니다. OrcaRouter는 현재 반복되는 프롬프트나 이미지에 대한 비용을 절감해주는 토큰 캐싱을 제공하지 않습니다. 모든 요청은 표준 요율로 실시간 토큰당 청구됩니다. 제공업체(qwen)가 향후 할인된 계층 가격을 도입할 경우, OrcaRouter는 해당 할인을 마크업 없이 그대로 전달할 것입니다. 사용자는 OrcaRouter 가격 페이지를 모니터링하여 업데이트를 확인하는 것이 좋습니다. 대량 사용 사례의 경우 OrcaRouter와 직접 협력하여 볼륨 가격을 논의하는 것을 고려하세요.
더 큰 멀티모달 모델(예: GPT-4V, Gemini 1.5 Pro)과 비교할 때, Qwen3 VL 8B Thinking은 토큰당 비용이 훨씬 저렴합니다. 해당 모델들은 종종 입력 토큰 100만 개당 $2–$10+의 비용이 듭니다. 7B-8B 파라미터 비전-언어 모델 중에서, 이는 일반적인 가격대에 부합합니다(Qwen2 VL 7B는 입력 약 $0.10–$0.20, 출력 $1–$2). 출력 토큰 비용(100만 개당 $2.10)은 일부 순수 텍스트 8B 모델(예: 출력 100만 개당 $0.20)보다 높은데, 이는 추가된 추론 오버헤드를 반영합니다. 더 작은 모델(예: 2B–4B 파라미터)을 사용할 수 있다면 비용이 50–90% 낮아질 수 있지만, 성능은 저하됩니다.
Qwen3 VL 8B Thinking을 호출하려면 OrcaRouter의 OpenAI 호환 엔드포인트 https://api.orcarouter.ai/v1/chat/completions에 POST 요청을 보내세요. model 매개변수를 "qwen/qwen3-vl-8b-thinking"으로 설정하세요. Authorization 헤더에 "Bearer <key>" 형식으로 API 키를 포함하세요. 요청 본문은 OpenAI의 채팅 완성 스키마를 따릅니다. 멀티모달 입력의 경우 메시지 내용을 객체 배열로 구성합니다: 텍스트 프롬프트에는 type "text", 각 이미지에는 type "image_url" (URL 또는 base64 데이터 사용)을 사용합니다. 비디오는 프레임을 나타내는 여러 image_url 항목으로 보낼 수 있습니다. 응답은 표준 OpenAI 구조를 따르며, 생성된 모든 텍스트는 choices 배열에 포함됩니다.
모든 표준 OpenAI 채팅 완료 매개변수가 지원됩니다: temperature (0–2, 기본값 1.0), top_p (0–1, 기본값 1.0), max_tokens (최대 40960), stop sequences, frequency_penalty, presence_penalty, logprobs, n (완료 수). 모델은 스트리밍을 지원하지 않습니까? OrcaRouter는 streaming=true로 설정 시 스트리밍을 지원할 가능성이 있습니다; 제공업체의 문서를 확인하세요. tools (함수 호출) 매개변수는 기본 제공자가 활성화한 경우 지원될 수 있지만, 현재 보장되지는 않습니다. 시스템 프롬프트는 허용됩니다. 사용자 ID를 모니터링 용도로 전달할 수 있습니다. 전송하기 전에 토큰 수를 모니터링하여 131072 토큰 컨텍스트 창 내에 머물러야 합니다.
만약 현재 다른 API 제공업체(예: Alibaba Cloud에서 직접)와 동일한 모델을 사용하고 있다면, OrcaRouter로의 마이그레이션은 간단합니다: base URL을 https://api.orcarouter.ai/v1로 변경하고, 모델 문자열을 "qwen/qwen3-vl-8b-thinking"으로 업데이트한 후, API 키를 OrcaRouter API 키로 교체하십시오. OrcaRouter는 정확히 동일한 OpenAI 호환 인터페이스를 사용하므로 다른 코드 변경은 필요하지 않습니다. 토큰 사용량과 가격은 OrcaRouter의 요금(마크업 없이 전달됨)을 기준으로 한다는 점에 유의하십시오. 새로운 가격을 반영하기 위해 비용 모니터링 도구를 조정해야 할 수도 있습니다.
Streaming은 OrcaRouter의 API를 통해 사용할 수 있습니다. 요청에서 stream 파라미터를 true로 설정하세요. 응답은 생성된 토큰의 델타를 포함하는 Server-Sent Events (SSE) 스트림 형태로 반환됩니다. 이는 실시간 표시에 유용합니다. "Thinking" 변형의 경우, 사고 과정으로 인해 첫 번째 토큰이 나오기 전에 지연이 길어질 수 있지만, 스트리밍은 토큰이 생성됨에 따라 점진적으로 전송됩니다. 스트림 형식은 OpenAI의 스트리밍 사양을 따르며, "chat.completion.chunk" 유형의 이벤트로 구성됩니다. 각 청크에는 토큰의 콘텐츠 또는 역할을 포함하는 델타가 포함됩니다.
Qwen3 VL 8B Thinking은 Qwen2 VL 7B의 후속 모델로, 파라미터 수는 거의 동일하지만(8B vs 7B) 더 긴 컨텍스트를 처리할 수 있도록 아키텍처가 개선되었습니다(131K vs Qwen2 VL 7B의 32K). 또한 단계별 추론을 위한 'Thinking' 기능이 추가되어, 이는 Qwen2 VL에는 없던 기능입니다. 최대 출력 길이는 2048 토큰(Qwen2 VL 7B)에서 40960 토큰으로 증가했습니다. Qwen3 VL 8B Thinking의 가격은 Qwen2 VL 7B(입력 약 $0.15, 출력 백만 토큰당 $1.80)보다 토큰당 약간 높으며, 이는 추가된 기능과 더 큰 컨텍스트를 반영합니다. 업그레이드하는 사용자는 복잡한 추론 작업에서 더 나은 성능을 기대할 수 있습니다.
GPT-4o mini는 OpenAI의 플래그십 멀티모달 모델로, 128K 컨텍스트 윈도우를 가지고 있습니다. 매개변수 수가 훨씬 더 많으며(알려지지 않았지만 70B 이상으로 추정), 일반적으로 표준 벤치마크에서 더 높은 정확도를 달성합니다. 하지만 Qwen3 VL 8B Thinking은 상당히 저렴합니다: GPT-4o mini는 입력 토큰 백만 개당 $0.15, 출력 토큰 백만 개당 $0.60으로, 실제로 Qwen3의 입력 $0.18 및 출력 $2.10보다 낮습니까? 잠깐, 확인해보면: GPT-4o mini의 입력은 $0.15, 출력은 $0.60 — Qwen3 VL 8B Thinking보다 저렴합니까? 사실 출력이 훨씬 저렴합니다. 따라서 비용이 전반적으로 더 낮은 것은 아닙니다. 하지만 Qwen3는 비디오와 더 긴 출력을 지원합니다(GPT-4o mini의 16384 대비 40960). 컨텍스트 윈도우는 비슷합니다. 선택은 필요한 정확도와 예산에 따라 달라집니다; Qwen3는 매우 긴 출력과 오픈소스 배포에 특화되어 있습니다.
Llama 3.2 11B Vision은 128K 컨텍스트 윈도우와 8K 최대 출력 토큰을 가진 11B 파라미터 멀티모달 모델입니다. Qwen3 VL 8B Thinking은 더 적은 파라미터 수를 가지고 있지만 훨씬 더 큰 최대 출력(40960 vs 8000)을 가지며 추론 기능을 포함합니다. 둘 다 텍스트와 이미지 입력을 지원하지만, Llama 3.2 11B는 기본적으로 비디오를 지원하지 않습니다. Llama의 제공업체를 통한 가격은 비슷하며, 입력 약 $0.15–$0.20, 출력 약 $0.60–$1.00 (백만 토큰당)으로, Qwen3의 출력 가격이 더 비쌉니다. 매우 긴 생성 텍스트가 필요한 작업(예: 비디오에서 보고서 작성)의 경우 Qwen3가 더 적합합니다. 더 짧고 비용에 민감한 작업의 경우 Llama 3.2 11B가 더 선호될 수 있습니다.
Gemini 1.5 Flash는 1M 컨텍스트 윈도우(최대 2M)를 갖춘 빠르고 비용 효율적인 멀티모달 모델로, 이미지, 비디오, 오디오를 지원합니다. Qwen3 VL 8B Thinking보다 저렴하고(Gemini Flash는 입력 100만 토큰당 $0.075, 출력 100만 토큰당 $0.30) 빠릅니다. 하지만 Qwen3 VL 8B Thinking은 어려운 시각적 작업에 대한 추론을 개선할 수 있는 사고 과정을 제공하며, 최대 출력이 훨씬 더 큽니다(Gemini Flash의 8K 대비 40K). 애플리케이션에 단계별 추론과 긴 출력이 필요한 경우 Qwen3가 더 나은 선택입니다. 높은 처리량과 낮은 지연 시간이 필요하다면 일반적으로 Gemini Flash가 우수합니다. 또한, 데이터 주권으로 인해 자체 호스팅 또는 공급자에 구애받지 않는 배포가 필요한 경우 Qwen3가 선호될 수 있습니다.
OpenAI 호환 — 쓰던 SDK 그대로
https://api.orcarouter.ai/v1import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key=os.environ["ORCAROUTER_API_KEY"],
)
response = client.chat.completions.create(
model="qwen/qwen3-vl-8b-thinking",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)enable_searchenable_thinkinginclude_reasoninglogprobsmax_tokensnparallel_tool_callspresence_penaltyreasoningrepetition_penaltyresponse_formatseedstopstreamstream_optionstemperaturethinking_budgettool_choicetoolstop_ktop_logprobstop_p| 입력 / 1M tokens | $0.180 |
|---|---|
| 출력 / 1M tokens | $2.10 |
| 통화 | USD |
정가 기준 추정치
추정치일 뿐입니다 — 실제 토큰 수는 제공자의 토크나이저에 따라 달라집니다.
이번 주 개발자들의 이야기
@misc{orcarouter_qwen3_vl_8b_thinking,
title = {Qwen3 VL 8B Thinking API},
author = {Qwen},
year = {2025},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/qwen/qwen3-vl-8b-thinking}
}Qwen. (2025). Qwen3 VL 8B Thinking API. OrcaRouter. https://www.orcarouter.ai/models/qwen/qwen3-vl-8b-thinking