OpenAI의 gpt-3.5-turbo-1106, OrcaRouter를 통해: 16K 컨텍스트, 46.2 MMLU-Pro, $1/$2 per 1M 토큰, 제로 마크업 가격.
gpt-3.5-turbo-1106는 2023년 11월에 공개된 OpenAI의 GPT-3.5 Turbo 모델의 특정 스냅샷입니다. 이 모델은 텍스트 전용 모델로, 이미지나 오디오가 아닌 텍스트 입력과 출력만 처리하고 생성합니다. 컨텍스트 창은 16,384개의 토큰이며, 최대 출력 한도는 4,096개의 토큰입니다. MMLU-Pro 벤치마크에서 이 모델은…
이 모델은 질문 응답, 대화 참여, 문서 요약, 텍스트 번역, 창작 글쓰기, 설명 제공 등 일반적인 텍스트 생성 작업에 탁월합니다. 함수 호출을 지원하여 제공된 함수 스키마를 기반으로 구조화된 데이터를 출력하고 외부 도구나 API와 상호작용할 수 있습니다. 또한 최대 16K 토큰의 컨텍스트 윈도로 다중 턴 대화를 처리할 수 있습니다. 사실 기반 질의, 코드 생성 또는 구조적 추론에 높은 정확성이 필요한 작업에서는 우수한 성능을 보이지만, 대형 모델에 비해 때때로 덜 정밀한 출력을 생성할 수 있습니다.
gpt-3.5-turbo-1106에서의 함수 호출은 요청에 제공하는 함수 정의를 기반으로 모델이 구조화된 JSON 출력을 생성할 수 있도록 합니다. 이름, 설명 및 매개변수 스키마가 포함된 함수 목록을 포함하면 모델은 function_call 객체를 반환하여 하나 이상의 함수를 호출하기로 결정할 수 있습니다. 이는 데이터베이스를 쿼리하거나, API를 호출하거나, 작업을 수행해야 하는 에이전트를 구축하는 데 유용합니다. 이 기능은 이전 버전에 비해 1106 스냅샷에서 개선되어 더욱 신뢰할 수 있게 되었고 중복 도구 사용이 줄었습니다. OrcaRouter는 모든 OpenAI 호환 함수 호출 매개변수를 지원합니다.
사용 사례가 매우 간단한 작업을 매우 높은 빈도로 처리하는 경우 gpt-3.5-turbo-0125(동일 가격이지만 더 새로운 모델) 또는 OrcaRouter를 통해 제공되는 더 작은 오픈소스 모델 같은 더 저렴한 모델을 고려할 수 있습니다. 반면에, 훨씬 향상된 추론 능력, 사실성, 멀티모달 입력(이미지, 오디오) 또는 더 큰 컨텍스트 윈도우(128K 토큰)가 필요하다면 gpt-4o 또는 gpt-4-turbo로 업그레이드하는 것을 고려하세요. gpt-3.5-turbo-1106은 토큰당 비용이 주요 고려 사항인 대부분의 텍스트 전용 애플리케이션에서 균형 잡힌 선택입니다.
MMLU-Pro는 방대한 멀티태스크 언어 이해 벤치마크의 변형으로, 57개 과목에 걸쳐 더 까다로운 질문을 포함합니다. 점수 46.2는 모델이 테스트 질문의 46.2%를 정확히 답했음을 나타냅니다. 이는 중간 수준의 점수로, 다양한 도메인에 걸친 모델의 일반 지식을 반영합니다. 비교를 위해, GPT-4와 같은 더 큰 모델은 유사한 벤치마크에서 일반적으로 80점 이상을 기록합니다. 이 점수는 기대치를 설정하는 데 도움이 됩니다: gpt-3.5-turbo-1106은 능력이 있지만 깊은 추론이나 전문 지식에 있어서는 최첨단 수준이 아닙니다.
이 모델에 대한 다른 벤치마크 점수는 제공되지 않지만, 공개된 정보에 따르면 gpt-3.5-turbo-1106은 자체 크기 대비 MMLU, HumanEval(코드 생성) 및 요약 작업에서 강력한 성능을 보입니다. 일반적으로 해당 비용 등급에서 가장 성능이 좋은 오픈 가중치 모델 중 하나로 간주됩니다. 사용자는 일반적인 NLP 작업에서 좋은 성능을 기대할 수 있지만, 복잡한 추론, 수학, 다단계 지침에서는 GPT-4에 뒤쳐질 수 있음을 인지해야 합니다. 사실적 일관성 측면에서 모델은 그럴듯하지만 틀린 답변을 생성할 수 있으므로, 중요한 응용 분야에서는 검증이 권장됩니다.
구체적인 지연 시간 수치는 제공되지 않습니다. 하지만 상대적으로 적은 파라미터 수(GPT-4와 비교했을 때)를 가진 텍스트 전용 모델인 gpt-3.5-turbo-1106은 일반적으로 낮은 지연 시간 출력을 제공하며, 보통 중간 부하에서 1초 이내에 짧은 응답을 완료합니다. 처리량이 높을 수 있어 스트리밍과 결합하면 실시간 애플리케이션에 적합합니다. OrcaRouter의 인프라는 OpenAI의 엔드포인트에 대한 안정적인 연결을 보장합니다. 가장 정확한 지연 시간 예측을 위해 사용자는 OrcaRouter API를 사용하여 자신의 사용 사례를 벤치마킹해야 합니다.
주요 제한 사항으로는 최대 4,096 토큰 출력으로 생성 길이가 제한된다는 점, 멀티모달 기능이 없다는 점(이미지나 오디오 처리 불가), 잘 알려지지 않은 사실에 대해 환각 현상을 일으키는 경향, 복잡한 문제에 대한 추론 깊이의 한계 등이 있습니다. 모델의 16K 컨텍스트 윈도우는 넉넉하지만 일부 대안(예: 128K)보다 작습니다. 또한 이후 스냅샷(2023년 1월)보다 지식 기준 시점이 낮습니다. 적대적이거나 모호한 프롬프트에서 편향되거나 안전하지 않은 출력이 생성될 수 있습니다. 개발자는 프로덕션 사용 시 적절한 보호 장치와 사람의 감독을 구현해야 합니다.
openai/gpt-3.5-turbo-1106의 OrcaRouter를 통한 가격은 공급자 요율에 따라 청구되며 마크업이 없습니다. 구체적으로 입력 토큰은 100만 개당 $1.00, 출력 토큰은 100만 개당 $2.00입니다. 이는 스트리밍을 포함한 모든 요청에 적용됩니다. 추가 플랫폼 수수료는 없습니다. 요금은 프롬프트(입력)와 생성된 응답(출력)의 토큰 수를 기준으로 계산됩니다. 캐시된 요청과 캐시되지 않은 요청 모두 동일한 요율로 청구됩니다. 사용량은 OrcaRouter 대시보드에서 추적할 수 있습니다.
짧은 상호작용(예: 챗봇 대화)이 많은 애플리케이션의 경우 각 요청이 적은 토큰을 소비하므로 메시지당 비용이 낮습니다. 긴 프롬프트를 포함하거나 긴 응답을 생성하는 작업의 경우 비용은 토큰 수에 따라 선형적으로 증가합니다. GPT-4(10~30배 더 비쌀 수 있음)와 비교하면 gpt-3.5-turbo-1106은 대량 사용 시 경제적입니다. 하지만 더 저렴한 모델을 사용해 더 적은 토큰으로 해결할 수 있는 작업이라면 더욱 비용 효율적일 수 있습니다. OrcaRouter의 마크업 없는 가격 정책은 OpenAI가 청구하는 금액만 지불하도록 보장합니다.
OrcaRouter에서는 이 모델에 대한 특정 캐싱 또는 할인 프로그램이 언급되지 않았습니다. 모든 요청은 표준 제공업체 요금으로 청구됩니다. 일부 플랫폼에서는 반복 입력 비용을 줄이기 위해 프롬프트 캐싱을 제공하지만, OrcaRouter의 문서는 이 모델에 그러한 기능이 있음을 나타내지 않습니다. 사용자는 이에 따라 토큰 사용량을 계획해야 합니다. 매우 높은 볼륨의 경우, 공식적으로 광고되지는 않지만 OrcaRouter에 직접 연락하여 볼륨 할인에 대해 문의하는 것이 좋습니다. 제로 마크업 가격 자체가 이미 투명한 비용 기준을 제공합니다.
요청을 보내려면 https://api.orcarouter.ai/v1/chat/completions로 POST 요청을 보내고, JSON 본문에 model 필드를 'openai/gpt-3.5-turbo-1106'로 설정하고 messages 배열(role과 content 포함)을 포함하세요. Authorization 헤더(Bearer <key>)에 OrcaRouter API 키를 포함하세요. 선택적 매개변수로는 temperature, max_tokens, top_p, frequency_penalty, presence_penalty, stop, stream, functions가 있습니다. 응답은 OpenAI의 채팅 완료 형식을 따릅니다. Python openai 라이브러리를 사용한 예시: client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key')
이 모델은 OpenAI의 gpt-3.5-turbo-1106과 동일한 매개변수를 지원합니다. 주요 매개변수는 다음과 같습니다: messages (role, content, 선택적으로 name을 포함하는 객체 배열, 필수), max_tokens (기본값 무제한이지만 4096으로 제한됨), temperature (0-2, 기본값 1), top_p (0-1, 기본값 1), n (선택 개수, 기본값 1), stream (부울), stop (최대 4개의 문자열 또는 문자열 배열), presence_penalty (-2 ~ 2), frequency_penalty (-2 ~ 2), logit_bias (토큰 ID와 바이어스의 맵), user (최종 사용자 식별을 위한 문자열), functions (함수 객체 배열), function_call (auto/none 또는 특정 함수). 이 모든 것은 OrcaRouter를 통해 지원됩니다.
Migration은 기존 OpenAI 기반 코드에 단 두 가지 변경만 필요합니다. 첫째, 기본 URL을 https://api.openai.com/v1에서 https://api.orcarouter.ai/v1로 변경합니다. 둘째, OpenAI API 키를 OrcaRouter API 키로 교체합니다. 요청 및 응답 형식은 동일하므로 페이로드 구조를 변경할 필요가 없습니다. 이 두 설정을 업데이트한 후, 채팅 완료, 함수 호출, 스트리밍을 위한 모든 기존 로직은 계속 작동합니다. 또한 동일한 OpenAI 클라이언트 라이브러리(예: Python openai, Node.js openai)를 새로운 base_url과 api_key를 전달하여 사용할 수 있습니다.
OrcaRouter는 OpenAI API와 호환되는 표준 HTTP 상태 코드 및 오류 메시지를 반환합니다. 일반적인 오류: 401 (인증 실패), 429 (속도 제한 초과), 500 (서버 오류). 속도 제한은 사용자의 요금제에 따라 OrcaRouter에 의해 적용됩니다. 자세한 내용은 OrcaRouter 문서를 참조하세요. 기본 모델이 OpenAI에 호스팅되어 있으므로, 제공업체의 오류가 투명하게 전달됩니다 (예: 잘못된 매개변수의 경우 400, 과부하의 경우 503). 429 및 5xx 오류에 대해 지수 백오프를 구현하는 것이 좋습니다. 스트리밍 오류는 잘린 스트림으로 표시됩니다. 마지막 청크에서 finish_reason을 확인하세요.
0125 스냅샷은 2025년 1월에 출시된 GPT-3.5 Turbo의 최신 버전입니다. 동일한 가격과 텍스트 전용 모드를 제공하지만, 더 최신 지식 컷오프와 함께 개선된 일관성 및 사실 정확성을 포함할 수 있습니다. 두 모델 모두 동일한 16K 컨텍스트 윈도우와 4K 출력 제한을 공유합니다. gpt-3.5-turbo-0125는 최신성 때문에 새 프로젝트에서는 1106 버전보다 일반적으로 권장되지만, 1106 스냅샷은 호환성을 위해 계속 사용할 수 있습니다. 두 모델 모두 1106의 46.2 MMLU-Pro 외에는 벤치마크 점수가 제공되지 않습니다. 사용자는 특정 사용 사례에 따라 두 모델을 테스트할 수 있습니다.
gpt-4o는 OpenAI의 더 강력한 모델로, 텍스트, 이미지, 오디오 입력을 지원하며 128K 컨텍스트 윈도우와 16K 최대 출력 토큰을 제공합니다. 추론 벤치마크에서 훨씬 높은 점수를 기록하며 복잡한 작업에서 더 신뢰할 수 있습니다. 그러나 비용이 훨씬 높아 토큰당 비용이 gpt-3.5-turbo-1106의 약 10~15배입니다. 높은 정확성과 멀티모달이 필요하지 않은 애플리케이션의 경우 gpt-3.5-turbo-1106이 비용 효율성이 더 좋습니다. 고급 기능이 필요하다면 OrcaRouter를 통해 모델 ID를 'openai/gpt-4o'로 변경하기만 하면 gpt-4o로 쉽게 업그레이드할 수 있습니다.
다른 제공업체의 유사한 모델로는 Anthropic의 Claude 3 Haiku(텍스트 전용, 비슷한 속도 및 비용)와 Google의 Gemini 1.5 Flash가 있습니다. 각각 다른 API 형식을 갖고 있지만 OrcaRouter를 통해 접근할 수 있습니다. gpt-3.5-turbo-1106은 널리 채택되어 많은 도구에 통합되었으며, 함수 호출 지원이 성숙했습니다. 그러나 Claude 3 Haiku와 같은 모델은 비슷한 가격에 더 큰 컨텍스트 창(200K)을 제공할 수 있으며, Gemini 1.5 Flash는 멀티모달 기능을 제공합니다. 선택은 생태계 호환성, 특정 벤치마크 성능, 지연 시간 요구사항에 따라 달라집니다. OrcaRouter를 사용하면 동일한 API 형식으로 다양한 모델을 시험해볼 수 있습니다.
신뢰할 수 있고 비용 효율적인 텍스트 모델이 필요하며, 기존 도구와 광범위하게 호환되고 함수 호출을 지원하는 경우 gpt-3.5-turbo-1106을 선택하세요. 각 요청이 비교적 짧고 깊은 추론이 필요하지 않은 대규모 애플리케이션에 이상적입니다. 멀티모달 입력, 더 큰 컨텍스트 윈도우, 또는 복잡한 주제에 대한 높은 사실 정확성이 필요하다면 피하세요. 최신 지식 기준이 필요하면 gpt-3.5-turbo-0125를 선호하세요. 최고의 성능을 원한다면 gpt-4o를 선택하세요. OrcaRouter의 모델 카탈로그를 사용하면 코드 변경 없이 이러한 옵션 간에 쉽게 전환할 수 있습니다.
OpenAI 호환 — 쓰던 SDK 그대로
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-3.5-turbo-1106",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| 입력 / 1M tokens | $1.00 |
| 출력 / 1M tokens | $2.00 |
| 통화 | USD |
정가 기준 추정치
추정치일 뿐입니다 — 실제 토큰 수는 제공자의 토크나이저에 따라 달라집니다.
@misc{orcarouter_gpt_3_5_turbo_1106,
title = {openai/gpt-3.5-turbo-1106 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106}
}openai. (n.d.). openai/gpt-3.5-turbo-1106 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106