2024-08-06 버전의 GPT-4o는 구조화된 출력에서 성능이 향상되었으며, respone_format에 JSON 스키마를 제공할 수 있는 기능을 제공합니다. 자세한 내용은 [여기](https://openai.com/index/introducing-structured-outputs-in-the-api/)에서 확인하세요. GPT-4o ("o"는 "omni"를 의미)는...
GPT-4o (2024-08-06)는 2024년 8월에 출시된 OpenAI의 GPT-4o 모델 버전입니다. 이 모델은 텍스트, 이미지 및 파일 입력을 처리하는 멀티모달 대규모 언어 모델입니다. 이 모델은 여러 제공업체에 대한 단일 엔드포인트를 제공하는 OrcaRouter의 OpenAI 호환 API를 통해 액세스됩니다. 128,000개의 토큰 컨텍스트 창과…
이 모델의 핵심 강점은 수학적 추론과 멀티모달 이해 능력에 있습니다. MATH-500 점수 79.5는 복잡한 수학 문제를 단계별로 해결하는 뛰어난 능력을 나타냅니다. 또한 이미지, 도표, 차트를 해석하여 정확한 설명이나 분석을 제공할 수 있습니다. 128K 컨텍스트 창을 통해 전체 길이의 책이나 일련의 이미지와 관련 텍스트와 같은 대량의 정보를 처리할 수 있습니다. 파일 업로드도 지원하여 스프레드시트에서 데이터를 추출하거나 코드 파일을 읽는 작업에 유용합니다. 이러한 능력은 OpenAI의 지속적인 최적화를 바탕으로 하며, 이 모델은 프로덕션 환경에서 널리 사용되고 있습니다.
GPT-4o (2024-08-06)는 시각 정보와 텍스트 정보를 결합해야 하는 작업에서 뛰어난 성능을 보입니다. 예를 들어, 다이어그램이 포함된 수학 문제 풀이, 버그 리포트를 위한 사용자 인터페이스 스크린샷 분석, 스캔된 문서에서 데이터 추출, 복잡한 그림에 대한 상세 설명 등이 이에 해당합니다. 또한 오류 스크린샷이나 파일 구조가 포함된 맥락에서 코드 생성 및 디버깅에도 효과적입니다. 교육용 애플리케이션은 단계별 추론 능력의 혜택을 받습니다. 기본적인 Q&A나 짧은 텍스트 요약과 같이 순수 텍스트 기반의 단순한 작업인 경우, GPT-4o mini와 같은 더 저렴한 모델로 충분할 수 있습니다. 이 모델(GPT-4o)은 가치가 높거나 멀티모달, 또는 추론 집약적인 워크플로에 사용하는 것이 가장 좋습니다.
시각, 파일 처리, 고급 추론을 활용하지 않는 작업에는 더 작고 저렴한 모델이 비용 효율적입니다. 예를 들어, 간단한 채팅 애플리케이션, 짧은 형식의 콘텐츠 생성, 분류 작업은 GPT-4o mini 또는 GPT-3.5 Turbo와 같은 모델로 처리할 수 있습니다. 애플리케이션이 텍스트만 처리하고 128K 컨텍스트 창이 필요하지 않다면, 더 작은 컨텍스트 모델이 지연 시간과 비용을 줄일 수 있습니다. 또한 데이터에 이미지나 파일이 포함되지 않는다면, 텍스트 전용 모델로 충분합니다. 작업의 복잡성이 GPT-4o의 높은 토큰당 가격을 정당화하는지 평가하세요. OrcaRouter는 다양한 사용 사례에 맞춰 여러 가격대의 모델을 제공합니다.
네, 해당 모델은 파일 입력을 지원합니다. PDF, Word 문서, 스프레드시트, 이미지, 코드 파일 등을 업로드할 수 있습니다. 모델은 이러한 파일 내의 콘텐츠를 추출하고 이해하여 컨텍스트의 일부로 처리합니다. 예를 들어, PDF에서 텍스트를 읽거나, CSV의 숫자를 해석하거나, .py 파일의 소스 코드를 분석할 수 있습니다. 이미지 입력과 결합하면 차트가 포함된 문서와 같은 혼합 미디어도 처리할 수 있습니다. 이는 데이터 추출, 문서 검토, 코드 분석 자동화에 특히 유용합니다. 파일 처리는 128,000-토큰 컨텍스트 윈도우에 포함되므로, 큰 파일은 상당한 공간을 차지할 수 있습니다.
MATH-500 벤치마크에서 GPT-4o (2024-08-06)는 79.5점을 기록했습니다. MATH-500은 MATH 데이터셋의 하위 집합으로, 대수학, 기하학, 정수론, 확률 등 다양한 주제를 다루는 500개의 도전적인 경쟁 수준 수학 문제로 구성되어 있습니다. 79.5점은 대략 다섯 문제 중 네 문제에 대해 정답을 맞췄음을 의미합니다. 이는 수학적 추론에서 최고 성능 모델 중 하나로 자리매김하게 합니다. 다른 벤치마크 점수는 제공되지 않았지만, 이 지표는 단계별 논리 추론과 산술 연산에서 모델의 강점을 보여줍니다. 사용자는 과외, 검증, 문제 생성 등 수학 중심 애플리케이션에서 신뢰할 수 있는 성능을 기대할 수 있습니다.
MATH-500 이외의 특정 벤치마크 점수는 제공된 사실에 포함되어 있지 않습니다. 그러나 GPT-4o 모델군은 MMLU(대규모 멀티태스크 언어 이해), HumanEval(코드 생성), 다양한 시각-언어 작업 등 여러 표준 벤치마크에서 경쟁력 있는 성능을 보이는 것으로 널리 알려져 있습니다. 2024년 8월 버전은 추론 및 명령 수행 능력을 개선하는 업데이트를 포함할 수 있습니다. 정확한 수치가 없으므로 사용자는 가장 최신 데이터를 위해 OpenAI의 공개 평가를 참조해야 합니다. 실용적인 측면에서 이 모델은 결합된 텍스트 및 비전 기능 측면에서 공개 API 모델 중 최첨단으로 간주됩니다.
이 모델에 대한 특정 지연 시간이나 처리량 수치는 제공되지 않습니다. 일반적으로 GPT-4o는 품질을 유지하면서 이전 GPT-4 변형보다 더 빠르게 설계되었습니다. 지연 시간은 입력 길이, 출력 길이, 동시 요청 수, 백엔드 인프라 등의 요인에 따라 달라집니다. OrcaRouter를 통해 액세스하는 경우 요청은 OpenAI의 서버로 라우팅되며 응답 시간은 직접 API 호출과 유사합니다. 사용자는 필요한 최소 컨텍스트를 사용하고 합리적인 max_tokens 제한을 설정하여 최적화할 수 있습니다. 실시간 애플리케이션의 경우 대표적인 워크로드로 테스트하는 것이 좋습니다. OrcaRouter는 네트워크 라우팅 이상의 추가 지연 시간을 유발하지 않습니다.
장점: 강력한 수학적 추론 능력 (MATH-500 79.5), 다중 모달 입력 (텍스트, 이미지, 파일), 큰 128K 컨텍스트 윈도우, 높은 출력 토큰 제한 (16,384). 복잡한 추론, 시각 이해, 장기 컨텍스트가 필요한 작업에 특히 효과적입니다. 한계: 소형 모델에 비해 비용이 높음; 단순하거나 저지연 작업에는 최적이 아닐 수 있음; 모호하거나 형식이 잘못된 입력에서는 정확도가 변동될 수 있음; 왜곡되거나 저해상도 이미지에서는 시각 기능이 잘 작동하지 않을 수 있음. 또한 모든 LLMs와 마찬가지로, 특히 훈련 데이터 외부의 도메인에서 그럴듯하지만 부정확한 답변을 생성할 수 있습니다. 출력을 검증하고 프롬프트 엔지니어링을 사용하여 완화하십시오.
GPT-4o(2024-08-06)의 가격은 토큰 사용량에 따라 결정됩니다. 입력 토큰은 100만 개당 $2.50에 청구됩니다. 출력 토큰은 100만 개당 $10.00에 청구됩니다. 이는 제공업체(OpenAI) 요금이며, OrcaRouter는 마크업을 적용하지 않습니다—OpenAI에 직접 호출한 것과 동일한 금액을 지불하게 됩니다. 토큰은 전송 및 수신된 텍스트를 기준으로 계산됩니다. 이미지 및 파일 입력은 크기와 처리 복잡성에 비례하여 토큰을 소비합니다(이미지 토큰 비용은 OpenAI 정책에 따름). API 엔드포인트 사용에 대한 추가 수수료는 없습니다. 청구는 일반적으로 사용 기간별로 집계되며, OrcaRouter의 대시보드를 통해 토큰 소비량을 모니터링할 수 있습니다.
숨겨진 비용이나 추가 요금은 없습니다. OrcaRouter는 정확한 제공업체 요율로 청구하며 markup을 전혀 적용하지 않습니다. 표시된 가격($2.50/1M 입력, $10/1M 출력)은 모두 포함된 가격입니다. 인증, 연결 또는 지원에 대한 추가 요금은 없습니다. 그러나 이미지 및 파일 입력의 경우 OpenAI의 가격 정책에 따라 결정되는 토큰 비용이 발생하며, 이는 텍스트 전용 토큰 비용을 초과할 수 있습니다. 예를 들어, 1080x1080 이미지의 경우 텍스트 토큰 외에 일정 수의 토큰이 소요될 수 있습니다. 정확한 이미지 토큰 가격은 OpenAI의 문서를 확인하십시오. OrcaRouter는 이러한 비용을 markup 없이 그대로 전달합니다. 현재 정보 기준으로 캐싱 기반 할인은 없습니다.
GPT-4o (2024-08-06)를 GPT-4o mini나 GPT-3.5 Turbo 같은 저렴한 모델 대신 선택하는 것은 성능과 비용 사이의 트레이드오프를 의미합니다. 토큰당 가격이 더 높기 때문에 대규모 애플리케이션의 경우 비용이 빠르게 누적될 수 있습니다. 그러나 작업에 모델의 멀티모달 기능이나 128K 컨텍스트 윈도우가 필요한 경우, 저렴한 모델로는 충분하지 않을 수 있으며, 이로 인해 불완전하거나 품질이 낮은 출력이 발생할 수 있습니다. 간단한 추론이 필요한 텍스트 전용 작업의 경우, 저렴한 모델은 품질을 크게 떨어뜨리지 않으면서 비용을 절감합니다. OrcaRouter를 사용하면 모델 간에 쉽게 전환할 수 있으므로 각 사용 사례에 가장 적합한 비용-성능 균형을 실험해 볼 수 있습니다.
사용 가능한 사실에는 이 모델에 대한 캐싱이나 할인 메커니즘이 언급되어 있지 않습니다. OrcaRouter는 마크업 없이 제공업체 요금으로 청구되므로, 할인은 아마도 OpenAI 자체 가격 정책(예: 대량 사용에 대한 계층 할인, 해당하는 경우)에서 비롯될 것입니다. OrcaRouter는 자체 캐싱 기능을 제공할 수 있지만, 이 모델에 대해서는 확인되지 않았습니다. 비용을 최소화하려면 대화 기록을 자르고, 더 짧은 프롬프트를 사용하며, max_tokens 매개변수로 출력 길이를 제한하여 입력 토큰 사용량을 줄이는 것을 고려하십시오. 반복되는 동일한 쿼리의 경우 애플리케이션 수준에서 캐싱을 구현할 수 있습니다.
GPT-4o (2024-08-06)를 OrcaRouter를 통해 호출하려면, 기본 URL로 https://api.orcarouter.ai/v1을 사용하고 모델 ID를 "openai/gpt-4o-2024-08-06"으로 설정하세요. 이 API는 OpenAI의 클라이언트 라이브러리와 완전히 호환됩니다. 예를 들어, Python에서 openai 라이브러리를 사용하는 경우 openai.api_base = "https://api.orcarouter.ai/v1" 및 openai.api_key = "your-orcarouter-api-key"로 구성한 후 openai.ChatCompletion.create(model="openai/gpt-4o-2024-08-06", messages=[...])를 호출하면 됩니다. 모든 표준 매개변수(temperature, max_tokens, top_p 등)가 지원됩니다. 인증 및 속도 제한에 대한 자세한 내용은 OrcaRouter 문서를 참조하세요.
이 모델은 OpenAI 호환 API를 지원하므로, OpenAI의 채팅 완료 엔드포인트에서 사용 가능한 전체 매개변수 세트를 사용할 수 있습니다. 주요 매개변수는 다음과 같습니다: model (모델 ID로 설정), messages (역할-내용 객체 목록), temperature (0-2), top_p (0-1), n (완료 수), max_tokens (최대 16384), stop (시퀀스), frequency_penalty, presence_penalty, logit_bias, user (사용량 추적용). 멀티모달 입력의 경우, 적절한 형식(예: content: [{type: "text", text: "..."}, {type: "image_url", image_url: {...}}])을 사용하여 메시지 내용에 이미지 또는 file_url을 포함합니다. 이미지 및 파일 입력 구문에 대한 자세한 내용은 OpenAI의 문서를 참조하세요.
OpenAI API에서 OrcaRouter로 마이그레이션하려면 두 가지 변경이 필요합니다: 1) base URL을 https://api.orcarouter.ai/v1로 설정하고, 2) OpenAI API 키를 OrcaRouter API 키로 교체하세요. 메시지 형식이나 매개변수에 대한 코드 변경은 필요하지 않습니다. 모델 ID는 "gpt-4o-2024-08-06"에서 "openai/gpt-4o-2024-08-06"로 변경됩니다. 스트리밍, 함수 호출 및 응답 구문 처리를 위한 기존 로직은 모두 그대로 유지됩니다. OrcaRouter의 API는 드롭인 대체(drop-in replacement)로 설계되었습니다. 전환 후에는 동일한 인터페이스를 통해 다른 제공업체의 모델에도 액세스할 수 있어 쉽게 비교하고 로드 밸런싱할 수 있습니다.
인증은 OrcaRouter에서 제공하는 API 키를 통해 이루어집니다. 헤더에 "Authorization: Bearer YOUR_ORCAROUTER_API_KEY" 형식으로 포함시키세요. 속도 제한(Rate limit)은 OrcaRouter가 관리하며, OpenAI의 직접 제한과 다를 수 있습니다. 자세한 내용은 OrcaRouter 요금제를 확인하세요. 속도 제한을 초과하면 HTTP 429 응답을 받게 됩니다. 이를 완화하려면 지수 백오프(Exponential backoff)를 사용한 재시도 로직(Retry logic)을 구현하세요. OrcaRouter는 user 파라미터를 통해 사용자별 속도 제한을 설정할 수 있도록 허용할 수도 있습니다. 높은 처리량이 필요한 경우 맞춤 구성을 위해 OrcaRouter 지원팀에 문의하세요. 모델 자체에는 별도의 속도 제한이 없으며, 전체 엔드포인트 제한이 적용됩니다.
GPT-4o (2024-08-06)는 풀사이즈 플래그십 모델이며, GPT-4o mini는 더 작고 저렴한 변형입니다. 주요 차이점: GPT-4o는 128K 컨텍스트 윈도우를 가지고 있으며(GPT-4o mini도 128K이지만, 미니는 일반적으로 출력 제한이 16K로 더 낮습니다? 실제로 GPT-4o mini도 128K 컨텍스트와 16K 출력을 가지지만, 추론 및 비전 능력이 떨어집니다). 풀 모델은 MATH-500에서 79.5점을 기록하며, GPT-4o mini는 수학 벤치마크에서 더 낮은 점수를 받습니다. 가격: GPT-4o는 더 비쌉니다($2.50/$10 대 GPT-4o mini의 $0.15/$0.60, 1M 토큰 기준). 높은 정확도나 복잡한 추론이 필요한 작업에는 풀 모델이 적합합니다. 간단한 작업에는 미니가 비용 효율적인 대안을 제공합니다.
GPT-4(예: GPT-4-0613 또는 GPT-4 Turbo)와 비교했을 때, GPT-4o(2024-08-06)는 몇 가지 개선 사항을 제공합니다: 별도의 비전 모델 없이도 기본적으로 멀티모달 입력(텍스트, 이미지, 파일)을 지원하며, 더 큰 컨텍스트 창(이전 버전의 GPT-4 32K 대비 128K), 더 빠른 추론 속도를 제공합니다. 가격은 종종 더 비쌌던 초기 GPT-4 변형보다 낮습니다. 예를 들어, GPT-4 Turbo는 비슷한 컨텍스트를 갖고 있었지만 더 높은 가격이었습니다. 벤치마크 측면에서 MATH-500 점수 79.5는 이전 GPT-4 모델보다 뛰어납니다. 그러나 일부 사용자는 특정 작업에 대해 더 긴 학습 이력으로 인해 이전 모델이 더 안정적이라고 느낄 수 있습니다. 전반적으로 GPT-4o는 더 현대적이고 효율적인 후속 모델입니다.
선택은 특정 요구 사항과 제공업체 선호도에 따라 달라집니다. GPT-4o (2024-08-06)는 수학 추론(MATH-500 79.5) 및 텍스트, 이미지, 파일을 포함한 멀티모달 작업에서 뛰어납니다. Anthropic의 Claude 모델은 일부 버전에서 더 강력한 안전 기능이나 더 긴 컨텍스트 윈도우를 제공할 수 있지만 일반적으로 가격이 더 높습니다. Google의 Gemini 모델은 멀티모달 및 대규모 컨텍스트를 제공하지만 성능 프로필이 다를 수 있습니다. OrcaRouter를 사용하면 단일 API로 여러 제공업체를 테스트할 수 있습니다. 높은 수학적 정확성이 필요한 작업에는 GPT-4o가 강력한 후보입니다. 순수 텍스트 요약이나 저비용 작업에는 다른 모델이 더 경제적일 수 있습니다. 사용 사례에 맞게 벤치마크 점수와 가격을 평가하세요.
OrcaRouter를 통해 GPT-4o를 사용하면 사용자의 데이터가 추론을 위해 OpenAI 서버로 전송됩니다. OrcaRouter는 프롬프트를 전달하는 것 이상으로 저장하거나 처리하지 않습니다. OpenAI의 데이터 사용 정책이 적용되므로, 학습 데이터 사용 또는 데이터 보존에 관한 우려가 있다면 OpenAI의 약관을 확인하시기 바랍니다. 데이터가 특정 관할권 내에 있어야 하거나 특정 제공업체를 피해야 하는 경우, OrcaRouter를 사용하면 요청별로 여러 제공업체 중에서 선택할 수 있습니다. 또한 OrcaRouter의 라우팅 기능을 사용하여 규정 준수 요구 사항을 충족하는 제공업체로 요청을 보낼 수 있습니다. OrcaRouter와 기본 제공업체의 데이터 처리 문서를 항상 검토하시기 바랍니다.
OpenAI 호환 — 쓰던 SDK 그대로
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-4o-2024-08-06",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_completion_tokensmax_tokensnparallel_tool_callspredictionpresence_penaltyresponse_formatseedservice_tierstopstreamstructured_outputstemperaturetool_choicetoolstop_logprobstop_pweb_search_options| 입력 / 1M tokens | $2.50 |
| 출력 / 1M tokens | $10.00 |
| 캐시 읽기 / 1M | $1.25 |
| 통화 | USD |
정가 기준 추정치
추정치일 뿐입니다 — 실제 토큰 수는 제공자의 토크나이저에 따라 달라집니다.
@misc{orcarouter_gpt_4o_2024_08_06,
title = {GPT-4o (2024-08-06) API},
author = {OpenAI},
year = {2024},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4o-2024-08-06}
}OpenAI. (2024). GPT-4o (2024-08-06) API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4o-2024-08-06