Octen Search, Artificial Analysis Search Index에서 3위 차지: 태스크당 가장 빠르고, 선두 주자 중 가장 저렴

Octen Search는 Artificial Analysis Search Index에 처음 등장했을 때 77점을 기록해 순위표에서 3위에 올랐으며, 과제당 17.2초 만에 그 자리에 도달해 Artificial Analysis가 테스트한 그 어떤 것보다도 빨랐다. 제품 자체는 새로운 것이 아니다. Octen Search는 2026년 4월 22일부터 상업적으로 이용 가능해졌으며, 같은 날 모회사 APITECH AI는 Square Peg가 주도한 1,000만 달러 규모의 시드 라운드를 발표했다. 달라진 점은 Artificial Analysis의 9월 8일 데이터 기준으로 마침내 이 제품에 제3자 수치가 붙었고, 그 수치는 Octen Search의 최초 독립 실사용 테스트가 예상했을 것보다 더 좋다는 것이다.

Artificial Analysis가 실제로 측정하는 것

Search Index는 2026년 8월 18일에 공개되었고, 그 설계는 리더보드치고는 유난히 깔끔하다. 모든 제공자는 동일한 에이전트 하네스, 즉 Artificial Analysis 자체 오픈소스 에이전트인 Stirrup 안에서 실행되며, 동일한 모델인 GPT-5.6 Luna가 중간 수준의 추론으로 구동하고, 동일한 채점기가 점수를 매긴다. 에이전트는 두 가지 도구인 web_search와 web_fetch를 받으며, 작업당 최대 25턴, 검색당 최대 10개 결과까지 허용되고, 알려진 오염원은 걸러진다. 25턴을 모두 소진하고도 finish를 호출하지 않으면 0점을 받으므로, 에이전트가 작업을 끝마치지 못하게 되는 것은 아무것도 검색해내지 못한 것과 똑같이 강하게 벌을 받는다.

유일한 변수는 검색 제공자다. 그것은 대부분의 검색 비교에 빠져 있는 속성이며, 바로 그것이 Octen Search의 배치를 어느 벤더가 가장 강력한 답변 모델을 함께 제공했는지에 관한 진술이 아니라 검색에 관한 진술로 읽히게 만든다.

점수는 0–100 척도의 세 가지 평가에 대한 동일 가중 평균입니다. DeepSearchQA F1은 폭넓은 연구 질문으로 구성된 900개 태스크 분할에서 실행되며, 답변을 항목 목록으로 채점합니다. BrowseComp 정확도는 답이 검증 가능한 단일 값인 다중 홉 사실의 200개 샘플로 구성된 어려운 하위 집합을 사용합니다. AA-Omniscience 정확도는 600개의 홀드아웃 일반 지식 질문을 사용하며, 주로 모델이 이미 알고 있던 것을 넘어 검색이 얼마나 더하는지를 분리해 내기 위해 존재합니다. 지수가 단순 평균이기 때문에, 하나의 약한 구성 요소만으로도 대표 수치가 끌어내려지며, 구성 요소 프로필이 순위보다 더 유용할 때가 많습니다. 검색 도구를 전혀 사용하지 않고 동일한 에이전트를 실행하면 33점을 받으므로, 제공자가 얻는 거의 모든 것은 모델 자체 매개변수 대비 향상분입니다.

Artificial Analysis는 10개 제공업체에 걸쳐 20개의 검색 제품을 테스트했으며, 기본 차트에는 그중 12개가 표시된다고 밝혔다.

Octen Search가 자리잡은 곳

9월 8일 표의 상단에는, Artificial Analysis가 1,000개 작업당 공개하는 검색 및 모델 토큰 열을 합산해 계산한 작업당 비용이 나와 있습니다 — 리더보드 자체는 하나의 통합 수치를 표시하지 않습니다:

• 퍼플렉시티 검색(중간) — 지수 80, 작업당 28.8초, 작업당 약 $0.091

• Perplexity Search (높음) — 인덱스 79, 29.7초, 약 $0.091

• Octen Search(하이라이트) — Index 77, 17.2초, 약 $0.058

• Perplexity Search (낮음) — 지수 77, 37.4초, 약 $0.105

• 병렬 검색 (고급) — 인덱스 75, 42.9초, 약 $0.084

• Brave Search (LLM 컨텍스트) — 인덱스 75, 24.4초, 약 $0.130

• You.com Search (하이라이트) — 인덱스 74, 20.7초, 약 $0.117

• Exa Search(자동) — Index 74, 33.3초, 약 $0.127

순위보다 배치가 더 흥미로워지는 지점은 구성 요소별 점수다. Octen Search는 DeepSearchQA에서 80점, BrowseComp에서 86점, AA-Omniscience에서 66점을 받는다. 출시 당시 인덱스를 선도했던 제공업체인 Parallel Search (advanced)는 각각 81점, 77점, 67점을 기록한다. 따라서 Octen Search는 다중 홉 팩트 파인딩 벤치마크에서 Parallel Search를 9점 차로 앞서고, 광범위한 리서치에서는 동률을 이루지만, 일반 지식 향상도에서는 Perplexity Search 설정에 뒤처진다 — Perplexity Search (medium)의 72점에 비해 66점이다. 쉽게 말해, Octen Search는 정말로 찾기 어려운 것을 추적해 찾아내는 데 매우 뛰어나며, 모델이 이미 어느 정도 알고 있는 질문에서는 추가적인 이점이 더 적다.

이 내용을 인용할 사람이라면 누구든 짚어둘 만한 작은 문제가 하나 있다. Artificial Analysis가 결과를 직접 발표할 때는 Octen Search를 작업당 16.9초로 제시했지만, 실시간 표에서는 9월 8일 데이터 기준 17.2초를 보여준다. 이는 모순이 아니라 재실행에 따른 변동이지만, 소셜 게시물보다 표를 인용해야 하는 이유가 바로 여기에 있다.

속도가 헤드라인이라면, 진짜 이야기는 비용 분담이다

17.2초의 작업당 처리 시간으로 Octen Search는 이 인덱스에서 가장 빠른 항목입니다. Perplexity Search(medium)는 28.8초, Parallel Search(advanced)는 42.9초, Firecrawl Search는 63.2초가 필요합니다. Artificial Analysis는 또한 Octen Search를 개별 쿼리당 가장 빠른 것으로 보고하며, 검색당 평균 0.21초를 기록합니다. 이는 작업에 몇 번의 호출이 필요한지와 무관하게 측정된 가장 빠른 호출 시간입니다.

그렇지만 정말 눈여겨볼 만한 숫자는 비용 내역이다. 1,000개 작업당 Artificial Analysis는 Octen Search의 검색 지출을 $9.07, 모델 토큰 지출을 $49.15로 산정한다. 토큰 비용은 검색 비용의 약 5.4배다. 이는 Octen Search만의 특이점이 아니라, 이 지수가 계속 제기하는 구조적 요점이다. 검색 제공자는 검색에 대해서만 비용을 청구하지 않는다. 검색 제공자는 에이전트가 몇 번의 턴을 거치는지를 결정하며, 추가되는 모든 턴은 모델의 요율로 계산되는 모델 토큰이다.

Artificial Analysis는 Parallel 출시 당시에도 같은 논리를 폈습니다. 고급 모드는 검색당 비용이 기본보다 더 높았지만($0.048 대 $0.045), 작업당 비용은 더 낮았습니다($0.084 대 $0.11). 더 나은 결과 덕분에 작업당 토큰 사용량이 약 339,000개에서 169,000개로 줄었기 때문입니다. 더 저렴한 호출과 더 저렴한 작업은 서로 다른 것이며, 그중 하나만 청구서에 나타납니다.

보드의 나머지와 비교해 보면, Octen Search의 작업당 약 $0.058은 75점 이상을 기록한 어떤 항목보다도 가장 낮다. TinyFish Search는 약 $0.035로 더 저렴하지만, 점수는 71점이고 작업을 끝내는 데 60.4초가 걸린다.

그 결과가 무엇을 확정하는지, 그리고 무엇을 확정하지 않는지

Octen 자체 수치는 항상 공격적이었으며, 여전히 벤더가 보고한 값입니다. 이 회사는 SealQA Hard 벤치마크에서 62ms P50 및 68ms P90 지연 시간, 계정당 초당 100만 건 이상의 처리량, 5분 이내의 새 콘텐츠 색인, 그리고 DeepResearch Bench에서 종합 55.58로 글로벌 3위를 주장합니다. 이 중 어느 것도 독립적으로 재현된 적이 없으며, 여러 항목은 공개된 다른 어떤 것과도 직접 비교할 수 없습니다.

이제 두 개의 독립적인 테스트가 존재하며, 서로 다른 방향을 가리킨다. Artificial Analysis는 모델과 하네스를 고정한 상태에서 Octen Search를 품질 3위, 속도 1위로 평가했다. 2026년 8월에 발표된 별도의 독립 벤치마크는 Octen Search를 P50 359ms, P95 941ms로 측정했는데, 이는 공급업체가 주장한 지연 시간의 몇 배에 달했고, nDCG@10은 0.495로 0.5선 바로 아래였으며 해당 지표에서는 Parallel, Brave, Kagi, Perplexity, Context, Tavily, Exa보다 뒤처졌다. Octen 팀은 그 리뷰어에게 자체 벤치마크가 결과 품질보다 지연 시간을 주로 테스트한다고 말했는데, 이는 타당한 해명이면서, 동시에 결과 품질이 주장의 대상이 아니었다는 인정이기도 하다.

두 결과 모두 정확할 수 있습니다. 둘은 서로 다른 질문을 던지기 때문입니다. 앞선 테스트는 자체 쿼리 세트에서 메타데이터 휴리스틱으로 상위 10개 결과가 관련성이 있어 보이는지를 채점했고, Artificial Analysis는 실제 모델이 구동하는 에이전트가 작업을 올바르게 완료하는지를 채점합니다. 그 인덱스 순위가 확고히 입증하는 것은 "최고의 검색 API"보다 좁고, 공급업체의 주장보다 유용합니다. 에이전트 작업 완료에서 모델을 동일하게 고정한 상태로, Octen Search는 가장 강력한 제공업체들과 경쟁력이 있으며 그들 모두보다 빠릅니다.

실제로 Octen Search를 운영하는 데 드는 비용

Octen이 공개한 가격 정보(회사가 2026년 9월 7일에 마지막으로 업데이트함):

• Search API 호출 — 1,000회당 $1, 2026년 7월 16일부터 자동으로 적용되어 온 $5 정가 대비 80% 할인

• 결과 제한 — 검색 내 첫 10개 결과는 무료이며, 추가 결과는 1,000개당 $0.50가 청구됩니다

• 기타 엔드포인트 — Image Search 및 Video Search는 1,000회 호출당 $5, Extract는 성공적으로 처리된 URL 1,000개당 $1

• 임베딩 — octen-embedding-8b는 백만 토큰당 $0.07, octen-embedding-0.6b는 백만 토큰당 $0.01

• 처리량 요금제 — 무료 티어 최대 10 QPS; Base는 계정에 크레딧이 있으면 최대 20 QPS까지 무료; Builder는 월 $2,099에 최대 50 QPS; Pro는 월 $13,999에 최대 200 QPS; Max는 월 $33,999에 최대 500 QPS

• 등록 — 무료 잔액 $5

처리량 티어는 비용 계산을 조용히 망가뜨리는 부분입니다. 작업당 $0.058은 순전히 호출당 계산입니다. 워크로드에 초당 200개의 동시 쿼리가 필요하다면, 첫 검색이 실행되기도 전에 매월 $13,999를 지불하게 되며, 작업당 수치는 더 이상 흥미로운 숫자가 아니게 됩니다.

Octen이 출시될 당시 지적된 격차도 있습니다. 제로 데이터 보존 조건, 규정 준수 인증, 지역별 가용성은 기존 제공업체들이 공개하는 만큼 자세히 공개되지 않습니다. 규제 환경에 출시하는 경우, 이는 3포인트 지수 격차보다 훨씬 더 중요합니다.

그것이 세 번째라면, 왜 사람들은 여전히 Perplexity Search를 선택할까요?

Perplexity Search(medium)와의 3포인트 차이는 보기보다 작고, 완전히 전환할 명분도 마찬가지로 작다. Perplexity Search는 AA-Omniscience에서 72 대 66으로 앞서며, 단일 호출로 종합되고 인용된 답변을 반환한다. 이는 일부 파이프라인이 원하는 것이지만, 툴 호출 에이전트를 중심으로 구축된 이 지수는 보상하지 않는다. Octen Search의 장점은 속도와 가격이다: 이 수치상 Perplexity Search(medium)보다 작업당 약 1.7배 빠르고 약 36% 저렴하다.

실용적인 요약: 에이전트가 지연 시간에 묶여 있거나, 대규모 검색 때문에 청구서의 대부분이 발생한다면 이제 Octen Search는 도박이 아니라 방어 가능한 기본값입니다. 파이프라인이 합성된 답변에 의존하거나 기존 업체의 규정 준수 태세에 의존한다면, 이 인덱스는 옮겨 갈 이유를 주지 않습니다.

이로써 귀하의 에이전트 스택은 어디에 위치하게 되는가

Search Index는 대부분의 팀이 배관처럼 취급하는 계층을 측정하며, 검색을 넘어서는 시사점을 던집니다. Octen Search 자체 행에서는 모델의 토큰 비용이 검색 비용의 5.4배였습니다. 검색을 위해 무엇을 선택하든, 돈이 들어가는 쪽은 모델 쪽이고, 새로운 검색 벤더를 시험할 때마다 가장 다시 통합하고 싶지 않은 쪽도 바로 그쪽입니다.

이는 모델 경로를 단일 엔드포인트 뒤에 유지해야 하는 근거입니다. OrcaRouter는 하나의 API 뒤에서 200개 이상의 모델을 0% 마크업으로 제공합니다 — 제공업체 정가가 그대로 전달되므로 공급업체의 가격 인하가 같은 날 여러분에게 도달합니다 — 제공업체 전반에 걸친 자동 페일오버와 여러 모델을 하나의 호출로 구성하기 위한 라우팅 DSL을 갖추고 있습니다. 모델 경로는 고정한 채 그 뒤의 검색 계층을 교체하세요. 그러면 새 제공업체가 DeepSearchQA에서보다 여러분의 트래픽에서 더 약한 것으로 드러나더라도, 두 개가 아니라 하나의 의존성만 바꾼 셈입니다. 카탈로그는 다음에서 확인할 수 있습니다: OrcaRouter의 모델 카탈로그.

분명히 말하자면, 우리가 제공하는 것과 제공하지 않는 것은 다음과 같습니다: Octen Search는 OrcaRouter의 카탈로그에 없으며 우리가 이를 프록시하지 않습니다 — 그 호출은 Octen으로 직접 전달됩니다. 우리가 라우팅하는 것은 그 반대편에 있는 모델입니다.

다음에 볼 콘텐츠

이 이야기의 판도를 바꿀 세 가지가 있다. Artificial Analysis는 제공업체들이 변경 사항을 내놓을 때마다 지수를 다시 실행하므로, 77 또는 그 부근의 두 번째 데이터 포인트는 첫 등장을 하나의 궤적으로 바꿔 놓을 것이고, 하락은 첫 순위가 쿼리 구성 덕분에 실제보다 좋아 보였음을 시사할 것이다. Octen은 벤치마크별 DeepSearchQA, BrowseComp, AA-Omniscience 수치를 자체적으로 공개하지 않았는데, 이는 Octen이 이용할 수 있는 가장 저렴한 신뢰성 확보 수단이다. 그리고 1,000회 호출당 1달러 요금은 7월 16일부터 적용되어 왔다. 그 프로모션이 만료되어 5달러 정가로 되돌아가면, Octen Search 비용에서 검색 항목이 대략 5배로 늘어나고 가격 논거는 상당히 약해진다.

이번 분기에 에이전트를 구축하는 사람이라면 취할 조치는 작습니다. 이 지수는 비용 대비 품질 신호이지 호환성 테스트가 아닙니다. 프로덕션 검색 경로를 옮기기 전에 Octen Search를 대상으로 자체 쿼리 분포를 실행하고, 77은 마이그레이션할 이유가 아니라 벤치마크할 이유로 여기세요.