Спросите GPT-6.1 Sol, Claude Opus 5.5 или Gemini 4 Argon: «Кто этот исследователь?» — и смотрите, как Argon тянется не к той лаборатории.

Трём передовым моделям задали по одному вопросу, 448 раз, и в качестве исходных данных было только имя. GPT-6.1 Sol и Claude Opus 5.5распознали почти каждого исследователя ИИ, которого им показывали. Gemini 4 Argonраспознала почти столько же людей, но правильно описала меньше из них, и указанная причина конкретна и полезна: она раз за разом называла бывшего работодателя исследователя как текущего. Оценка была опубликована 14 октября 2026 года аккаунтом @scaling01; это один опубликованный тест, а не независимый бенчмарк, и никто его не воспроизвёл. Возраст трёх моделей сильно различается — Gemini 4 Argon стала общедоступной на платном тарифе 13 октября 2026 года после анонса 30 сентября, Claude Opus 5.5 вышла 22 сентября, GPT-6.1 Sol — 29 сентября, — так что единственное, что здесь действительно ново, — это сама находка, появившаяся через два дня после открытия платного тарифа Argon.

Это проблема устаревших атрибутов, и её стоит понять как следует, потому что это не тот же класс сбоя, что галлюцинированная ссылка или уверенно выдуманная статья. Модель, называющая прежнее место работы исследователя, ничего не выдумывает. Она возвращает факт, который был верен, из снимка, который уже изменился. Внутреннее обоснование этого разрыва, на которое ссылаются, состоит в том, что чем «лучше» модель подаёт устаревшую информацию как актуальную, тем она полезнее для одних задач и тем опаснее для этой. Это чёткая формулировка компромисса, и именно поэтому данная конкретная оценка интереснее, чем можно предположить по её объёму выборки.

Что на самом деле измерял пост, по его собственным словам: 448 реальных исследователей были показаны каждой модели как просто имя, один раз, без доступа к интернету и без инструментов. Ответы проверялись по открытым источникам — личным страницам, биографиям сотрудников лабораторий, статьям — 14 октября 2026 года. График разделяет две вещи, которые обычно объединяются в одну оценку. Весь столбец — это «узнал нужного человека». Закрашенная часть столбца — это «весь ответ также был точным». Разрыв между ними — это режим отказа: правильный человек, неправильная деталь. Когорта делилась так: 131 исследователь из OpenAI, 166 из Anthropic, 151 из Google. Принадлежность к лаборатории была установлена по 298 текущим профилям или страницам лабораторий, 148 подписям авторов из лабораторий с октября 2025 года и 2 людям, которые перешли между лабораториями. Исключены: 2 человека, которые ушли из этих лабораторий, 13, которых не удалось подтвердить, и 22 известных исследователя, работающих вне этих трёх лабораторий. Все три модели отвергли все 50 вымышленных имён, которые им дали, — ни одна из трёх не выдумала человека, что является более сложным контролем, и именно его они прошли.

Во сколько вам на самом деле обходится ошибка с «бывшим работодателем»

Если вы используете передовую модель, чтобы подготовить брифинг, составить список для аутрича или обобщить, кто где работает, именно такую ошибку вы и получите. Имя будет верным. Должность будет правдоподобной. Организация будет той, из которой человек ушёл. В выводе ничто не будет выглядеть неправильным — именно поэтому такая ошибка проходит проверку и поэтому неверный ответ о работодателе хуже, чем очевидно ошибочный.

Это также объясняет, откуда берутся различия между моделями. Ошибки атрибуции такого рода отражают, как были зафиксированы знания модели и как она формулирует ответ, когда её обучающие данные содержат как старую, так и новую аффилиацию. Модель, которая видела оба факта и выбирает более новый, показывает здесь хороший результат. Модель, которая видела оба и выбирает более распространённый в её корпусе — а для исследователя с большим стажем это обычно более старый, — показывает плохой результат, не ошибаясь при этом ни в чём, о чём ей действительно сообщали. Собственная формулировка оценки соответствует этому: она измеряет, трактует ли модель вопрос «кто этот человек» как вопрос о настоящем.

Что означают три разные модели для этого результата, а что — нет

Это одна опубликованная оценка от одного аккаунта, и честное прочтение должно начинаться с этого. Выборка — 448 имён, оценка выставлена самим автором поста по публичным источникам, значения столбцов по каждой модели не полностью воспроизводимы по изображениям диаграммы, и ни одна другая лаборатория или другой оценщик не запускали тот же протокол. Относитесь к этому как к сигналу о том, что определённый режим отказа существует с измеримой частотой у одной из трёх, а не как к рейтингу, по которому стоит выбирать.

Что делает это не просто шумом, так это то, что контроль здесь необычно хорош для оценки в социальных сетях. Если дать каждой модели только имя, один раз и без доступа к интернету, это устраняет путь извлечения, который обычно замаскировал бы устаревшую аффилиацию, — модель с браузингом просто нашла бы этого человека. Исключение исследователей, покинувших лаборатории, и отдельное исключение известных людей за пределами лабораторий убирает случаи, когда ответ «неверный текущий работодатель» можно счесть правильным. А 50 выдуманных имён — это тест, который отделяет «устаревшие знания» от «готовности выдумывать»; все три модели прошли его вместе.

Есть противоречие, которое стоит назвать: заявленная доля бессмыслицы — доля ответов, ошибочных на периферии, — практически равна нулю, тогда как заметная неточность сосредоточена почти полностью в поле аффилиации. Модель, которая так чисто справилась с выдуманными именами и всё же неверно указала работодателей, не запуталась. Она устарела ровно в одном измерении.

Три эти модели — не сопоставимые между собой продукты, поэтому интерпретируйте результат соответственно.

• Gemini 4 Argon — анонсирован 30 сентября 2026 года, общедоступен на платном тарифе с 13 октября по заявленной цене $2,00 за миллион входных и $10,00 за миллион выходных; та же самая оценка, которая выявляет его ошибки атрибуции, — это та, что поставила его высоко по распознаванию.

• Claude Opus 5.5 — выпущен 22 сентября 2026 года по цене $4.00 за миллион входных токенов и $20.00 за миллион выходных токенов, что ниже, чем $5/$25 у Claude Opus 5.

• GPT-6.1 Sol — выпущена 29 сентября 2026 года: $2.00 за миллион входных и $10.00 за миллион выходных токенов.

Разрыв в возрасте имеет значение для того, как вы интерпретируете результат. Argon — самый новый из трёх с большим отрывом, и если режим отказа — это устаревшие снимки, то модель с самыми свежими знаниями скорее всего та, которая может содержать две конфликтующие принадлежности для одного и того же человека без сильного сигнала о том, какая из них актуальна. Это гипотеза, которую оценка не проверяет и не могла бы проверить, учитывая её дизайн, но это первое, что стоит проверить, если вы запустите её снова.

Если вы собираетесь использовать модель для фактов о людях, проверьте её, прежде чем доверять ей.

Эту оценку легко приблизительно воспроизвести на собственных данных, и такое приближение полезнее, чем агрегированный результат. Возьмите двадцать имён из вашей собственной предметной области — людей, о которых вы знаете, что за последние восемнадцать месяцев они сменили работодателя, — и спросите у модели текущую должность каждого из них, один раз, без инструментов. Посчитайте, сколько ответов укажут старую организацию. Это единственное число скажет вам о вашем развёртывании больше, чем весь прогон по 448 именам, потому что сбой зависит от предметной области: модель, надёжная для исследователей из AI-лабораторий, может быть слабой в вашей отрасли — или наоборот.

Две детали протокола из оригинала стоит скопировать, потому что именно они делают результат осмысленным. Во-первых, никакого доступа к интернету. Модель с инструментом поиска просто найдёт информацию об этом человеке — это правильное поведение, и это означает, что тест перестаёт измерять что-либо о её сохранённых знаниях. Во-вторых, давайте только имя. Добавление контекста («этот человек работает в области робототехники») позволяет модели вывести ответ из контекста, а не извлечь его, что льстит результату, но не устраняет слабость.

Если вы запускаете это в больших объёмах на нескольких моделях, а не на одной, дорогостоящей частью становится сравнение — одни и те же названия должны попадать в каждую модель одинаковым образом, и именно здесь слой маршрутизации заслуживает своё место, а не оказывается просто удобством.

Где место такой проверки в конвейере

Факты о людях — одна из немногих категорий, где неверный ответ дёшево обнаружить постфактум и дорого — заранее, поэтому практичный шаг — по умолчанию считать поле аффилиации непроверенным и сверять его с источником, который вы контролируете. Это не значит, что моделям следует доверять меньше во всём. Это значит замечать, что «узнал нужного человека» и «правильно его описал» — два разных измерения, и что второе — именно то, которое вам на самом деле нужно.

В OrcaRouter это тот тип проверки, который выполняется сразу для нескольких моделей с одним и тем же ключом, а не по одной за раз. GPT-6.1 Sol и Claude Opus 5.5 — две модели, которые, согласно этой оценке, оказались наименее подвержены ошибке устаревшей аффилиации — обе маршрутизируются здесь через один и тот же эндпоинт, так что одни и те же двадцать названий попадают к обеим просто с изменением строки модели, а не через второй контракт, и неудачный день у одного провайдера не утянет за собой всё сравнение. Gemini 4 Argon отсутствует на OrcaRouter; до него можно добраться через собственный платный тариф вендора и другие сторонние платформы, и ничто здесь не должно восприниматься как предложение маршрутизировать его. Модели, которые у нас есть, предлагаются по прайс-листу провайдера без наценки, поэтому изменение цены вендором отражается в вашем счёте в тот же день, когда оно публикуется.

За чем следить и что изменит эту интерпретацию

Результат — это оценка, сделанная одним аккаунтом, с хорошим контролем и небольшой выборкой, опубликованная 14 октября 2026 года, и честный следующий шаг — не действовать на её основе, а искать второй прогон. Две вещи превратили бы её из сигнала в находку: независимый оценщик, повторяющий протокол с более длинным списком имён и опубликованными оценками, или поставщик, признающий, что атрибуция между прежним и нынешним работодателем человека — это отдельный класс ошибок, на который стоит целенаправленно работать. То, что контроль с 50 вымышленными именами проходит во всех трёх моделях, — это деталь, которая делает такое правдоподобным: это означает, что проблема не в фабрикации, которая сложна, а в обновлении, которое поддаётся решению.

До тех пор полезная сводка более узкая, чем таблица лидеров, и более практичная, чем она. Модель, которая уверенно называет устаревшего работодателя, не лжёт вам. Она отвечает на вопрос о прошлом так, будто вы спросили о настоящем, и единственный способ поймать её — задать вопрос, который вы действительно имели в виду.

Такой результат — это также напоминание о том, что ошибки моделей уже задокументированы: инциденты с ИИ и сбои агентов, стоящие за моделями этого класса, собраны в OrcaRouter AI Incident Archive , где каждая запись содержит собственные источники, степень серьёзности, уровень уверенности и флаг оспаривания.