Claude Opus 5.5 מצא את AttnRes-Canon: מה באמת הוכיחו ארבעה ימים של חיפוש ארכיטקטורה

ב-6 בנובמבר 2026, קבוצת מחקר בשם IAAI פרסמה רשומת הרצה של Arena v1 ששמה את Claude Opus 5.5 כסוכן שתכנן ארכיטקטורת Transformer בשם AttnRes-Canon, וכן צ'קפוינט, טרייס שניתן להריץ מחדש ותיאור בן עשר דקות מאת Yi Ge שמסביר איך הוא הגיע לשם. Claude Opus 5.5 עצמו אינו חדש — Anthropic השיקה אותו ב-22 בספטמבר 2026 בתעריף של 4 דולר למיליון טוקני קלט ו-20 דולר למיליון טוקני פלט, ושום דבר במחיר, בחלון ההקשר או במדדי הביצועים שפורסמו של המודל הזה לא השתנה החודש. מה שחדש מתוארך לשבוע האחרון: תיעוד ציבורי וניתן לבדיקה של מודל חזיתי שמבצע חיפוש ארכיטקטורות שלם בכוחות עצמו, כולל הענפים שנכשלו, ומודל להורדה שיצא מהקצה השני. זו טענה צרה יותר מכפי שהציר הזמן מרמז, והיא מעניינת יותר משורת מדד ביצועים.

הרשומה היא גם הסיבה לכך שזהו מאמר מסוג "הנה מה שלמעשה מבוסס" ולא פוסט השקה. הזירה מתייגת את הערך שלה עצמה בדיווח עצמי. יש זרע אחד. אף אחד מחוץ למפעיל לא שחזר את המספר, ובזמן כתיבת הדברים נקודת הבדיקה של Hugging Face הורדה אפס פעמים. קראו את הסעיפים שלהלן מתוך מחשבה על כך — לא כסיבות לפסול את התוצאה, אלא כצורה המדויקת של הראיות.

מהו בעצם AttnRes-Canon

שני רעיונות קיימים, משולבים, ועוד דבר אחד שאף אחד מהם לא עושה לבד.

הרעיון הראשון הוא Attention Residuals, ממאמר של Kimi Team שהועלה ל-arXiv במרץ 2026 (2603.15031). חיבורים שיוריים סטנדרטיים מסוג PreNorm מחברים את הפלט של כל שכבה עם משקל קבוע של אחד, כך שהמצב המוסתר גדל עם העומק והתרומה של כל שכבה מדוללת. Attention Residuals מחליף את הסכום הקבוע הזה בקשב softmax מעל שכבות קודמות, כך שמשקלי הערבוב תלויים בקלט. הגרסה הזולה, Block AttnRes, מקבצת שכבות לבלוקים ומבצעת קשב מעל סיכומי בלוקים; הגרסה היקרה מאפשרת לכל שכבה לקרוא כל שכבה קודמת ישירות. בבסיס של הזירה, 23 שכבות יושבות ב-8 קבוצות, כך ששכבה יכולה לקרוא בחזרה את הסכום של הפלטים של קבוצה קודמת — סיכומי פרקים, בדימוי של המחבר, לא הפרקים.

השני הוא שכבות Canon, מתוך "Physics of Language Models, Part 4.1" מאת Zeyuan Allen-Zhu (arXiv:2512.17351, דצמבר 2025 עם עדכון ביולי 2026). שכבת Canon היא קונבולוציה קטנה ברוחב 4: בעת עיבוד האסימון הנוכחי היא גם מערבבת את שלושת האסימונים שמיד לפניו.

AttnRes-Canon הוא Full Attention Residuals — 23 קבוצות במקום 8, כאשר כל שכבה קוראת כל שכבה קודמת באופן עצמאי — עם שכבות Canon בארבעה מיקומים: A בכניסה לקשב ו-C בכניסה ל-MLP, B על הטלות השאילתה, המפתח והערך, ו-D על השכבה הנסתרת של ה-MLP. רכיב אחד מעביר מידע לאורך העומק, והשני לאורך הרצף. הרווח המשולב התקבל מעט גבוה מסכום שני הרווחים שנמדדו בנפרד, וזוהי הטענה הארכיטקטונית היחידה שבאמת חדשה בדוח.

• רכיב עומק — Full AttnRes: 23 קבוצות, כל שכבה קוראת שכבות קודמות בנפרד ולא דרך סיכומי בלוקים

• רכיב רצף — שכבות Canon ב־A, B, C ו־D: קונבולוציה סיבתית ברוחב 4 על כל טוקן ושלושת קודמיו

• עלות — פי 1.66 מהזמן לכל עדכון אימון של Block AttnRes, מודל האב שאותו הוא ניצח

אם השורה האחרונה נשמעת כמו מחשבה מאוחרת, היא זו שהחיפוש מעולם לא לקח בחשבון, ונחזור אליה.

הסרגל בא לפני החיפוש

חוקי הזירה משעממים במכוון. נתוני האימון, 46,875 עדכונים ו-FLOPs לכל טוקן (בטווח של ±1%) קבועים; רק הארכיטקטורה רשאית להשתנות; הניקוד הוא CORE-22 — הממוצע על פני 22 משימות, גבוה יותר טוב — בתוספת bits-per-byte של אימות, נמוך יותר טוב; ובמהלך החיפוש הסוכן רשאי להסתכל רק על הפסד האימון ועל BPB של סט הפיתוח. ריצה מלאה בודדת עולה יותר מ-1,400 שעות GPU, כך שאף חיפוש לא יכול להרשות לעצמו לאמן תריסר רעיונות עד להשלמתם. הכול תלוי בשאלה אם ריצה קצרה מדרגת רעיונות כפי שריצה ארוכה הייתה עושה.

אז כ־152 שעות ה-GPU הראשונות הוקדשו לכיול אותו סרגל ולא לבעיה עצמה. הקיצור המובן מאליו — לדחוס את כל לוח הזמנים של קצב הלמידה ל־512 עדכונים — התברר כמדרג שגוי באופן שיטתי: כשאומן על 11 שיטות שתוצאותיהן המלאות היו ידועות כבר, הוא הניב מתאם ספירמן של 0.40 לעומת הסדר הסופי, לעומת רף של 0.85 שנקבע מראש. השגיאות לא היו רעש. כל ארבע הארכיטקטורות הלולאתיות ירדו בדירוג וכל ארבע ארכיטקטורות הקשב הלינארי עלו, מפני שקיצור קצב הלמידה מוקדם מחמיא למודלים שמתכנסים מהר ומכרות את המודלים שמתחילים לאט.

נטילת תחילית של לוח הזמנים האמיתי במקום — אותו לוח זמנים, שנעצר מוקדם ואז המשיך בריצה מלאה אמיתית — הגיעה ל-0.72 ב-500 עדכונים ול-0.92 ב-2,000. זה מה שקבע את הפרוטוקול: 512 עדכונים הם רק סף תחתון לפסילת מועמדים שברור שנכשלו באימון, וכל החלטת דירוג מתקבלת בעדכון 2,000, כ-4% מריצה מלאה. אותו כיול הניב את רצפת הרעש: שתי ריצות עם אותו זרע נבדלו בכ-0.0004 ב-dev BPB, ולכן מועמד היה צריך לעקוף את ההורה שלו ביותר מ-0.001 כדי להיחשב כניצחון.

זהו תכנון ניסויי טוב יותר ממה שרוב מאמרי הארכיטקטורה האנושיים טורחים לעשות, וראוי לומר זאת בפשטות: התכנון, ולא המודל, הוא מה שהופך את התוצאה למובנת.

שלושה סבבים, שנים עשר מועמדים, תעתוע אחד

הסיבוב הראשון ניסה חמישה שינויים בודדים על גבי Block AttnRes, כל אחד מהם נשא היפותזה כתובה הניתנת להפרכה. אף אחד מהם לא חצה את קו ה-−0.0010 בעדכון 2,000. Full AttnRes הגיע הקרוב ביותר עם −0.0008; Canon בעמדות A ו-C הגיע ל-−0.0006. וריאנט של קשב עם שער הוביל את כל התחום בעדכון 512 עם −0.0027 וסיים מאחור ב-+0.0006 — הדוח מכנה זאת כפי שהיה, תעתוע, ואותו דפוס חוזר על עצמו.

הסיבוב השני שילב את הכמעט-פספוסים והוסיף שני וריאנטים מסוג mixture-of-experts בעומס חישובי מותאם. שלושה מועמדים עברו את הרף: Canon בכל ארבעת המיקומים (−0.0021, זמן צעד 1.47×), Full AttnRes בתוספת Canon-A/C (−0.0018, 1.30×), ו-Full AttnRes בתוספת השער (−0.0010, קצת מעל). השער כמעט ולא תרם בכל מקום שבו נוסף, בעוד ששני השינויים האחרים הורידו את dev BPB בכל אב שעליו נוסו. שני וריאנטי ה-MoE — כולל תצורת החישוב השווה שהסוכן דירג כגבוהה ביותר — סיימו במקום האחרון ובמקום הלפני אחרון.

והדירוג התהפך בחדות: ארבעת המועמדים המובילים בעדכון 512 סיימו בסדר הפוך בדיוק בעדכון 2,000.

בסיבוב השלישי החיפוש מצדיק את עצמו. במקום לסמוך שוב על הסדר של update-512, הוא המתין שהריצות של הסיבוב השני יגיעו ל-update 1,536. שני מועמדים חלקו אז את Canon-A/C כהורה שלהם, אחד עשה צעד לכיוון Full AttnRes ואחד הוסיף את מיקומי Canon B ו-D; שניהם היו נמוכים בכ-0.002 מאותו הורה משותף. עם תקציב למועמד אחד נוסף, הסוכן מיזג את השניים במקום להמתין עד תום כמה מאות העדכונים האחרונים. המודל הממוזג הגיע ל-dev BPB של 0.7965 — נמוך ב-0.0038 מ-Block AttnRes וראשון בכל החיפוש — בזמן צעד של פי 1.66.

סה״כ: 12 מועמדים, 3 סבבים, 550 שעות GPU של חיפוש.

הריצה האחרונה, וכמה מהיתרון שרד

ריצות קצרות רואות רק את החלק השטוח של לוח הזמנים של קצב הלמידה. האם יתרון מוקדם שורד את הדעיכה חייב להימדד, וזה החלק בדוח שראוי לתשומת הלב הרבה ביותר.

AttnRes-Canon הוסב לתוסף שיטה פורמלי ואומן מאפס במשך 49.152B טוקנים על 32 כרטיסי GPU מסוג H20, עם seed יחיד.

• CORE-22 — AttnRes-Canon 35.99 לעומת mHC 35.33 לעומת Block AttnRes 34.00 לעומת Dense Baseline 33.10

אימות BPB — AttnRes-Canon 0.6605 לעומת mHC 0.6617 לעומת Block AttnRes 0.6630 לעומת Dense Baseline 0.6672

• מיקום בלוח המובילים — ראשון מבין 38 תוצאות Arena v1 שפורסמו בשני המדדים, לפי הלוח של הארנה עצמה

• חישוב — 152 שעות GPU לחקירה, 550 לחיפוש, 1,433 להרצה הסופית, 2,135 בסך הכול

במקום הראשון בשני המדדים, והפער אינו עצום: 2.0 נקודות CORE לעומת השיטה שעליה נבנתה, 0.0025 BPB. שימושי יותר מנקודת הסיום הוא המסלול. הפער מול Block AttnRes היה 0.0037 בעדכון 2,000, התרחב ל-0.0058 בעוד שקצב הלמידה נותר קבוע, ואז הצטמצם ל-0.0024 עד הסוף — יותר ממחצית מהיתרון אבד בזנב. הדוח מצמיד לכך מקרה חיצוני: Dense Baseline עם השער שהוסף הוביל ב-0.0012 בעדכון 2,000, בנוחות מעבר לקו הניצחון של החיפוש הזה עצמו, וסיים 0.0002 מאחור. זהו הגבול הכנה של השיטה כולה, כפי שנאמר על ידי מי שהריצו אותה: יתרון מוקדם קונה לך השערה, לא תוצאה.

מה מאומת, ומה אתה מקבל מתוך אמון

רשומת הריצה גלויה באופן יוצא דופן לגבי מקורה, והגילוי לב הזה הוא הסיבה לסמוך על תיאור התהליך יותר מאשר על מספר הכותרת.

• שחזור בלתי תלוי — אין. ה־arena מתייגת את הרשומה כ„דיווח עצמי”, ובתחתית הכתוב נאמר „Arena v1 · single-seed results”

• זרעים — אחד. הדוח מונה "מעולם לא הורץ זרע שני" בין ארבעת הכשלים של הסוכן

• מעורבות אנושית — התוכנית, הכללים ותקציב ה-GPU של כל שלב אושרו על ידי המפעיל, אשר תפקידו המתועד קובע כי לא בחר אף מועמד ולא כתב קוד מתודה

• סקירה — הרשומה מפרטת מודל שני, GPT-6 Astra במאמץ חשיבה גבוה, הסוקר את קוד השלב השלישי ואת סקריפטי ההפעלה לפני כל משימת GPU, ולא בוחר ארכיטקטורות

• חומר שחזור — נתיב קוד ציבורי ברישיון MIT עבור השיטה, נקודת ביקורת ויומנים ב-Hugging Face, ועקבה שנועדה לשחזר כל הוראה ותוצאה; לנקודת הביקורת היו אפס הורדות כשזה נכתב

• אות בחירה — BPB של פיצול הפיתוח בלבד; הסוכן לא ראה את CORE-22 בעת הבחירה

הפריט האחרון חשוב יותר ממה שזה נראה. הסוכן יכול היה לקרוא את התוצאות המפורסמות של שיטות אחרות, אך בחר מועמדים באמצעות פיצול ה-dev בלבד — וזה ההבדל בין חיפוש לבין הצצה.

רשימת הכישלונות היא החצי השני של הערך. ארבעה ימים של הקשר, שנדחסו שבע פעמים, עם הערות מועמדים שנכתבו לקבצים כדי שאפשר יהיה לחדש את השרשור. הסוכן תכנן לקבל את החלטת הסיבוב השלישי שלו בעדכון 1,536, אך קבע תזכורות רק ב-512 וב-2,000, ולכן עצר בפער וחזר לפעול רק כשאדם דרבן אותו. הוא דירג Mixture-of-Experts בחישוב שווה כגבוה ביותר, ושתי הגרסאות סיימו במקום האחרון. הוא בלבל בין שונות בין ריצות לשונות בין זרעים. והוא מיטב את האיכות ללא מגבלה על מהירות, וכך מודל איטי פי 1.66 ניצח בתחרות עם תקציב חישוב שווה, על סמך איכות בלבד.

אף אחד מאלה אינו אקזוטי. אלה הם מצבי הכשל שכל מי שמריץ לולאת סוכנים ארוכה כבר מכיר: תוכנית בלי טיימר, פריאור שלא שורד מפגש עם המציאות, מודל שונות שאינו השונות שיש לך, ופונקציית מטרה שיש בה חור. מה שחדש הוא לראות אותם מפורטים בידי האנשים שצפו בהם מתרחשים, עם ה-trace ב-GitHub.

מה זה משנה למי שבוחר מודל

שום דבר על התעריפים, חלון ההקשר או הבנצ'מרקים של Claude Opus 5.5. השינוי השימושי צר ומעשי יותר: זו אחת ההדגמות הפומביות הראשונות הניתנות לשחזור לכך שמודל חזיתי לשימוש כללי, כשהוא מקבל מערך הערכה קבוע ואישור אנושי לתקציב, מסוגל להריץ חיפוש ניסיוני רב-סבבי ולהפיק משהו שצוות באמת יאמן.

לכך יש השלכה ספציפית על האופן שבו תשתמשו בו. אם אתם שוקלים לכוון סוכן לבעיית חיפוש משלכם, החלק הניתן להעברה בדוח הוא הפרוטוקול, לא הארכיטקטורה: כיילו את ה-proxy הזול שלכם מול תוצאות מלאות ידועות לפני שאתם מוציאים אפילו שעת GPU אחת, קבעו מראש רצפת רעש וסף זכייה מתוך ריצות חוזרות, שנו דבר אחד בכל מועמד ביחס להורה מוצהר, והחליטו על זכיות באופק שהוכחתם שהוא מנבא. ארבעת הכללים האלה עולים כ-7% מסך המחשוב כאן והם הסיבה ש-93% האחרים לא התבזבזו.

קשה יותר לפעול על בסיס התוצאה הארכיטקטונית. AttnRes-Canon היא שיטת מחקר, לא מודל שנמצא בשירות. היא קיימת בתור תוסף שיטה וצ'קפוינט של 49.152B טוקנים, עם זרע בודד, וכל מי שרוצה לבנות עליה מתחיל מניסיון שחזור. התייחסו לנתון CORE-22 כרמז ששווה זרע שני, ולא כתכונה מבוססת של שאריות קשב.

המקום שבו OrcaRouter משתלב הוא החלק בזרימת העבודה שמקיף את החיפוש ולא החיפוש עצמו. Claude Opus 5.5 נמצא בקטלוג שלנו במחיר המחירון המפורסם של Anthropic ומועבר הלאה עם 0% תוספת — $4.00 למיליון טוקני קלט, $20.00 למיליון טוקני פלט, $0.20 לקריאות מטמון, חלון הקשר של 1M טוקנים — והמודלים שלולאת חיפוש בדרך כלל מתפצלת ביניהם יושבים מאחורי אותו מפתח: Claude Fable 5.2 ב-$8.00/$40.00 מאז 9 בנובמבר, GPT-6 Astra ב-$10.00/$50.00 עד 272K טוקנים וב-$20.00/$75.00 מעל לכך, Claude Opus 5 ב-$5.00/$25.00. מפגש מחקר בן ארבעה ימים שמכווץ את ההקשר שלו שבע פעמים הוא שיחה ארוכה, יקרה ונוטה לכשלים; הרצה שלו מול נקודת קצה אחת עם מעבר אוטומטי לגיבוי פירושה שתקלה של ספק עולה ניסיון חוזר ולא לילה שלם, וה-DSL לניתוב מאפשר לך להציב מודל זול יותר על הניתוח השגרתי ולשמור את Claude Opus 5.5 להחלטות שקובעות את הסבב הבא.

מה לראות בהמשך

שלושה דברים יהפכו את זה מדיווח עצמי מעניין לתוצאה שאפשר לבנות עליה. זרע שני, שהדוח אומר שלא התרחש, ושהיה מלמד אותך אם 0.0025 BPB הוא אמיתי. הרצה חוזרת עם אילוץ מהירות, מפני שזמן צעד של 1.66× הוא שליש מהערך אם אכפת לך מתפוקה לכל שעת GPU ולא לכל טוקן. ו-Arena v2, שהמחברים אומרים שתרוץ בתוך מכולה אטומה עם הקצאת מחשוב קבועה, כך שהסוכן לא יוכל לראות כלל את ערכת האימות הפורמלית או את CORE-22 — זו הגרסה שבה "סוכן עשה את המחקר" מפסיק להזדקק לאדם בלופ כדי להיות אמין.

עד אז, הסיכום ההוגן הוא זה: סוכן שקיבל סרגל בנוי היטב מצא שיפור ארכיטקטוני אמיתי, צנוע, שניתן לשחזור באופן עקרוני, בתוך ארבעה ימים תמורת כ-2,100 שעות GPU, ורשם את כל מה שהוא עשה לא נכון בדרך. החלק האחרון הוא החלק שתחום בדרך כלל משמיט.