esp32-eye: מוניטור קערת המים לחתולים שקורא ל-MiniCPM-V 4.7 פעמיים

שני לוחות ESP32-S3, MacBook אחד, ושני גדלים שונים של MiniCPM-V 4.7 מתחזקים כעת יומן של איזו חתולה שתתה מקערת המים ומתי. לוח מצלמה צופה בקערה, MacBook מריץ את המודל הקטן באופן מקומי כדי לענות על שאלה צרה אחת, והמודל הגדול נקרא רק לאחר שאירוע כבר התרחש. הפרויקט נקרא esp32-eye, הוא נמצא ב-github.com/emwstudio/esp32-eye, והוא הפך לציבורי ב-25 באוקטובר 2026. OpenBMB הציגה אותו בשבוע הראשון של נובמבר, וכך רוב האנשים פגשו אותו.

המודל שמתחת הוא החלק שכדאי להיות מדויקים לגביו. OpenBMB העלתה את MiniCPM-V 4.7 ל-Hugging Face ב-6 וב-7 באוקטובר 2026, פרסמה את כרטיס המודל ואת רישיון Apache-2.0 ב-12 באוקטובר, והוציאה הודעה לעיתונות באנגלית דרך PR Newswire ב-15 באוקטובר. אז זה לא סיפור השקה, ומוניטור החתול אינו בנצ'מרק של ספק. זהו הפריסה הציבורית המפורטת ביותר של המודל שתועדה עד כה על ידי מישהו מחוץ למעבדה, והיא במקרה מכשיר ביתי.

מה שה-build עושה בפועל

החומרה במכוון זולה וקצת מגושמת. Waveshare ESP32-S3-CAM-OV5640 יושבת על שפת הקערה ומזרימה פריימים מסוג JPEG בגודל 1024×768 בתוספת אודיו מהמיקרופון דרך Wi-Fi. לוח שני, Waveshare ESP32-S3-Touch-AMOLED-2.16, הוא צג השולחן: פאנל בגודל 480×480 שמציג רצועת וידאו חיה, ארבעה כרטיסי חתולים, ספירה יומית מול יעד של שמונה שתיות, ואנימציית הדגשה קטנה כאשר חתול מאושר. ה-MacBook הוא המוח. שרת FastAPI מקבל את הזרם, מריץ את לוגיקת הזיהוי, כותב ל-SQLite, וחותך קליפ MP4 לכל אירוע עם חמש שניות של הקדמה, שלוש שניות של סיום, והאודיו המקורי.

מיקום המצלמה הוא הדבר הראשון שצריך להבין, כי הוא מסביר את כל תכנון הזיהוי. העדשה מביטה מלמטה אל פני החתול משפת הקערה, מה שאומר שפני המים אינם נמצאים בפריים. המערכת לא יכולה לראות חתול שותה. היא יכולה לראות רק חתול שנמצא באזור הקערה, ומסיקה את השאר מתוך המשכיות וזהות. כל מי שבנה פרויקט מצלמה יודע שזה המקום שבו היושר בדרך כלל עוזב את החדר; כאן זה כתוב ב-README.

צינור העיבוד לפני שכל מודל רץ הוא הפרש רקע בגווני אפור מול פריים ייחוס של קערה ריקה. אם שיעור החזית נמוך מ-15 אחוז, הפריים נזרק מבלי לגעת ברשת נוירונים. מעל 15 אחוז, המודל המקומי MiniCPM-V 4.7 1B נשאל שאלה אחת: האם יש חתול בתמונה הזו? תשובה חיובית בתוספת שיעור חזית מעל 35 אחוז הופכת להצבעה חיובית אחת. שלוש הצבעות חיוביות רצופות פותחות אירוע; ארבע הצבעות שליליות רצופות סוגרות אותו.

החלוקה לשני מודלים היא ההיבט ההנדסי המעניין

הרצת מודל ראייה בכל 1.5 שניות לנצח היא רעיון גרוע, והבנייה מתייחסת אליה ככזו. מודל ה-1B רץ מקומית דרך llama.cpp כקוונטיזציה Q4_K_M על גבי llama-server תואם OpenAI בפורט 8080. הוא זול מספיק כדי שהפרויקט יוכל להרשות לעצמו לקרוא לו שוב ושוב, אך הוא עדיין מותנה בהפרש הרקע כך שחדר ריק אינו עולה דבר. תפקידו של ה-1B צר במכוון: נוכחות, לא זהות, לא התנהגות.

הזהות היא השאלה היקרה, והיא נשאלת פעם אחת לכל אירוע. כשהאירוע נסגר, השרת דוגם פריימים מהקליפ ושולח אותם אל MiniCPM-V 4.7 35B-A3B דרך ה-API הענני של ModelBest, עם תמונת ייחוס לכל אחת מארבע החתולות. המודל הגדול מחזיר מזהה חתול, ערך ביטחון, ותשובת כן/לא לשאלה אם הסצנה היא סצנת שתייה. פריימים שנכשלים בבדיקת השתייה נזרקים ואינם נספרים. זהויות עמומות נשמרות כ"לא ידוע" במקום להיאלץ להתאים לחתול הקרוב ביותר, ואם הקריאה לענן נכשלת האירוע נכנס למסלול ניסיון חוזר במקום להתמלא בדיעבד בניחוש של מודל ה-1B.

חלוקת העבודה הזו היא אותו טיעון שהספרות העוסקת בעיבוד על-המכשיר מעלה כבר שנתיים, וכעת יש לו קבלה. מודל קטן הוא חיישן. מודל גדול הוא שופט. מודל העלות נובע ישירות: עבור ה-1B משלמים במילישניות ובסוללה, עבור ה-35B משלמים בטוקנים, וחשבון הטוקנים משתנה עם מספר אירועי השתייה ולא עם מספר הפריימים. במשק בית עם ארבע חתולים מדובר במספר קטן של קריאות ביום.

מה 89 האירועים מוכיחים ומה אינם מוכיחים

הפוסט של OpenBMB מדווח כי במשק בית עם ארבעה חתולים, לאורך שלושה ימים, נבדקו ידנית 89 אירועי שתייה וזהות כל חתול הייתה נכונה. זו תוצאה אמיתית, והיא גם צרה. משימת הזיהוי היא בחירה סגורה בין ארבע אפשרויות מבין חתולים שלמערכת כבר יש תמונות ייחוס עבורם. זה אינו זיהוי מחדש בקבוצה פתוחה, זו אינה טענה לגבי מאה חתולים, וזו אינה טענה שהמערכת עובדת בבית שהיא מעולם לא ראתה.

שמונים ותשעה אירועים על פני שלושה ימים הם בערך שלושים ביום עבור ארבעה חתולים, או כשבעה וחצי לחתול ביום, שזה סביר למחקר של צריכת מים וקטן מדי מכדי להעריך שיעור שגיאה ברמת ביטחון כלשהי. מערכת שצודקת 89 פעמים מתוך 89 עדיין עלולה לטעות פעם אחת מכל חמישים. המספר שצריך להיאחז בו אינו 100 אחוז; הוא העובדה שאיש לא נאלץ לתקן אותה במשך שלושה ימים של שימוש רגיל.

יש גם הסתייגות בנוגע למקור. המחבר הוא שגריר קהילת OpenBMB והתצוגה הופעלה בחשבון של OpenBMB עצמה. זה לא הופך את התוצאה לשקרית, אבל זה כן אומר שהאימות לא תוכנן בידי ספקן, ואף צד שלישי לא חזר עליו.

למה ה-1B לא מזהה את החתול

קובץ ה-README מכיל את המשפט השימושי ביותר בכל הפרויקט, והוא תוצאה שלילית: עם שלושה חתולים בהירים שדומים זה לזה, ה-MiniCPM-V 4.7 1B המקומי לא היה אמין בבחירה של אחד מתוך ארבעה. הצוות ניסה זאת, מצא שההבחנה בין ארבעה אינה אמינה, והעביר את זיהוי הזהות ל-35B במקום לשלוח ניחוש.

שווה להתעכב על זה, משום שזה מנוגד לאופן שבו מוכרים בדרך כלל מודלי ראייה קטנים. מודל עם 1.55 מיליארד פרמטרים שמקבל ציון טוב במבחני OCR ותרשימים לא בהכרח טוב בהבחנה בין שני בעלי חיים דומים בתצוגת מצלמה קבועה. זיהוי זהות עדין הוא בדיוק סוג המשימה שבו תקציב טוקנים חזותיים דחוס פוגע: ההבדלים בין שני חתולי טאבי קטנים, מקומיים, וקלים להיטשטש במיצוע. התשובה של הבילד — להשתמש במודל הקטן לשאלה הקלה ולשלם על הקשה — מועילה יותר מכל שורה בטבלת המובילים.

כמה זה עולה להפעיל, ומה קורה כשחלק הענן נכשל

רק לרגל אחת של הצינור הזה יש חשבון. ה-1B הוא קובץ GGUF מקומי על מחשב נייד, ולכן העלות השולית של פריים היא חשמל. ה-35B הוא קריאה מתארחת מול ה-API של ModelBest, שהוא נקודת הקצה של הספק עצמו ולא מארח צד שלישי, והפרויקט זקוק למפתח עבורו. ה-README מציין במפורש שה-35B אינו פרוס מקומית: ה-MacBook אינו מחזיק 35 מיליארד פרמטרים, אלא לקוח.

הפיצול הזה יוצר מצב כשל שהפרויקט מטפל בו במקום להסתיר אותו. אם הקריאה לענן נכשלת, האירוע נשלח שוב לניסיון; תוצאת ה-1B לעולם אינה מקודמת לזהות. לפרויקט תחביב זה ממושמע באופן יוצא דופן. עבור משהו בעל אופי פרודקשן, אותו עיצוב מציב נקודת קצה חיצונית יחידה על הנתיב הקריטי של מערכת שכל מטרתה היא לתעד אירועים ללא השגחה.

זהו הפער שנתב ממלא, וכדאי להיות מדויקים לגבי מה שנתב יכול ולא יכול לעשות כאן. OrcaRouter מספק API אחד עבור יותר מ-200 מודלים כאשר מחיר המחירון של הספק מועבר עם 0% תוספת מחיר, בנוסף למעבר אוטומטי לגיבוי בין ספקים במעלה הזרם, שזו הצורה הנכונה עבור פייפליין כמו זה. נכון לעכשיו הוא אינו תומך ב-MiniCPM-V 4.7, כך שהחלק של 35B ב-esp32-eye עדיין ירוץ על ה-API של הספק עצמו. הגרסה הכנה של העצה היא: השאירו את מסלול הניסיון החוזר, ואם שלב הזהות הופך לקריטי, הציבו מאחורי אותה קריאה מודל שני שאתם באמת יכולים להגיע אליו.

מה עדיין לא אושר?

שלושה דברים ישנו את מידת המשקל שראוי לתת לבנייה הזו. הראשון הוא משק בית שני. כל מה שדווח עד כה מגיע מבית אחד עם ארבעה חתולים ידועים ומצלמה קבועה. השני הוא הרצה ארוכה יותר: שלושה ימים אינם יכולים להבחין בין מערכת שעובדת לבין מערכת שעובדת עד שחתול מחליף את פרוותו, האור משתנה, או מגיע אורח. השלישי הוא בדיקה בלתי תלויה של 89 האירועים, שנשענת כיום על סקירה ידנית של הבונה עצמו.

מה שכבר מבוסס הוא צנוע יותר ושימושי יותר. MiniCPM-V 4.7 קיים בשני גדלים שאפשר להרכיב: מודל צפוף בן 1.55B שרץ בקובץ Q4_K_M על מחשב נייד, ותערובת מומחים דלילה בת 35.2B שמפעילה כ-3 מיליארד פרמטרים לכל טוקן וטובה מספיק במשימת זיהוי בארבע דרכים כדי לסמוך עליה בה. קערת חתול היא מקום מוזר להוכיח זאת, אבל היא מקום אמיתי.

אם ברצונך לשחזר זאת, במאגר יש את קושחת המצלמה, קושחת AMOLED, שרת FastAPI וסקריפטי בדיקה למודל, והחשבון היחיד שתצטרך הוא מפתח ModelBest עבור חלק הזהות. אם ברצונך לקרוא את המודל במקום להריץ את החתול, המספרים של הספק הם נקודת ההתחלה, וההסתייגויות נמצאות במאגר.