esp32-eye: MiniCPM-V 4.7을 두 번 호출하는 고양이 물그릇 모니터

ESP32-S3 보드 두 대, MacBook 한 대, 그리고 서로 다른 크기의 MiniCPM-V 4.7 두 가지가 이제 어떤 고양이가 언제 물그릇에서 물을 마셨는지 기록한다. 카메라 보드는 물그릇을 지켜보고, MacBook은 좁은 질문 하나에 답하기 위해 소형 모델을 로컬에서 실행하며, 대형 모델은 이미 이벤트가 발생한 뒤에만 호출된다. 이 빌드는 esp32-eye라고 하며, github.com/emwstudio/esp32-eye에 있고, 2026년 10월 25일에 공개되었다. OpenBMB가 11월 첫째 주에 이를 선보였으며, 대부분의 사람들은 이렇게 해서 이 프로젝트를 처음 알게 되었다.

그 밑에 있는 모델이 정확히 짚고 넘어갈 만한 부분이다. OpenBMB는 2026년 10월 6일과 7일에 MiniCPM-V 4.7을 Hugging Face에 업로드했고, 10월 12일에는 모델 카드와 Apache-2.0 라이선스를 공개했으며, 10월 15일에는 PR Newswire를 통해 영어 보도자료를 냈다. 따라서 이것은 출시 기사가 아니며, 고양이 모니터는 벤더 벤치마크가 아니다. 이는 지금까지 연구소 밖의 누군가가 문서화한 이 모델의 가장 상세한 공개 배포 사례이며, 공교롭게도 가전제품이다.

빌드가 실제로 하는 일

하드웨어는 의도적으로 저렴하고 약간 어색합니다. Waveshare ESP32-S3-CAM-OV5640이 그릇 테두리에 놓여 Wi-Fi를 통해 1024×768 JPEG 프레임과 마이크 오디오를 스트리밍합니다. 두 번째 보드인 Waveshare ESP32-S3-Touch-AMOLED-2.16은 책상 디스플레이입니다: 480×480 패널로 라이브 비디오 스트립, 네 개의 고양이 카드, 8잔 목표 대비 일일 카운트, 그리고 고양이가 확인될 때 작은 하이라이트 애니메이션을 표시합니다. MacBook은 두뇌입니다. FastAPI 서버가 스트림을 받아 감지 로직을 실행하고, SQLite에 기록하며, 각 이벤트에 대해 5초의 리드인, 3초의 테일, 원본 오디오가 포함된 MP4 클립을 잘라냅니다.

카메라 배치는 가장 먼저 이해해야 할 부분입니다. 왜냐하면 그것이 탐지 설계 전체를 설명해 주기 때문입니다. 렌즈는 그릇 가장자리에서 위를 향해 고양이의 얼굴을 바라보므로, 수면은 화면에 들어오지 않습니다. 시스템은 고양이가 물을 마시는 모습을 볼 수 없습니다. 고양이가 그릇 주변 영역을 점유하고 있는 것만 볼 수 있으며, 나머지는 지속성과 정체성으로부터 추론합니다. 카메라 프로젝트를 만들어 본 사람이라면 이 지점에서 보통 정직함이 슬그머니 빠져나간다는 것을 압니다. 여기서는 그것이 README에 적혀 있습니다.

어떤 모델이 실행되기 전 파이프라인 단계는 빈 그릇 참조 프레임과의 그레이스케일 배경 차분입니다. 전경 비율이 15퍼센트 미만이면 해당 프레임은 신경망을 전혀 거치지 않고 폐기됩니다. 15퍼센트를 초과하면 로컬 MiniCPM-V 4.7 1B에 한 가지 질문을 합니다: 이 이미지에 고양이가 있습니까? 긍정 답변과 35퍼센트를 초과하는 전경 비율이 결합되면 하나의 찬성 투표가 됩니다. 연속된 찬성 투표 세 번이 이벤트를 열고, 연속된 반대 투표 네 번이 이벤트를 닫습니다.

두 모델 분할이 흥미로운 엔지니어링이다

비전 모델을 1.5초마다 영원히 실행하는 것은 좋지 않은 생각이며, 빌드도 이를 그렇게 취급한다. 1B는 8080 포트의 OpenAI 호환 llama-server에서 Q4_K_M 양자화로 llama.cpp를 통해 로컬에서 실행된다. 반복 호출이 가능할 만큼 비용이 저렴하지만, 빈 방에서는 비용이 들지 않도록 여전히 백그라운드 차이에 의해 제어된다. 1B의 역할은 의도적으로 좁다. 정체성도 행동도 아닌, 존재 여부만 본다.

정체성은 비용이 많이 드는 질문이며, 이벤트마다 한 번씩 질문됩니다. 이벤트가 종료되면 서버는 클립에서 프레임을 샘플링해 네 마리 고양이 각각의 참조 사진과 함께 ModelBest의 클라우드 API를 통해 MiniCPM-V 4.7 35B-A3B로 전송합니다. 대형 모델은 고양이 식별자, 신뢰도 값, 그리고 해당 장면이 물 마시는 장면인지 여부에 대한 예/아니요를 반환합니다. 물 마시는 장면 확인을 통과하지 못한 프레임은 버려지고 집계되지 않습니다. 모호한 정체성은 가장 가까운 고양이에 억지로 할당하지 않고 알 수 없음으로 저장되며, 클라우드 호출이 실패하면 이벤트는 1B의 추측으로 보충되지 않고 재시도 경로로 들어갑니다.

그 역할 분담은 온디바이스 문헌이 2년 동안 주장해 온 것과 같은 논리인데, 이제 영수증까지 붙었다. 작은 모델은 센서다. 큰 모델은 판정자다. 비용 모델은 바로 따라온다. 1B는 밀리초와 배터리로 지불하고, 35B는 토큰으로 지불하며, 토큰 청구서는 프레임 수가 아니라 물 마시는 이벤트 수에 비례한다. 고양이 네 마리가 사는 집이라면 하루에 몇 번의 호출에 불과하다.

89개 사건이 무엇을 입증하고 무엇을 입증하지 못하는지

OpenBMB의 게시물에 따르면, 고양이 네 마리가 사는 가정에서 사흘 동안 89건의 물 마시기 이벤트를 수동으로 확인했으며 모든 고양이의 신원이 정확했다. 이는 실제 결과이면서도 범위가 좁은 결과이기도 하다. 신원 식별 과제는 시스템이 이미 참조 사진을 보유한 고양이들 중에서 고르는 폐쇄형 4지 선택이다. 이는 개방형 재식별이 아니며, 고양이 100마리에 관한 주장도 아니고, 시스템이 한 번도 본 적 없는 집에서도 작동한다는 주장도 아니다.

3일 동안 89건은 고양이 네 마리 기준 하루 약 30건, 고양이 한 마리당 하루 약 7.5건인데, 이는 물 섭취 연구로서는 그럴듯하지만 오류율을 어느 정도 신뢰도로 추정하기에는 너무 적습니다. 89번 중 89번 맞는 시스템도 50번에 한 번은 틀릴 수 있습니다. 붙잡아야 할 숫자는 100퍼센트가 아니라, 평범한 사용 상황의 3일 동안 아무도 그것을 고칠 필요가 없었다는 사실입니다.

또한 {{1}}출처 관련 주의점{{/1}}이 있습니다. 저자는 OpenBMB 커뮤니티 앰배서더이며, 쇼케이스는 OpenBMB 자체 계정에서 진행되었습니다. 그렇다고 해서 결과가 거짓이 되는 것은 아니지만, 검증이 회의적인 사람에 의해 설계된 것이 아니며 제3자가 이를 재현하지 않았다는 뜻입니다.

왜 1B가 고양이를 식별하지 못하는가

README에는 프로젝트 전체에서 가장 유용한 문장이 담겨 있는데, 그것은 부정적인 결과다. 서로 비슷하게 생긴 밝은 색 고양이 세 마리를 두고, 로컬 MiniCPM-V 4.7 1B는 네 마리 중 하나를 고르는 데 신뢰할 만하지 못했다. 팀은 이를 시도해 보았고, 네 갈래 판별이 신뢰할 수 없다는 것을 확인한 뒤, 추측을 내놓기보다 신원 식별을 35B로 옮겼다.

이 점은 곱씹어 볼 가치가 있습니다. 소형 비전 모델이 일반적으로 판매되는 방식에 정면으로 어긋나기 때문입니다. OCR과 차트 벤치마크에서 좋은 점수를 받는 15억 5천만 개 매개변수 모델이라고 해서, 고정된 카메라 시야에서 비슷한 두 동물을 구분하는 일까지 자동으로 잘하는 것은 아닙니다. 세밀한 개체 식별은 압축된 시각 토큰 예산이 특히 손해를 끼치는 바로 그런 작업입니다. 두 태비 고양이의 차이는 작고 국소적이며 평균화되어 사라지기 쉽습니다. 이번 구현의 답, 즉 쉬운 질문에는 소형 모델을 쓰고 어려운 질문에는 비용을 지불하라는 답은 어떤 리더보드 행보다 더 유용합니다.

실행 비용과 클라우드 구간이 실패할 때 발생하는 일

이 파이프라인에서 비용이 청구되는 구간은 하나뿐이다. 1B는 노트북에 있는 로컬 GGUF 파일이므로 프레임 한 장의 한계 비용은 전기료다. 35B는 ModelBest의 API에 대한 호스팅 호출이며, 이는 제3자 호스트가 아니라 벤더 자체 엔드포인트이고, 프로젝트에는 이를 위한 키가 필요하다. README는 35B가 로컬에 배포되지 않는다고 명시한다: MacBook은 350억 개 매개변수를 보유하지 않고, 클라이언트를 보유한다.

그 분리는 프로젝트가 숨기지 않고 처리하는 실패 모드를 만들어 낸다. 클라우드 호출이 실패하면 이벤트는 재시도되며, 1B 결과는 결코 아이덴티티로 승격되지 않는다. 취미 프로젝트로서는 이례적으로 규율이 잡혀 있다. 프로덕션 형태의 무엇이든, 같은 설계는 무인으로 이벤트를 기록하는 것이 전체 목적인 시스템의 핵심 경로에 단일 외부 엔드포인트를 놓는다.

이것이 라우터가 메우는 격차이며, 라우터가 여기서 무엇을 할 수 있고 무엇을 할 수 없는지 정확히 짚고 넘어갈 가치가 있습니다. OrcaRouter는 200개 이상의 모델에 걸쳐 단일 API를 제공하며 공급자 목록 가격을 0% 마크업으로 그대로 전달하고, 업스트림 간 자동 페일오버까지 지원하는데, 이는 이와 같은 파이프라인에 딱 맞는 형태입니다. 다만 현재 MiniCPM-V 4.7을 지원하지 않으므로, esp32-eye의 35B 구간은 여전히 벤더 자체 API에서 실행될 것입니다. 솔직하게 말하자면 이렇습니다. 재시도 경로는 유지하고, 신원 확인 단계가 핵심 부하를 지게 된다면 실제로 접근 가능한 두 번째 모델을 같은 호출 뒤에 두십시오.

아직 확인되지 않은 것은 무엇인가?

이 빌드에 얼마나 무게를 둘지를 바꿀 세 가지가 있습니다. 첫째는 두 번째 가구입니다. 지금까지 보고된 모든 내용은 고양이 네 마리가 확인된 한 가정과 고정된 카메라에서 나온 것입니다. 둘째는 더 긴 실행입니다. 사흘로는 작동하는 시스템과, 고양이가 털 색을 바꾸거나 빛이 달라지거나 방문객이 오기 전까지만 작동하는 시스템을 구분할 수 없습니다. 셋째는 89건의 이벤트에 대한 독립적인 검증인데, 현재 이는 제작자 본인의 수동 검토에만 의존하고 있습니다.

이미 확립된 것은 더 소박하고 더 유용하다. MiniCPM-V 4.7은 조합할 수 있는 두 가지 크기로 존재한다. 노트북에서 Q4_K_M 파일로 실행되는 1.55B dense 모델과, 토큰당 약 30억 개의 파라미터를 활성화하며 4방향 동일성 작업에서 그것을 맡겨도 될 만큼 충분히 뛰어난 35.2B sparse mixture-of-experts가 그것이다. 고양이 밥그릇은 그것을 입증하기에 이상한 장소이지만, 실제 장소이기는 하다.

이것을 재현하려면 저장소에 카메라 펌웨어, AMOLED 펌웨어, FastAPI 서버, 모델 테스트 스크립트가 있으며, 필요한 유일한 계정은 신원 확인 단계용 ModelBest 키입니다. cat을 실행하는 대신 모델을 읽고 싶다면 공급업체의 수치에서 시작하는 것이 좋고, 주의사항은 저장소에 있습니다.