35B 모델이 메모리 3GB로 실행된다는 MiniCPM-V 4.7의 발표는 아이폰 17 프로 맥스에서 개발진이 보고한 수치입니다. 올라마에서 받는 같은 계열 모델은 내려받기만 22GB입니다. 이 차이를 알고 나서, 작은 실험 노트 앱을 MiniCPM과 Qwen에 똑같이 맡겨 무엇이 완성되고 무엇이 막히는지 확인했습니다.
3GB는 어떤 조건의 숫자인가
MiniCPM-V는 칭화대 자연어처리 연구실 THUNLP와 모델베스트(ModelBest)가 만든 멀티모달 모델 시리즈입니다. OpenBMB 공식 저장소에 개발 주체가 적혀 있고 코드와 가중치는 Apache-2.0으로 공개됩니다. 4.7 버전의 35B-A3B는 시리즈 최초의 MoE(전문가 혼합) 모델입니다. 35B는 전체 파라미터이고, A3B는 토큰 하나를 계산할 때 쓰는 파라미터가 약 30억 개라는 뜻입니다. 계산에 쓰는 양은 작아도 어떤 전문가가 선택될지 미리 알 수 없으므로 가중치 전체는 어딘가에 저장해 두어야 합니다.
개발진은 모델 페이지에서 아이폰 17 프로 맥스에서 메모리 3GB로 초당 13토큰 이상을 냈다고 밝힙니다. 이 수치에는 전문가를 미리 불러오는 LES, 층별 양자화, 추측 샘플링 같은 최적화가 함께 적용됐습니다. 따라서 3GB는 휴대폰 전체 RAM이 3GB라는 뜻이 아니라, 모델이 쓰는 메모리 수치입니다.
기기 전체에 필요한 용량은 따로 안내됩니다. MiniCPM-V-Apps 저장소의 모바일 35B 배포본은 전체 약 16.6GB이고, 빠른 내부 저장 공간 약 17GB와 기기 RAM 12GB 이상을 권장합니다. 12GB는 권장 사양이며 최소 조건으로 단정할 수 없습니다. 3GB는 개발진 보고치이며 제가 재현한 값이 아닙니다. 이번 서버 기록에도 실행 전 구간의 최대 RAM·VRAM 측정값은 없습니다.
어디서 받고 얼마나 내려받나
출처마다 역할이 다릅니다.
| 구분 | 용도 |
|---|---|
| 깃허브 저장소 | 코드, 문서, 설치 안내 |
| 허깅페이스 모델 페이지 | 모델 가중치와 모델 카드 |
| 올라마 페이지 | 양자화한 모델 내려받기와 실행 명령 |
올라마의 35b-a3b 태그(Q4_K_M)는 22GB, Q8_0은 38GB, F16은 70GB이며 기본 태그 latest는 22GB입니다. 2026년 10월 18일 확인 기준입니다. 이 숫자는 내려받는 파일 크기이고, 실행 중 RAM과 VRAM은 컨텍스트 길이와 런타임에 따라 달라집니다. 아이폰의 3GB를 이 경로에 그대로 적용할 수 없는 이유입니다. 공식 실행 명령은 한 줄입니다.
ollama run openbmb/minicpm-v4.7:35b-a3b
설치 없이 체험하는 경로는 공식 저장소가 연결한 웹 데모입니다. 이쪽은 외부 서버에서 실행됩니다. 모바일 앱 저장소에는 iOS·안드로이드·하모니OS용 실행 경로도 안내돼 있습니다.
같은 앱을 같은 조건으로 맡겼습니다
만들게 한 앱은 FIELDNOTE라는 한국어 오프라인 AI 실험 노트입니다. 기록 생성·수정·삭제, 즐겨찾기, 검색, 모델별 필터와 정렬, 모델별 평균 차트를 요구했고 서버나 로그인은 없는 정적 앱입니다. 처음 단순한 할 일 앱으로 시험했을 때 기대한 결과와 거리가 있어, 디자인과 동작을 함께 요구하는 쪽으로 과제를 바꿨습니다. 앱 안의 시작 기록 8개와 속도 숫자는 모두 가상 데이터이며 두 모델의 실제 측정값이 아닙니다.
| 항목 | 조건 |
|---|---|
| 추론 장비 | T630, TITAN Xp 4장, Ollama 0.40.6 |
| MiniCPM 모델 | minicpm-v4.7:35b-a3b-256k |
| Qwen 모델 | huihui_ai/Qwen3.8-abliterated:27b-q4_K_M |
| 최초 입력 | 같은 요구서와 같은 시작 데이터 |
| 최초 제작 한도 | 모델당 900초, 40단계 |
| 코드 작성 | 각 모델이 작성. 진행자는 요구와 피드백, 검사 도구만 작성 |
Qwen은 공식 원본과 다른 커뮤니티 변형을 사용했습니다. 모델 추론은 T630에서, 파일 작업과 브라우저 검사는 별도 PC의 OpenCode와 Aside에서 진행했습니다. 위 올라마 공식 배포 명령과 실험용 모델 태그도 구분해야 합니다.
처음 결과는 둘 다 쓸 수 없었습니다
MiniCPM은 404.188초 만에 앱 파일을 만들었지만 브라우저에서 첫 화면부터 문제가 있었습니다. 숨겨져야 할 편집 창과 상세 패널이 떠 있었습니다. 코드가 숨김 속성을 지정해도 CSS의 표시 규칙이 그것을 덮었기 때문입니다. 문법 검사는 통과해도 쓸 수 없는 상태였습니다.
Qwen은 452.953초 뒤 정상 종료 코드로 끝났지만 앱 파일이 하나도 없었습니다. 내부 계획 텍스트가 출력 한도를 소진한 결과였습니다. 이후 세 번을 더 시도했습니다. 두 번은 제한 시간에 걸려 HTML만 남았고, 출력 단위를 줄인 네 번째도 CSS와 JavaScript를 쓰지 못했습니다. 네 번의 에이전트 시도에서 Qwen은 앱을 완성하지 못했습니다. 정상 종료 코드가 제품 완성을 뜻하지 않는다는 점이 이 단계에서 드러났습니다.
고친 과정은 모두 도움받은 제작입니다
두 앱 모두 최종 화면까지 가는 데 진행자의 개입이 있었습니다. MiniCPM은 최초 제작을 포함해 에이전트 실행 일곱 차례를 거쳤고, 마지막 모바일 배치는 같은 모델의 API 수정안을 진행자가 적용했습니다. 숨김 오류 수정, 키보드 이동, 숫자 입력 오류, 최근 실험 표시, 읽기 대비, 모바일 배치 순으로 문제가 이어졌습니다. 이 가운데 한 번은 제한 시간에 걸렸고 모바일 배치 오류가 새로 생겼습니다.
Qwen은 에이전트 방식이 막힌 뒤 같은 모델을 Ollama API로 호출해 CSS와 JavaScript를 한 파일씩 받았습니다. 진행자가 응답을 파일로 저장하는 구조라서 자율 성공으로 세지 않습니다. 이렇게 만든 코드에는 오류가 남아 있었습니다. el.featured-body가 속성 접근과 뺄셈으로 해석돼 실행 중에 실패했습니다. 문법 검사만으로는 잡히지 않았고, 같은 Qwen의 문자열 교체 응답으로 고쳤습니다.
실제 조작 검사에서 잡힌 문제는 이렇습니다.
- 숫자 칸에
e만 남기면 값이 빈 문자열로 저장됐습니다. - 편집 창을 열고 상세 패널을 닫으면 초점이 바깥으로 이동했습니다.
- 버튼 색을 어둡게 바꾸자 사이드바의 활성 메뉴 글자 대비가 떨어졌습니다.
- 최근 실험 제목이 마우스 클릭만 받는 요소여서 키보드로 열 수 없었습니다.
최종 상태에서 두 앱은 생성·수정·즐겨찾기·새로고침 뒤 보존, 검색과 필터 조합, 속도순 정렬, 모델별 평균, 삭제 취소와 확정을 거쳤습니다. 1440px 화면에서 가로 넘침이 없었고 390px 화면의 문서 폭은 두 앱 모두 375px였습니다. 이 검사는 설치 담당 쪽 실행 로그에 기록된 결과를 바탕으로 합니다. 390px 검사는 좁은 브라우저 화면을 흉내 낸 것이며 실제 휴대폰 실험이 아닙니다.
삭제 취소·확정은 가상 기록에서 확인 함수의 반환값을 바꿔 검사했으며, OS 확인창을 직접 누른 검사는 아닙니다.
이 결과로 판단할 수 있는 것
판단할 수 있는 범위는 좁습니다. 같은 요구서로 처음 한 번 시켰을 때 두 모델 모두 바로 쓸 수 있는 앱을 내놓지 못했습니다. MiniCPM은 파일을 만들고 피드백을 받아 고쳐 나갔고, Qwen은 이 환경의 에이전트 방식으로는 완성하지 못했습니다. 그렇다고 모델 우열을 가릴 수는 없습니다. 도구 연결, 출력 한도, 제한 시간이 결과에 섞여 있어 속도 비교로도 쓸 수 없습니다. 제가 직접 쓴 휴대폰 실험이나 OCR, 요약, 최대 메모리 측정은 이 글에 없습니다.
작은 앱을 로컬 모델에 맡기려는 경우에는 완료 기준을 먼저 정하는 것이 도움이 됩니다.
- 첫 화면에서 숨겨야 할 창이 숨겨지는지 확인합니다.
- 생성·수정·삭제 뒤 새로고침해도 기록이 남는지 확인합니다.
- 잘못된 입력을 거부하고 입력값을 보존하는지 확인합니다.
- 마우스 없이 키보드로 주요 기능에 닿는지 확인합니다.
- 좁은 화면에서 가로로 넘치지 않는지 확인합니다.
종료 코드나 문법 검사로는 이 다섯 가지가 확인되지 않았습니다. 브라우저에서 직접 조작해야 드러났습니다.
완성된 앱에도 한계가 있습니다. 데이터는 현재 브라우저의 localStorage에만 저장되므로 주소나 브라우저를 바꾸면 기록이 보이지 않습니다. 내보내기와 동기화 기능이 없어 다른 기기로 옮기거나 백업할 수 없습니다. 개인 기록을 장기간 쌓는 용도로는 부족하고, 로컬 모델이 만든 결과물의 품질을 확인하는 연습용 앱 정도로 쓸 만합니다.
3GB 발표는 특정 기기와 최적화 조건의 수치이고, 앱 제작은 모델 단독이 아니라 도구와 확인 절차가 함께 만든 결과입니다. 둘 다 조건을 붙여서 읽어야 판단이 어긋나지 않습니다.
로컬에서 AI를 돌려 본 기록이 궁금하다면 RTX 4060 로컬 AI 실행기를 참고할 수 있습니다. AI가 낸 결과를 원문과 대조하는 방법은 세 모델 검수 결과 비교와 AI 7명 작업 기록에 정리해 두었습니다.
