구독 결제 버튼을 누르기 전에 5.2GB짜리 파일 하나만 확인해보시기 바랍니다. 게임용으로 쓰던 RTX 4060 8GB에 그 파일을 올려 회의 공지 요약과 사과 메일 초안을 시켜봤더니 답이 5초 안팎에 나왔고, 로컬에서 실행하는 동안 든 요금은 0원이었습니다.
제가 직접 세 가지 과제를 던져본 결론부터 말씀드립니다. 요약과 메일 초안은 고칠 곳이 거의 없었고, 엑셀 사용법처럼 정확한 사실을 묻는 질문은 아직 믿기 어려웠습니다. Ollama로 실행한 모델이 엑셀에 존재하지 않는 메뉴 이름을 답으로 내놓았기 때문입니다. 제 PC에서 로컬 AI는 AI 유료 구독의 자리를 뺏는 도구가 아니라, 그 옆에서 잡일을 받아가는 도구였습니다.
로컬 LLM을 직접 실행한 이유
궁금했던 것은 두 가지였습니다. 첫째, 8GB짜리 게임용 그래픽카드로 쓸 만한 답이 나오는가. 둘째, 그 답이 실제 업무 문장으로 바로 넘어갈 수준인가.
로컬 LLM 벤치마크 자료는 이미 많습니다. 다만 대부분 고성능 워크스테이션 기준이라 제 조합에 그대로 적용하기 어려웠습니다. 그래서 남의 수치를 옮기는 대신 제 PC에 모델을 설치하고 같은 프롬프트를 두 번씩 실행해 시간을 기록했습니다.
준비물은 이 정도입니다
제 PC 구성과 공식 문서가 요구하는 조건을 함께 정리했습니다.
| 항목 | 제 PC | 공식 문서 기준 |
|---|---|---|
| CPU | AMD Ryzen 5 9600X | 별도 명시 없음 |
| RAM | 31.6GB | 최소 수치 명시 없음 |
| 그래픽카드 | RTX 4060 8GB (드라이버 591.86) | NVIDIA 드라이버 551.61 이상 |
| 운영체제 | Windows 11 | Windows 10 이상 |
| 실행 프로그램 | Ollama 0.33.3 (실측 당시 설치 버전) | 로컬 실행에 요금 없음, MIT 오픈소스 |
| 디스크 | 프로그램 4GB 이상 + 모델 용량 별도 | 동일 |
| 모델 | qwen3:8b 5.2GB | 8.19B 파라미터, Q4_K_M, Apache 2.0 |
목록에서 유일하게 마음에 걸린 항목은 그래픽카드였습니다. 8GB 메모리에 5.2GB 모델을 올리면 여유가 3GB도 남지 않기 때문입니다. Ollama 공식 문서는 최소 RAM 수치를 따로 밝히지 않고 있어서, 이 부분은 직접 실행해보는 것 외에 확인할 방법이 없었습니다.
프로그램 설치 과정은 이번 측정 대상이 아닙니다. 터미널 명령이 낯설다면, 클로드코드를 앱과 CLI 중 무엇으로 시작할지 정리한 글에서 설명한 것과 같은 방식으로 명령 두 줄만 따라 하시면 됩니다. 검은 화면 자체가 부담스럽다면 VS Code 안에서 명령을 쓰는 방법을 먼저 보셔도 됩니다.
설치부터 첫 답변까지
Ollama가 이미 설치된 PC라 모델을 받아 첫 답변이 나오기까지만 적겠습니다.
입력한 명령은 두 줄이 전부였습니다.
ollama pull qwen3:8b
ollama run qwen3:8b
첫 줄이 모델을 받는 명령입니다. qwen3:8b는 5.2GB 파일입니다. 다운로드 로그의 시작·종료 시각으로 잰 소요 시간은 98초, 1분 38초였습니다.
둘째 줄을 실행하면 바로 질문을 입력할 수 있는 상태가 됩니다. 첫 질문만 모델을 메모리에 올리는 시간이 더해져 약 10초가 걸렸고, 그 뒤로는 로딩 시간이 0초로 잡혀 바로 답이 돌아왔습니다.
모델이 올라간 상태에서 ollama ps로 확인하니 5.6GB를 차지하면서 “100% GPU”로 표시됐습니다. RTX 4060 8GB 한 장에 모델 전체가 올라갔다는 뜻입니다. 같은 시각 그래픽카드 전체 사용량은 8,188MiB 중 7,327MiB였는데, 모델 혼자 쓴 값은 아닙니다. LM Studio와 크롬을 실행해 둔 상태에서 측정했기 때문입니다.
실측 속도
한국어 질문 세 가지를 던져 시간을 잰 결과입니다.
| 과제 | 응답 시간 | 생성 속도 | 출력 토큰 |
|---|---|---|---|
| 회의 공지 요약 | 5.3초 | 20.0 tok/s | 61 |
| 엑셀 질문 | 4.5초 | 15.9 tok/s | 38 |
| 사과 메일 초안 | 6.0초 | 24.2 tok/s | 96 |
| 긴 안내문 작성 | 13.2초 | 44.2 tok/s | 485 |
측정 조건은 이렇습니다. 생각 과정을 출력하는 기능을 끄고 같은 질문을 두 번씩 실행했으며, 표의 값은 2회차 기준입니다. 맨 아래 긴 안내문은 다른 실측과 겹치지 않도록 단독으로 한 번만 측정한 값입니다.
짧은 과제의 tok/s가 낮은 이유는 따로 있습니다. 답변이 38~96토큰으로 짧으면 준비 동작이 차지하는 비중이 커져 속도가 낮게 계산됩니다. 체감은 세 과제 모두 5초 안팎이었습니다. 485토큰짜리 긴 답변 한 번을 기준으로 하면 44.2 tok/s가 나왔고, 읽는 속도보다 빠르게 채워지는 정도로 보시면 됩니다.
표의 값은 모두 앞서 말씀드린 일상 사용 상태에서 나왔습니다. 단독 환경이라면 조금 더 나을 수 있지만, 실제 사용 조건을 그대로 남겼습니다.
답변 품질 실측, 세 가지 과제
속도보다 궁금했던 것은 답이 쓸 만한가였습니다. 제가 직접 요약·메일·엑셀 세 가지를 같은 조건으로 물어보고 답변 원문을 그대로 남겼습니다.
요약은 사실을 하나도 흘리지 않았습니다. 워크숍 안내 문장 하나를 한 줄로 줄여 달라고 요청했더니 날짜, 시각, 장소, 통보 기한, 담당 부서를 모두 담아 돌려줬습니다. 없는 내용을 덧붙이지도 않았습니다.
다만 압축은 약했습니다. 원문과 답변의 길이 차이가 거의 없어서, 긴 회의록을 절반으로 줄이는 용도라면 몇 줄로 줄일지를 직접 지시해야 했습니다.
메일은 곧바로 복사해도 될 수준이었습니다. 납품이 3일 늦어진다는 사실을 알리는 정중한 메일을 다섯 문장으로 써 달라고 했더니 정확히 다섯 문장이 나왔습니다. 지연 통보, 사과, 조율 상황, 문의 안내까지 순서가 자연스러웠습니다.
다만 수신처는 [거래처 이름]이라는 자리표시자로 남았고, 새 납품일과 지연 원인은 비어 있었습니다. 그대로 보낼 완성본은 아니고, 몇 분을 아껴 주는 초안입니다.
엑셀에서는 없는 메뉴를 지어냈습니다. A열 이름의 앞뒤 공백을 한 번에 제거하는 방법을 물었더니 ‘데이터’ 탭에서 ‘문자열에서 오류 제거’를 거쳐 ‘공백 제거’를 선택하라고 답했습니다. 저 메뉴 이름은 엑셀에 없습니다.
같은 질문을 앞서 한 번 더 했을 때도 ‘텍스트를 다른 텍스트로 바꾸기’라는, 역시 존재하지 않는 이름을 댔습니다. 두 번 물어 두 번 다 틀린 셈입니다. 가장 기본적인 정답은 =TRIM(A1) 함수입니다. 문장이 매끄러워서, 엑셀을 잘 모르는 사람이라면 그대로 따라 하다가 없는 메뉴를 찾느라 시간을 버릴 만했습니다.
로컬 LLM이 맞는 일, 안 맞는 일
세 과제를 물어본 결과로 저는 이 모델의 쓰임을 이렇게 나눴습니다.
| 맞는 일 | 안 맞는 일 |
|---|---|
| 이미 손에 있는 문서를 요약·정리 | 함수나 메뉴 이름처럼 정확해야 하는 사실 확인 |
| 메일·공지의 첫 초안 잡기 | 최신 정보(이 방식으로 실행한 모델은 웹 검색을 하지 않습니다) |
| 외부 서버에 올리기 조심스러운 사내 문서 | 출처를 인용해야 하는 보고서 |
정답이 이미 제 손안에 있으면 맡기고, 답 자체를 모델에게 물어야 하면 맡기지 않습니다. 요약과 메일은 원문과 상황을 제가 쥐고 있으니 틀리면 바로 보입니다. 엑셀 질문은 제가 답을 몰라서 물은 것이라, 틀린 답을 걸러낼 방법이 없었습니다.
월 0원 보조 도구로는 충분했습니다
8B 크기 모델 하나를 직접 실행해 본 결과라 로컬 LLM 전체를 평가할 수는 없습니다. 다만 이 사양에서 제가 확인한 범위는 분명합니다.
유료 구독을 해지할 이유는 되지 못하지만, 하루에 몇 번씩 반복하는 요약과 초안 작성을 로컬로 넘기고 판단이 필요한 일만 유료 모델에 맡기는 분담은 가능했습니다. 로컬 실행에는 요금이 붙지 않으니 그만큼은 그대로 남는 셈입니다. 구독을 어디까지 유지할지 재고 계신다면 AI 유료 구독 비교 글과 나란히 놓고 보시면 계산이 빨라집니다.
