집에 있는 컴퓨터로 AI 모델 직접 돌리기

퇴근하고 집에 와서 문서 하나를 AI에 맡기려는데, 회사 이름과 고객 정보가 섞여 있어 입력창 앞에서 손이 멈춘 적이 있을 겁니다. 그럴 때 인터넷을 끊어도 작동하고 대화가 내 컴퓨터 밖으로 나가지 않는 AI가 있다면 꽤 쓸모 있겠죠. 요즘에는 게임용 PC나 애플 실리콘 맥으로도 이런 환경을 어렵지 않게 만들어 볼 만합니다.

다만 모델 이름 옆에 붙은 7B, 13B 같은 숫자부터 낯설고, RAM과 VRAM 중 무엇을 봐야 하는지도 헷갈립니다. 파일을 받았는데 메모리가 모자라 실행되지 않거나, 실행은 되지만 답변 한 줄에 한참이 걸리는 일도 생겨요. 이 글에서는 내 컴퓨터의 사양을 확인하는 순간부터 첫 모델과 프로그램을 고르고 실제 대화를 시작하는 데까지 한 흐름으로 이어가겠습니다.

여기서 다루는 것은 이미 학습된 언어 모델을 내려받아 답변을 생성하는 ‘추론’입니다. 수많은 문서로 모델을 처음부터 학습하거나 큰 모델을 본격적으로 미세 조정하는 일은 필요한 메모리와 계산량이 전혀 다릅니다. 일단 집에서 AI와 대화해 보고 싶은 분이라면 추론부터 시작하는 편이 맞습니다. 로컬 모델 자체의 흐름이 궁금하다면 어제 쓴 Meta Muse·Glimmer 로컬 AI 모델 이야기도 함께 참고해 보세요.

내 컴퓨터에서 먼저 확인할 세 가지 메모리

윈도우에서는 작업 관리자의 성능 탭을 열고 메모리와 GPU 항목을 보면 RAM과 전용 GPU 메모리를 확인합니다. macOS에서는 화면 왼쪽 위의 애플 메뉴에서 ‘이 Mac에 관하여’를 열어 칩과 메모리를 살펴보면 됩니다. 리눅스라면 free -h로 RAM을, 엔비디아 그래픽카드는 nvidia-smi로 VRAM을 확인하는 방식이 익숙합니다.

RAM은 운영체제와 여러 프로그램이 함께 쓰는 본체 메모리이고, VRAM은 그래픽카드에 붙어 있는 전용 메모리입니다. 모델 전체가 VRAM에 들어가면 대체로 빠르게 작동하지만, 일부를 RAM에 나눠 올리거나 전부 CPU로 실행하면 속도가 낮아집니다. 실행 여부와 쾌적함은 같은 말이 아니에요.

애플 실리콘 맥은 CPU와 GPU가 하나의 통합 메모리를 공유하므로 별도 VRAM 숫자가 보이지 않습니다. 16GB 통합 메모리라고 해서 16GB 전부를 모델에 내줄 수 있는 것은 아니며, macOS와 열어 둔 앱도 그 공간을 차지합니다. 윈도우 PC 역시 RAM 16GB 중 운영체제가 쓰는 몫을 빼야 하므로 모델 크기와 총메모리를 딱 맞춰 잡으면 부족해집니다.

저장 공간도 따로 봐야 합니다. 모델 파일은 SSD에 보관했다가 실행할 때 RAM이나 VRAM으로 읽어 올리기 때문에, 파일을 내려받을 공간과 실행 메모리가 모두 필요합니다. 5GB짜리 모델을 받는다고 VRAM도 정확히 5GB만 쓰는 구조는 아닙니다.

CPU만 있어도 작은 모델은 돌아가지만 답변 속도가 느려질 가능성이 큽니다. 반면 엔비디아나 지원되는 AMD 그래픽카드, 애플 실리콘의 GPU를 제대로 활용하면 생성 속도가 눈에 띄게 좋아집니다. 처음부터 새 그래픽카드를 사기보다 현재 장비에서 4B나 7B 모델을 시험한 뒤 불편한 지점을 확인해 보세요.

LM Studio 공식 요구 사양은 윈도우에서 RAM 16GB 이상과 전용 VRAM 4GB 이상을 권장하고, 애플 실리콘 맥도 16GB 이상을 권장합니다. 8GB 맥에서도 작은 모델과 짧은 문맥은 가능하다고 안내하지만 선택 폭은 좁습니다. 이는 프로그램을 시작하기 좋은 기준이지, 모든 모델이 원활하다는 보증은 아닙니다.

7B부터 70B까지 달라지는 모델의 체급

모델 이름의 B는 billion, 즉 10억 개를 뜻하며 7B는 대략 70억 개의 매개변수를 가진 모델입니다. 매개변수는 모델이 학습 과정에서 조정한 수많은 숫자라고 생각하면 됩니다. 수가 커질수록 표현력과 문제 해결 능력이 좋아지는 경향은 있지만, 학습 품질과 데이터, 구조가 달라서 30B가 언제나 최신 7B보다 낫다고 단정할 수는 없습니다.

아래 표는 텍스트 모델 하나를 한 번에 실행할 때 규모를 잡기 위한 대략적인 값입니다. FP16은 매개변수 하나를 2바이트로 저장한다고 보고, 8비트는 1바이트, 4비트는 0.5바이트로 계산한 이론적인 가중치 크기입니다. 실제 파일에는 부가 정보가 들어가고 실행 중에는 문맥 캐시와 작업 공간도 생기므로 오른쪽의 실사용 메모리를 더 눈여겨봐야 합니다.

모델 체급	FP16 가중치	8비트 가중치	4비트 이론값	4비트 실행 시 잡아둘 메모리
7B	약 14GB	약 7GB	약 3.5GB	대략 6~8GB
13B	약 26GB	약 13GB	약 6.5GB	대략 10~12GB
30B	약 60GB	약 30GB	약 15GB	대략 22~28GB
70B	약 140GB	약 70GB	약 35GB	대략 48~64GB

표의 마지막 열은 안전한 절대 기준이 아니라, 보통의 4비트 파일과 적당한 문맥 길이를 생각한 출발점입니다. 모델 구조와 양자화 형식, 입력 길이, 동시에 처리하는 대화 수에 따라 실제 점유량이 달라집니다. 특히 긴 문서 전체를 넣으려고 문맥 길이를 크게 잡으면 가중치는 그대로여도 추가 메모리가 늘어납니다.

RAM 16GB PC라면 7B급 4비트 모델부터 보는 편이 편안하고, 다른 프로그램을 정리하면 13B 안팎도 시험 대상에 들어옵니다. 다만 VRAM이 8GB라면 13B 전체를 GPU에 싣기 어려워 일부 계산이 RAM과 CPU로 넘어갈 수 있습니다. 돌아가더라도 체감 속도는 7B와 상당히 달라져요.

RAM이나 통합 메모리가 32GB라면 13B급은 여유가 생기고 20B 후반이나 30B급 4비트 모델도 조건을 조절해 시도할 만합니다. 30B 전체를 빠르게 GPU에서 처리하려면 그에 맞는 VRAM이 필요하며, 24GB 그래픽카드도 문맥 길이와 모델 형식에 따라 빠듯해집니다. CPU와 RAM으로 넘긴 부분이 많아질수록 첫 답변을 기다리는 시간이 길어집니다.

70B급은 4비트로 줄여도 일반적인 16GB 또는 32GB PC의 범위를 벗어납니다. 48GB 이상의 넉넉한 통합 메모리나 여러 GPU, 큰 시스템 RAM을 갖춘 장비가 거론되는 이유입니다. 단순히 실행 창이 열리는지를 넘어, 긴 대화를 유지하며 쓸 만한 속도를 내려면 여유를 더 두어야 합니다.

여기서 그래픽카드 두 장의 VRAM을 무조건 하나처럼 더해 생각하면 곤란합니다. 프로그램과 모델이 여러 GPU 분할을 지원해야 하며, 카드 사이 데이터 이동과 메인보드 구성도 영향을 줍니다. 24GB 카드 두 장이 모든 상황에서 매끈한 48GB 카드 한 장처럼 움직이지는 않습니다.

4비트 양자화가 모델을 작게 만드는 방식

원본 모델의 매개변수는 흔히 16비트 부동소수점 숫자로 보관됩니다. 7B 모델이라면 매개변수만 단순 계산해도 70억×2바이트, 약 14GB가 됩니다. 여기에 실행에 필요한 다른 데이터까지 더해지니 평범한 그래픽카드에는 부담스러운 크기입니다.

4비트 양자화는 이 숫자들을 훨씬 적은 단계로 근사해 기록하는 압축 방식입니다. 16비트 값을 그대로 담는 대신 비슷한 값끼리 묶고 축척 같은 보정 정보를 곁들여 4비트 수준으로 표현합니다. 이론상 가중치 저장량이 16비트의 4분의 1로 줄어드는 이유입니다.

사진을 JPEG로 줄일 때 눈에 잘 띄지 않는 차이를 버려 파일을 가볍게 만드는 것과 비슷하지만, 모델 양자화는 숫자의 정밀도를 줄인다는 점에서 결이 다릅니다. 답변 능력이 완전히 그대로 남는 것은 아니며 복잡한 추론, 코드의 세부 정확성, 작은 확률 차이에 민감한 작업에서는 손실이 드러날 수 있습니다. 그래도 개인 PC에서 큰 모델을 다루게 해 주는 이득이 커서 4비트가 흔한 출발점이 됐습니다.

파일 이름에서 Q4_K_M, Q5_K_M, Q8_0처럼 보이는 표기가 양자화 방식입니다. 앞 숫자는 대략적인 비트 수준을 나타내며 숫자가 커질수록 파일과 메모리 사용량이 늘고 원본 정밀도에 가까워지는 경향이 있습니다. 같은 4비트라도 세부 방식이 달라 파일 크기가 정확히 매개변수×0.5바이트로 떨어지지는 않아요.

LM Studio의 모델 다운로드 안내는 Q 표기를 양자화된 사본이라고 설명하며, 컴퓨터가 감당한다면 4비트 이상을 고르도록 권합니다. 처음에는 Q4_K_M 같은 4비트 계열을 기준으로 잡고, 답변 품질이 아쉬운데 메모리가 남으면 5비트나 8비트로 올려 비교하면 됩니다. 반대로 로딩에 실패하면 더 작은 체급이나 더 낮은 양자화를 고릅니다.

양자화가 줄이는 주된 대상은 모델의 가중치이지 실행 메모리 전체가 아닙니다. 사용자가 입력한 문장과 모델이 지금까지 생성한 내용을 기억하는 KV 캐시, 연산 중 잠시 필요한 버퍼, 이미지 입력 모델의 비전 구성 요소는 별도 공간을 차지합니다. 그래서 4GB 모델 파일이 VRAM 4GB 카드에 반드시 온전히 들어간다고 보면 안 됩니다.

문맥 길이도 같은 이유로 조심해야 합니다. 모델 설명에 128K 문맥을 지원한다고 적혀 있어도, 최대치로 설정하면 메모리와 처리 시간이 크게 늘어납니다. 첫 실행은 4K나 8K처럼 비교적 짧은 문맥에서 시작하고, 긴 문서 작업이 실제로 필요할 때 조금씩 올리는 방식이 안전합니다.

RAM과 VRAM 사이에서 갈리는 실제 속도

모델을 실행할 때 가장 빠른 구성은 필요한 가중치와 캐시가 빠른 GPU 메모리에 들어가는 경우입니다. VRAM이 모자라면 일부 레이어를 시스템 RAM에 두고 CPU가 처리하거나, GPU와 CPU가 일을 나눕니다. 이를 흔히 GPU 오프로딩이라고 부르며 지원 방식은 실행 프로그램과 하드웨어에 따라 달라집니다.

예를 들어 8GB VRAM과 32GB RAM을 가진 PC는 10GB가 넘는 모델을 메모리 총량 면에서는 받아들일 수 있어도, 전부 GPU에 올리지는 못합니다. 이때 프로그램이 일부 레이어만 GPU로 보내면 실행은 이어지지만 생성 속도는 낮아집니다. ‘필요 메모리’ 표를 볼 때 VRAM 기준인지 RAM을 합친 기준인지 구분해야 하는 까닭입니다.

Ollama에서는 ollama ps 명령으로 현재 모델이 GPU와 CPU에 어느 비율로 올라갔는지 확인합니다. Ollama 공식 FAQ는 100% GPU, 100% CPU, CPU와 GPU의 혼합 비율이 표시되는 방식을 설명합니다. 답변이 예상보다 느리다면 모델 이름보다 이 항목부터 보는 편이 빠릅니다.

LM Studio에는 모델을 실제로 올리기 전에 메모리를 추정하는 기능이 있습니다. 공식 lms load 문서에 나온 lms load --estimate-only 모델키를 쓰면 문맥 길이와 GPU 오프로딩 설정을 고려한 예상치를 확인합니다. 그래픽 화면에서도 모델 적합성 안내와 로딩 설정을 살펴볼 수 있어 초보자에게 편합니다.

속도는 메모리 용량만으로 정해지지 않습니다. GPU의 연산 성능과 메모리 대역폭, CPU 성능, RAM 속도, 모델 구조가 함께 작용합니다. 같은 8GB VRAM이라도 기기마다 결과가 다르므로 인터넷에서 본 초당 토큰 수를 내 PC에 그대로 적용하기는 어렵습니다.

SSD는 모델을 처음 불러오는 시간을 줄이는 데 도움이 되지만, 로딩이 끝난 뒤 글자를 생성하는 주역은 RAM·VRAM과 연산 장치입니다. 저장 공간이 넉넉하다고 큰 모델이 빨라지지는 않습니다. HDD에 여러 모델을 보관하면 시작 시간이 꽤 길어질 수 있으니 자주 쓰는 모델은 SSD에 두는 편이 낫습니다.

노트북에서는 발열과 전원 모드도 체감 속도를 바꿉니다. 배터리로 실행하면 성능이 제한될 수 있고, 긴 답변을 연속으로 만들면 팬 소음과 표면 온도가 올라갑니다. 로컬 AI를 몇 시간씩 돌릴 계획이라면 충전기와 통풍 상태를 함께 살펴보세요.

화면으로 고르는 LM Studio와 도구로 엮는 Ollama

LM Studio와 Ollama는 모두 모델을 내려받고 내 컴퓨터에서 실행하도록 돕지만, 첫인상이 상당히 다릅니다. LM Studio는 모델 검색, 다운로드, 로딩, 채팅을 하나의 그래픽 화면에서 처리하는 데 강점이 있습니다. 파일 종류와 양자화 옵션을 눈으로 비교하고 ChatGPT와 비슷한 창에서 바로 대화하고 싶은 분에게 잘 맞습니다.

LM Studio의 Discover 화면에서는 지원되는 Hugging Face 모델을 검색하고 여러 양자화 파일 중 하나를 고릅니다. 내려받은 뒤 Chat 화면에서 모델을 선택해 메모리에 올리면 대화가 시작됩니다. 모델 이름과 명령줄이 아직 낯설다면 이 과정이 이해하기 쉬워요.

문서 파일을 넣어 로컬에서 대화하거나, 메모리 추정치를 보면서 GPU 오프로딩과 문맥 길이를 조절하기도 편합니다. LM Studio 오프라인 안내에 따르면 이미 받은 모델과의 채팅, 문서 대화, 로컬 서버는 인터넷 연결 없이 작동하며 입력한 내용도 기기 밖으로 보내지 않습니다. 모델 검색과 다운로드, 런타임 및 앱 업데이트에는 인터넷이 필요합니다.

Ollama는 터미널에서 짧은 명령으로 모델을 받고 실행하는 흐름이 중심입니다. 설치한 뒤 ollama run 모델이름을 입력하면 필요한 파일을 내려받고 대화가 열립니다. 명령줄에 익숙하거나 로컬 모델을 코딩 도구, 편집기, 개인 프로그램과 연결하려는 분에게 간결합니다.

Ollama는 백그라운드에서 로컬 API 서버를 제공하므로 다른 앱이 정해진 주소로 요청을 보낼 수 있습니다. 윈도우에서는 기본적으로 http://localhost:11434에서 API가 제공된다고 Ollama 윈도우 공식 문서가 안내합니다. 반복 작업을 스크립트로 묶거나 여러 개발 도구의 공통 엔진으로 쓰기 좋습니다.

LM Studio도 단순 채팅 앱에만 머물지는 않습니다. Developer 화면에서 로컬 서버를 켜거나 lms server start를 실행하면 REST API와 호환 엔드포인트를 제공합니다. LM Studio 서버 문서는 OpenAI 및 Anthropic 호환 API도 지원한다고 설명하므로, 개발 연동이 Ollama만의 전유물은 아닙니다.

둘의 차이를 ‘초보자용과 전문가용’으로 완전히 나누면 지나치게 단순해집니다. 화면에서 모델 파일을 세밀하게 비교하고 채팅 기록을 관리하려면 LM Studio가 자연스럽고, 명령 한 줄과 API 중심으로 작게 구성하려면 Ollama가 손에 잘 맞습니다. 두 프로그램을 모두 설치해 같은 모델 계열을 비교해도 괜찮습니다.

원하는 사용 방식	먼저 살펴볼 프로그램	이유
모델을 검색하고 옵션을 눈으로 고르고 싶습니다	LM Studio	다운로드부터 채팅까지 그래픽 화면에서 이어집니다
터미널 명령 한 줄로 빨리 시작하고 싶습니다	Ollama	모델 실행과 교체가 간결합니다
코딩 도구나 개인 앱에 로컬 API를 붙이고 싶습니다	Ollama 또는 LM Studio	두 프로그램 모두 로컬 서버와 API를 제공합니다
메모리 추정과 오프로딩 설정을 살펴보고 싶습니다	LM Studio	로딩 전후의 조정 항목을 화면에서 확인하기 편합니다
서버처럼 백그라운드에서 가볍게 쓰고 싶습니다	Ollama	명령줄과 API 중심 운영이 단순합니다

어느 쪽이 답변을 더 잘하는지는 프로그램 이름보다 불러온 모델과 양자화, 문맥 설정에 더 크게 좌우됩니다. 같은 계열의 같은 양자화 모델을 비슷한 조건에서 돌리면 프로그램 UI만 보고 품질 우열을 단정하기 어렵습니다. 편한 작업 흐름을 먼저 고르는 게 좋아요.

처음 받을 모델을 고르는 현실적인 기준

처음부터 30B나 70B를 받으면 다운로드와 로딩에 시간을 쓰고도 느린 속도 때문에 바로 지칠 수 있습니다. 첫 모델의 역할은 최고 성능을 보여 주는 것이 아니라, 내 PC에서 다운로드·로딩·대화의 전체 흐름이 제대로 작동하는지 확인하는 것입니다. 16GB 메모리 PC라면 4B에서 8B 사이의 4비트 지시형 모델이 무난한 출발점입니다.

2026년 8월 기준으로 Ollama 라이브러리에는 Gemma, Qwen, Llama, DeepSeek 계열 등 여러 체급이 올라와 있습니다. 목록과 기본 양자화는 계속 바뀌므로 글에 적힌 이름을 절대적인 순위로 받아들일 필요는 없습니다. 한국어 질문, 요약, 코드 설명처럼 자신이 실제로 쓸 문장 다섯 개를 준비해 같은 조건으로 비교하는 편이 정확합니다.

아주 가볍게 성공부터 확인하려면 Gemma 3 4B 같은 작은 지시형 모델을 골라볼 만합니다. Ollama의 Gemma 3 페이지는 기본 4B 모델 파일을 3.3GB로 표시하고 있으며, 텍스트와 이미지 입력을 지원하는 변형으로 제공합니다. 모델을 받은 뒤 여유 메모리와 속도가 충분하다면 8B 전후로 한 단계 올립니다.

한국어 대화와 여러 언어를 섞어 쓸 계획이라면 Qwen 계열의 4B 또는 8B 지시형 모델도 비교 대상입니다. 코딩이 주목적이면 일반 대화 모델 하나만 보고 판단하지 말고 코드에 맞춰 조정된 모델을 같은 크기에서 시험합니다. 모델 카드에 적힌 지원 언어, 라이선스, 도구 호출 여부도 다운로드 전에 확인해야 합니다.

‘Base’ 또는 ‘기반 모델’보다 ‘Instruct’, ‘Chat’, ‘IT’라고 적힌 변형이 일반 대화에 알맞습니다. 기반 모델은 다음 단어를 이어 쓰는 학습 성격이 강해 질문에 친절히 답하도록 추가 조정된 지시형 모델과 반응이 다릅니다. 같은 7B라는 숫자만 보고 아무 파일이나 받으면 대화 품질이 엉뚱하게 느껴질 수 있어요.

비전 모델은 이미지를 받아 설명하거나 화면을 읽는 기능이 추가된 모델입니다. 텍스트만 필요한데 비전 모델을 고르면 구성 요소와 메모리 부담이 늘 수 있으므로 첫 실험은 텍스트 지시형으로 단순하게 시작하는 편이 좋습니다. 이미지 질문이 목적일 때만 비전 지원 여부를 조건에 넣습니다.

모델의 라이선스도 ‘오픈소스’라는 한 단어로 넘기지 않는 게 좋습니다. 가중치를 내려받을 수 있어도 상업 이용, 재배포, 특정 규모 서비스에는 별도 조건이 붙을 수 있습니다. 집에서 개인적으로 대화하는 시험과 결과물을 제품에 넣는 일은 조건이 다르므로 공식 모델 카드의 라이선스를 확인합니다.

첫 비교에서는 모델 세 개를 한꺼번에 받기보다 작은 것 하나로 시작합니다. 답변 속도와 메모리 점유량, 한국어 문장 품질을 기록한 뒤 부족한 지점을 기준으로 체급이나 양자화를 바꾸세요. 모델 수집보다 실제 질문 열 개를 던져 보는 일이 훨씬 많은 정보를 줍니다.

Ollama로 첫 대화를 여는 순서

Ollama 공식 사이트에서 운영체제에 맞는 설치 파일을 받아 설치합니다. 윈도우와 macOS에서는 설치 뒤 Ollama가 백그라운드에서 실행되며, 리눅스는 공식 설치 안내를 따라 서비스를 구성합니다. 설치 명령은 버전에 따라 달라질 수 있으므로 복사할 때는 Ollama 공식 문서와 저장소를 기준으로 삼는 편이 안전합니다.

터미널이나 PowerShell을 열고 아래처럼 입력하면 Gemma 3 4B 모델을 내려받은 뒤 대화가 시작됩니다.

ollama run gemma3:4b

첫 실행에서는 수GB 파일을 받으므로 인터넷 속도와 SSD 여유 공간에 따라 기다리는 시간이 생깁니다. 다운로드가 끝나고 입력 표시가 나오면 “이 모델이 내 컴퓨터에서 실행 중인지 확인하는 방법을 세 문장으로 설명해 주세요”처럼 간단한 질문부터 넣습니다. 종료 방법과 도움말은 실행 화면의 안내를 확인하세요.

다른 체급을 시험할 때는 Ollama 라이브러리에서 정확한 태그를 확인한 뒤 ollama run 뒤의 이름을 바꿉니다. 태그를 생략하면 의도와 다른 기본 크기를 받을 수 있으므로 저장 공간이 제한적이라면 용량을 먼저 확인합니다. 70B라는 표기를 놓치고 수십GB를 받기 시작하는 실수가 생각보다 번거롭습니다.

실행 중인 모델이 어느 장치에 올라갔는지는 별도 터미널에서 다음 명령으로 봅니다.

ollama ps

PROCESSOR가 GPU 100%라면 모델이 GPU에 전부 올라간 상태이고, CPU와 GPU 비율이 함께 보이면 나눠 처리하는 상태입니다. CPU 비율이 높고 답변이 너무 느리다면 작은 모델을 고르거나 짧은 문맥으로 바꿔 봅니다. 무작정 메모리를 더 사기 전에 원인을 확인하는 단계입니다.

모델이 멈추거나 메모리 오류가 나면 브라우저 탭과 게임, 영상 편집 앱처럼 VRAM과 RAM을 많이 쓰는 프로그램을 닫고 다시 시도합니다. 그래도 실패한다면 같은 모델의 더 작은 양자화 또는 더 작은 매개변수 버전을 선택합니다. 운영체제와 그래픽 드라이버, Ollama 업데이트도 점검 대상입니다.

Ollama의 장점은 이후 연동에서 더 분명해집니다. 지원하는 편집기 확장이나 코딩 도구에서 Ollama 주소와 모델 이름을 지정하면 로컬 모델을 답변 엔진으로 사용합니다. 외부 프로그램이 정말 로컬 주소만 호출하는지, 별도의 텔레메트리나 클라우드 기능은 없는지 해당 프로그램의 설정과 개인정보 처리 방침도 함께 확인해야 합니다.

LM Studio로 첫 모델을 고르는 순서

LM Studio 공식 사이트에서 운영체제에 맞는 버전을 내려받아 설치한 뒤 Discover 화면을 엽니다. 검색창에 모델 이름을 넣으면 같은 모델의 여러 배포자와 파일 형식, 양자화 옵션이 표시됩니다. 처음에는 앱이 추천하거나 검증 표시를 제공하는 항목을 중심으로 보고, 모델 카드와 예상 적합성을 확인하는 편이 안전합니다.

같은 모델 이름 아래 Q4_K_M, Q5_K_M, Q8_0이 함께 보인다면 우선 4비트 옵션을 고릅니다. 컴퓨터 여유가 넉넉하고 품질 차이를 비교하고 싶을 때 5비트나 8비트를 추가로 받으면 됩니다. 다운로드 파일이 모델마다 크므로 저장 위치와 남은 SSD 공간도 이 화면에서 확인하세요.

다운로드가 끝나면 Chat 화면의 모델 선택 메뉴에서 받은 모델을 골라 메모리에 로드합니다. 모델 로딩은 파일을 다시 내려받는 과정이 아니라 SSD에 있는 가중치를 실행 메모리로 올리는 과정입니다. 앱을 다시 켰을 때 모델을 재로드해야 하는 이유도 여기에 있습니다.

처음 로딩할 때는 문맥 길이를 욕심내지 말고 기본값이나 짧은 설정으로 시작합니다. GPU 오프로딩은 자동 설정을 우선 적용하고, 실행 결과와 메모리 표시를 본 뒤 조절합니다. 모델이 맞지 않는다는 경고가 보인다면 경고를 무시하고 큰 파일부터 밀어 넣기보다 한 체급 낮춰 보는 편이 빠릅니다.

채팅창이 열리면 Ollama에서 썼던 것과 동일한 질문을 입력해 속도와 답변을 비교합니다. 첫 글자가 나오기까지 걸리는 시간, 글자가 이어지는 속도, RAM과 VRAM 사용량, 한국어 문장 품질을 적어 두면 다음 모델 선택이 쉬워집니다. 느낌만으로 비교하면 큰 모델이 무조건 좋아 보이는 기대 효과가 끼어들기 쉽습니다.

LM Studio에서 문서를 끌어다 질문하는 기능도 로컬에서 처리되지만, 처음부터 민감한 원본으로 시험하지는 마세요. 일반 문서로 동작과 저장 위치를 확인하고, 채팅 기록 및 로그를 누가 볼 수 있는지 점검한 다음 실제 자료로 넘어갑니다. PC가 악성코드에 감염됐거나 여러 사람이 같은 계정을 쓴다면 ‘로컬’이라는 사실만으로 비밀이 지켜지지는 않습니다.

개발 도구와 연결하려면 Developer 화면에서 로컬 서버를 시작합니다. 기본 설정에서는 자기 컴퓨터만 접근하도록 두고, 집 안의 다른 기기에도 열 때는 인증과 방화벽 설정을 먼저 살펴야 합니다. 서버를 0.0.0.0에 무심코 바인딩하면 같은 네트워크의 다른 기기에서 접근할 여지가 생깁니다.

답변 품질을 좌우하는 모델 밖의 설정

로컬 모델이 엉뚱하게 답하면 체급부터 올리고 싶어지지만, 질문 방식과 실행 설정을 먼저 점검할 가치가 있습니다. “이 문서를 요약해 줘”보다 대상 독자, 분량, 반드시 남길 항목, 모르는 내용의 처리법을 함께 적으면 작은 모델도 훨씬 안정적으로 반응합니다. 클라우드 모델에서 통하던 모호한 한 줄 지시가 작은 로컬 모델에서는 더 크게 흔들립니다.

문맥 길이는 모델이 한 번에 참고하는 대화와 자료의 범위입니다. 길게 잡으면 이전 내용을 더 많이 담지만 메모리와 처리 시간이 늘고, 실제로 필요하지 않은 대화까지 섞여 집중력이 흐려질 때도 있습니다. 짧은 질문이 주용도라면 최대 지원 길이를 항상 켜 둘 이유가 없습니다.

온도는 답변의 무작위성을 조절하는 대표 설정입니다. 사실 확인이나 코드 수정에서는 낮게 두고, 아이디어 발산에서는 조금 높여 비교하는 식으로 용도에 맞춥니다. 다만 온도를 낮춘다고 모델이 모르는 사실을 알게 되지는 않으며, 같은 오류를 더 확신 있게 반복할 수도 있습니다.

로컬 모델도 환각을 일으키고 존재하지 않는 출처나 함수를 만들어 냅니다. 인터넷을 끊어 실행하면 최신 뉴스와 가격, 법령을 스스로 조회하지 못하므로 이런 질문에는 특히 맞지 않습니다. 개인정보가 로컬에 남는다는 장점과 답변이 정확하다는 주장은 별개의 이야기입니다.

모델을 평가할 때는 자신이 답을 아는 질문을 먼저 사용합니다. 한국어 교정, 짧은 요약, 표 변환, 코드 설명, 긴 지시 준수처럼 실제 작업을 대표하는 테스트 묶음을 만들어 두면 버전이나 양자화를 바꿀 때 비교가 쉬워집니다. 유명 벤치마크 숫자 하나보다 내 작업에서 실패하는 지점이 더 직접적인 기준입니다.

속도가 느리다면 출력 품질을 거의 해치지 않는 범위에서 문맥을 줄이고, 더 작은 모델이나 4비트 양자화를 시험합니다. RAM 여유는 많은데 VRAM만 모자라면 GPU 오프로딩 비율을 조절하며 타협점을 찾습니다. 모델 로딩 중 다른 GPU 프로그램을 함께 쓰지 않는 것도 간단한 개선책입니다.

로컬 실행이 빛나는 경우와 숨은 비용

로컬 AI의 가장 분명한 장점은 입력과 연산을 내 장비 안에 둘 수 있다는 점입니다. 개인 일기, 공개 전 단계의 원고, 외부 전송이 곤란한 코드처럼 민감한 내용을 다룰 때 선택지가 넓어집니다. 다만 회사 자료는 사내 보안 정책이 로컬 오픈 모델 사용을 허용하는지부터 확인해야 하며, 개인 PC에 복사하는 행위 자체가 금지될 수도 있습니다.

모델을 한 번 내려받으면 인터넷이 없는 곳에서도 대화가 이어집니다. 비행 중이거나 네트워크가 불안정한 작업실, 외부 연결을 의도적으로 차단한 장비에서 유용합니다. 새 모델 검색과 다운로드, 업데이트는 연결이 필요하니 출발 전에 필요한 파일과 런타임을 받아 두어야 해요.

사용 횟수나 토큰마다 별도 요금이 붙지 않는 것도 장점입니다. 반복적인 분류와 형식 변환을 많이 돌리거나, 밤새 작은 작업을 처리하며 이미 가진 장비를 꾸준히 활용한다면 비용 구조가 단순해집니다. 반면 하드웨어 구매비와 전기료, 발열, 소음, 고장 위험은 사라지지 않습니다.

자가 호스팅은 토큰당 비용 대신 초기 비용과 관리 시간을 지불하는 방식에 가깝습니다. 큰 모델 하나를 위해 고가 GPU를 샀는데 몇 달 뒤 더 작고 나은 모델이 나오면 투자 판단이 달라질 수 있습니다. 참고 자료에서 제시된 것처럼 대부분의 개인은 장비를 높은 부하로 계속 돌리지 않으므로, 새 PC 구매비를 사용료 절약만으로 회수하기 어려울 수 있습니다.

로컬 환경은 모델과 프롬프트를 고정해 반복 실험하기 좋고, API가 제공되면 개인 자동화에 연결하기도 편합니다. 서비스의 사용량 제한이나 일시적인 장애에 덜 흔들린다는 점도 있습니다. 대신 모델 파일과 실행 프로그램, 그래픽 드라이버의 업데이트를 직접 관리해야 합니다.

프라이버시도 범위를 정확히 봐야 합니다. 모델 추론이 로컬이라고 해도 설치 프로그램의 업데이트 확인, 모델 검색, 연결한 확장 기능, 웹 검색 도구는 인터넷을 사용할 수 있습니다. 대화 기록이 디스크에 남으면 같은 컴퓨터 계정의 다른 사용자나 백업 프로그램이 가져갈 가능성도 있습니다.

외부에서 집의 로컬 AI에 접속하려고 포트를 바로 인터넷에 열어 두는 일은 피하는 편이 좋습니다. 인증 없는 API가 노출되면 다른 사람이 모델을 사용하거나 입력 내용을 엿볼 위험이 생깁니다. 원격 접속이 필요하다면 방화벽, 인증, VPN이나 안전한 터널을 포함한 별도 보안 구성이 필요하며 패치도 계속 적용해야 합니다.

클라우드 챗봇을 그대로 쓰는 편이 나은 경우

로컬이 무조건 더 낫지는 않습니다. 어려운 추론, 정교한 코딩, 긴 문서 분석, 최신 정보 검색이 주된 용도라면 대형 클라우드 모델이 성능과 편의 면에서 유리한 경우가 많습니다. 집에서 돌리는 7B나 13B 모델에 최상급 클라우드 모델과 같은 판단력을 기대하면 실망하기 쉽습니다.

한 달에 몇 번 간단한 질문만 한다면 수십만 원 이상의 GPU를 새로 살 이유가 약합니다. 무료 또는 저가 구독 범위로 사용량이 충분하고 민감한 내용을 입력하지 않는다면, 설치와 업데이트 없이 브라우저를 여는 쪽이 훨씬 간단합니다. 전기료와 장비 감가, 시간을 모두 비용에 넣어 봐야 합니다.

노트북 팬 소음과 배터리 소모가 싫거나, 여러 기기에서 같은 대화 기록을 곧바로 이어 쓰고 싶을 때도 클라우드가 편합니다. 스마트폰과 회사 PC, 태블릿을 오가며 동일한 환경을 기대한다면 집 컴퓨터를 항상 켜 두고 원격 접속을 관리하는 부담이 생깁니다. 편의성도 분명한 가치입니다.

최신 웹 정보와 출처가 필요한 조사에는 인터넷과 검색 기능을 갖춘 서비스가 자연스럽습니다. 로컬 모델에 오래된 가중치만 올려 둔 상태에서는 2026년의 가격이나 정책 변경을 알지 못합니다. 검색 도구를 연결하면 보완되지만 그 순간 데이터 흐름과 보안 범위를 다시 따져야 합니다.

큰 모델을 잠깐 시험하려는 경우에는 오픈 모델 API를 빌리는 방법도 있습니다. 수십GB VRAM 장비를 사지 않고 사용량만큼 지불하며 다음 모델로 바꾸기 쉬워집니다. 민감하지 않은 작업이고 이용량이 일정하지 않다면 자가 호스팅보다 합리적일 때가 많습니다.

실제로는 혼합 방식이 가장 편한 사람도 많습니다. 개인 문서의 초벌 요약과 단순 형식 변환은 로컬 작은 모델에 맡기고, 어려운 판단과 최신 조사는 클라우드 모델에 넘기는 식입니다. 모든 일을 한 모델로 해결하려고 할 필요는 없어요.

다음 질문에 ‘예’가 많다면 로컬 실행을 시험할 이유가 충분합니다. 외부로 보내기 꺼리는 자료가 있는지, 인터넷 없이 쓸 일이 있는지, 반복 작업이 많은지, 현재 PC에 16GB 이상의 메모리나 쓸 만한 GPU가 있는지, 설정과 업데이트를 직접 다룰 의향이 있는지를 살펴봅니다. 반대로 사용량이 적고 최고 수준의 답변과 검색, 여러 기기 동기화가 더 중요하다면 클라우드를 유지하는 편이 낫습니다.

정리, 작은 모델 하나로 확인하는 첫걸음

집에서 AI를 돌릴 때 가장 먼저 볼 숫자는 모델의 B보다 내 컴퓨터의 RAM, VRAM 또는 통합 메모리입니다. 16GB 장비라면 4B~8B급 4비트 지시형 모델로 시작하고, 32GB라면 13B 이상을 천천히 넓혀 보는 흐름이 현실적입니다. 30B와 70B는 파일 크기뿐 아니라 실행 중 여유 메모리와 속도까지 따져야 합니다.

4비트 양자화는 16비트 가중치의 정밀도를 줄여 이론상 크기를 약 4분의 1로 낮추지만, 실행 메모리 전체가 같은 비율로 줄지는 않습니다. 문맥 캐시와 작업 공간이 더해지므로 파일 크기보다 넉넉하게 잡아야 합니다. 긴 문맥은 실제로 필요할 때만 늘려 주세요.

화면에서 검색하고 비교하며 시작하려면 LM Studio가 편하고, 명령줄과 API로 다른 도구에 연결하려면 Ollama가 간결합니다. 어느 프로그램을 고르든 작은 모델 하나를 받아 같은 질문을 반복해 보면 내 장비의 속도와 한계가 금방 드러납니다. 그 결과를 본 뒤에만 더 큰 모델이나 새 하드웨어를 고민해도 늦지 않습니다.

로컬 AI는 개인정보 통제와 오프라인 사용, 반복 작업에서 매력적이지만 초기 비용과 관리 부담, 클라우드보다 낮은 성능이라는 대가가 있습니다. 민감한 일은 로컬에, 어려운 추론과 최신 조사는 클라우드에 맡기는 조합도 좋은 답입니다. 여러분의 첫 목표는 ‘가장 큰 모델을 소유하는 것’이 아니라, 실제 작업을 더 편하게 만드는 도구를 찾는 것이면 충분합니다.