구독형 AI의 한계를 넘어선 로컬 LLM 구축 바이블

책 소개

회사에서 ChatGPT를 쓰다 '이 내용 올려도 되나?' 멈칫한 경험에서 출발한다. 글로벌 구독형 LLM만으로는 채울 수 없는 기업의 세 가지 갈증 — 데이터 주권, 사내 규정·용어·관행을 이해하는 맞춤형 모델, 특정 벤더로부터의 기술적 독립성 — 을 해소하기 위한 실무 바이블이다.

인프라 구축 → 프롬프트 엔지니어링 → RAG → 파인튜닝의 전 과정을 한 권에 담았다. Ollama 기반 로컬 인프라, 프롬프트·역할 설계, 회사 데이터를 연결하는 RAG, 회사 스타일을 새기는 파인튜닝을 실습 명령·Modelfile·아키텍처 다이어그램과 함께 다루고, '사내 지식베이스 LLM'과 '고객지원 보조 LLM' 두 사례를 PoC에서 프로덕션까지 완주한다. 복잡한 수식·논문 이론보다 지금 가용 자원으로 가치를 만드는 시스템 구축에 집중한다.

차례

프롤로그왜 로컬 LLM인가 — 업무 현장의 변화 · 일반 LLM vs 우리 회사 전용 LLM · 읽는 법

1장LLM과 Ollama 이해하기 — 토큰·임베딩·컨텍스트, 트랜스포머, 프롬프트·RAG·파인튜닝의 관계

2장Ollama 기반 로컬 LLM 인프라 구축 — 인프라 설계·설치, 모델 선택 전략, Modelfile 기초

3장프롬프트 & 역할 설계 — 좋은 프롬프트 원칙, 시스템 프롬프트, 태스크별 패턴, 고급 기법

4장RAG로 회사 데이터 연결하기 — 아키텍처, 문서 인게스트, 청크·임베딩, 벡터 DB·검색, 응답 품질 관리

5장파인튜닝 — 데이터셋 설계, 품질 관리, LoRA/QLoRA 실습, Ollama 탑재

6장실전 케이스 — 로컬 지식베이스 & 고객지원 LLM(PoC → 프로덕션)

맺음말: 이 책의 마지막 장을 넘기며

김정수는 AI 실무와 원리를 잇는 글을 쓴다. 그가 쓴 AI 3부작은 프롬프트 엔지니어링에서 출발해 기업용 로컬 LLM 구축을 거쳐 그 밑에서 돌아가는 작동 원리까지 내려간다.

구독형 AI의 한계를 넘어선 로컬 LLM 구축 바이블

책 소개

차례

저자 소개