Ollama
명령 하나로 당신의 컴퓨터에서 LLM을 로컬 실행.
Olya의 프로필
- 특징
- 모델 관리, REST 서버, OpenAI 호환 엔드포인트를 하나의 바이너리에 담아 명령 한 줄로 실행된다. 모델 자체가 아니라 Llama·Gemma·Mistral·Qwen 등 수십 종의 오픈 웨이트를 내 하드웨어에서 내려받아 돌리게 해 주는 인프라이며, 클라우드는 필수가 아니다.
- 강점
- 데이터가 기기를 벗어나지 않고 토큰당 요금도 없으며, 모델만 받아 두면 오프라인에서도 동작한다. Linux/macOS에서는 한 줄로 설치되고, OpenAI API 호환이라 이미 쓰던 도구들이 수정 없이 그대로 연결된다.
- 언제 쓸까
- 로컬 프로토타이핑, 민감하거나 기밀인 데이터 작업, 종량 과금 없는 개발, LLM 학습에 알맞다. 앱과 에이전트의 비공개 백엔드로도 유용하며, 내 하드웨어보다 큰 모델이 필요할 때는 클라우드(월 20달러부터)도 쓸 수 있다.
- 언제 피할까
- 프런티어 모델 수준의 품질을 원해도 결국 GPU 성능에 묶여, 사양이 낮은 기기에서는 느리다. 트래픽이 많거나 다중 사용자 운영에는 주변 인프라를 직접 구축해야 하고, 그럴 때는 관리형 API가 시간 면에서 더 간단하고 저렴한 경우가 많다.