Ollama
一条命令即可在你的电脑上本地运行 LLM。
Olya 的档案
- 独到之处
- 它把模型管理、REST 服务器和兼容 OpenAI 的接口打包进一个二进制文件，一条命令即可启动。它本身不是模型，而是让你在自己的硬件上下载并运行 Llama、Gemma、Mistral、Qwen 等数十种开放权重的底层设施，且不强制使用云端。
- 强项
- 数据不离开本机，无需按 token 付费，模型下载后离线也能运行。在 Linux/macOS 上一行命令即可安装，兼容 OpenAI 接口意味着你现有的工具无需改动就能与它对接。
- 何时使用
- 适合本地原型开发、处理敏感或机密数据、无按量账单的开发，以及学习 LLM 的运作方式。作为应用和智能体的私有后端也很好用；当需要比本机硬件更大的模型时，还可选云端（每月 20 美元起）。
- 何时避开
- 若追求前沿模型的质量，你仍受限于 GPU 的能力：在配置一般的机器上会很慢。高流量或多用户的生产环境需要在其外围搭建基础设施，这种情况下托管 API 往往更简单，按时间成本算也更划算。