Ollama
LLM localmente com um único comando, no teu computador.
A ficha de Olya
- Particularidades
- Reúne gestão de modelos, um servidor REST e endpoints compatíveis com a API da OpenAI num único binário que arranca com um comando. Não é um modelo: é a infraestrutura que te permite baixar e executar Llama, Gemma, Mistral, Qwen e dezenas de outros pesos abertos no teu próprio hardware, sem nuvem obrigatória.
- Pontos fortes
- Os teus dados nunca saem da máquina, não pagas por token e funciona offline depois de baixar o modelo. A instalação é uma linha no Linux/macOS, e a compatibilidade com a API da OpenAI faz com que as ferramentas que já usas falem com ele sem alterações.
- Quando usá-la
- Ideal para prototipar localmente, trabalhar com dados sensíveis ou confidenciais, desenvolver sem contas por consumo e aprender como os LLMs funcionam. Também útil como backend privado para apps e agentes, com uma opção na nuvem (a partir de 20 $/mês) quando precisas de um modelo maior do que o teu hardware.
- Quando evitá-la
- Se queres a qualidade dos modelos de fronteira, continuas limitado ao que a tua GPU aguenta: numa máquina modesta é lento. Produção de alto tráfego ou multiusuário exige construir infraestrutura à volta, e aí uma API gerida costuma ser mais simples e mais barata em termos de tempo.