Ollama
LLM's lokaal met één commando, op je eigen computer.
De fiche van Olya
- Bijzonderheden
- Het bundelt modelbeheer, een REST-server en OpenAI-compatibele endpoints in één binary die met één commando start. Het is geen model, maar de infrastructuur waarmee je Llama, Gemma, Mistral, Qwen en tientallen andere open gewichten op je eigen hardware downloadt en draait, zonder verplichte cloud.
- Sterke punten
- Je data verlaat je machine nooit, je betaalt niet per token, en het werkt offline zodra het model is gedownload. De installatie is één regel op Linux/macOS, en dankzij OpenAI-API-compatibiliteit praten de tools die je al gebruikt er zonder aanpassingen mee.
- Wanneer te gebruiken
- Ideaal om lokaal te prototypen, met gevoelige of vertrouwelijke data te werken, te ontwikkelen zonder verbruiksrekeningen en te leren hoe LLM's werken. Ook handig als privé-backend voor apps en agents, met een cloudoptie (vanaf $20/maand) wanneer je een model nodig hebt dat groter is dan je hardware.
- Wanneer te vermijden
- Wil je de kwaliteit van topmodellen, dan blijf je gebonden aan wat je GPU aankan: op een bescheiden machine is het traag. Productie met veel verkeer of meerdere gebruikers vereist er infrastructuur omheen, en dan is een beheerde API vaak eenvoudiger en, qua tijd, goedkoper.