Ollama
LLMs lokal mit einem einzigen Befehl, auf deinem Computer.
Olyas Steckbrief
- Besonderheiten
- Es bündelt Modellverwaltung, einen REST-Server und OpenAI-kompatible Endpunkte in einer einzigen Binärdatei, die mit einem Befehl startet. Es ist kein Modell, sondern die Infrastruktur, mit der du Llama, Gemma, Mistral, Qwen und Dutzende weiterer offener Gewichte auf deiner eigenen Hardware herunterlädst und ausführst – ohne Cloud-Zwang.
- Stärken
- Deine Daten verlassen den Rechner nie, du zahlst nicht pro Token, und es läuft offline, sobald das Modell heruntergeladen ist. Die Installation ist eine Zeile unter Linux/macOS, und dank OpenAI-API-Kompatibilität sprechen die Werkzeuge, die du schon nutzt, ohne Änderungen mit ihm.
- Wann man sie nutzt
- Ideal zum lokalen Prototyping, für die Arbeit mit sensiblen oder vertraulichen Daten, zum Entwickeln ohne verbrauchsabhängige Rechnungen und um zu lernen, wie LLMs funktionieren. Auch als privates Backend für Apps und Agenten praktisch, mit einer Cloud-Option (ab 20 $/Monat), wenn du ein Modell brauchst, das größer ist als deine Hardware.
- Wann man sie meidet
- Willst du die Qualität der Spitzenmodelle, bleibst du an das gebunden, was deine GPU leistet: auf einer bescheidenen Maschine ist es langsam. Produktion mit hohem Traffic oder vielen Nutzern erfordert eine drumherum gebaute Infrastruktur – dort ist eine verwaltete API oft einfacher und, gemessen an deiner Zeit, günstiger.