Ollama
Des LLM en local avec une seule commande, sur ton ordinateur.
La fiche d'Olya
- Particularités
- Il regroupe la gestion des modèles, un serveur REST et des endpoints compatibles avec l'API d'OpenAI dans un binaire unique qui démarre en une commande. Ce n'est pas un modèle : c'est la tuyauterie qui te permet de télécharger et d'exécuter Llama, Gemma, Mistral, Qwen et des dizaines d'autres poids ouverts sur ton propre matériel, sans cloud obligatoire.
- Points forts
- Tes données ne quittent jamais ta machine, tu ne paies pas au token, et ça fonctionne hors ligne une fois le modèle téléchargé. L'installation tient en une ligne sous Linux/macOS, et la compatibilité avec l'API OpenAI fait que les outils que tu utilises déjà lui parlent sans modification.
- Quand l'utiliser
- Idéal pour prototyper en local, travailler sur des données sensibles ou confidentielles, développer sans facture à l'usage et comprendre le fonctionnement des LLM. Pratique aussi comme backend privé pour applis et agents, avec une option cloud (à partir de 20 $/mois) quand il te faut un modèle plus gros que ton matériel.
- Quand l'éviter
- Si tu vises la qualité des modèles de pointe, tu restes limité par ce que ta GPU encaisse : sur une machine modeste, c'est lent. Une production à fort trafic ou multi-utilisateurs demande de bâtir une infrastructure autour, et là une API managée est souvent plus simple et moins coûteuse en temps.