← Werkzeug-Landkarte · LLM-Zugang
LiteLLM
BerriAI (Open Source, MIT; Enterprise-Verzeichnis eigene Lizenz) · LLM-Zugang · selbst im Einsatz
Selbst betriebener Proxy vor allen Sprachmodellen – eine einheitliche API, virtuelle Schlüssel, Budgets und eine Stelle, an der Prompts geprüft werden können.
Wofür taugt es?
- Eine Schnittstelle für OpenAI, Anthropic, Mistral, Azure und lokale Modelle
- Virtuelle API-Schlüssel je Team oder Anwendung, mit Budget und Nutzungsprotokoll
- Guardrails an einer zentralen Stelle statt in jeder Anwendung einzeln
- Modellwechsel ohne Änderung am aufrufenden Programm
Woran scheitert es?
- Betrieb ohne eigenen Server – der Proxy will betrieben, aktualisiert und abgesichert werden
- Eine fertige Prüfoberfläche für maskierte Inhalte, die gibt es nicht
- Betriebsort
- EU-Betrieb möglich
- Betriebsform
- self-hostbar
- Quelloffenheit
- Open Source
- Einstiegsaufwand
- mittel
Was steckt dahinter?
Wo ist es im Einsatz?
- Stand
- Beim Anbieter
- docs.litellm.ai
Quelloffener Proxy zwischen eigenen Anwendungen und Modellanbietern: nach außen die OpenAI-API, nach innen frei konfigurierbar, mit virtuellen Schlüsseln, Budgets und Guardrails an einer zentralen Stelle.