← Werkzeug-Landkarte · LLM-Zugang
LiteLLM
BerriAI (Open Source, MIT) · LLM-Zugang · selbst im Einsatz
Selbst betriebener Proxy vor allen Sprachmodellen – eine einheitliche API, virtuelle Schlüssel, Budgets und eine Stelle, an der Prompts geprüft werden können.
Wofür taugt es?
- Eine Schnittstelle für OpenAI, Anthropic, Mistral, Azure und lokale Modelle
- Virtuelle API-Schlüssel je Team oder Anwendung, mit Budget und Nutzungsprotokoll
- Guardrails an einer zentralen Stelle statt in jeder Anwendung einzeln
- Modellwechsel ohne Änderung am aufrufenden Programm
Woran scheitert es?
- Betrieb ohne eigenen Server – der Proxy will betrieben, aktualisiert und abgesichert werden
- Eine fertige Prüfoberfläche für maskierte Inhalte, die gibt es nicht
- Betriebsort
- EU-Betrieb möglich
- Betriebsform
- self-hostbar
- Quelloffenheit
- Open Source
- Einstiegsaufwand
- mittel
Was steckt dahinter?
Wo ist es im Einsatz?
- Stand
- Beim Anbieter
- docs.litellm.ai
LiteLLM ist ein Proxy, der zwischen den eigenen Anwendungen und den Modellanbietern steht. Nach außen spricht er die OpenAI-API, nach innen redet er mit dem, was konfiguriert ist. Für ein Beratungs- oder KMU-Setup ist das zunächst eine Betriebsfrage: ein Ort für Schlüssel, ein Ort für Budgets, ein Ort für Protokolle, und der Modellwechsel wird zur Konfigurationszeile statt zum Deployment.
Interessanter ist, was diese eine Stelle sonst noch ermöglicht. LiteLLM bringt eine fertige Anbindung an Presidio als Guardrail mit: Maskierung vor dem Aufruf, Prüfung der Antwort danach, und mit
output_parse_piieine eingebaute Rückübersetzung der Platzhalter. Damit deckt eine Konfigurationsdatei ab, wofür sonst ein eigener Dienst gebaut würde.Im go4ai-Stack läuft LiteLLM als Kern eines selbst gehosteten Gateways vor kommerziellen Modellen. Aus diesem Betrieb sind auch die Grenzen bekannt: Die Rückübersetzung greift nur im Chat-Completion-Pfad, die Platzhalter sind generisch (
<PERSON>statt eines fallbezogenenPERSON-A12), und eine Oberfläche, in der ein Mensch die Fundstellen vor dem Versand prüft, gibt es nicht. Wer beides braucht, baut es daneben, nicht anstelle des Proxys.Einordnung des Ansatzes unter Pseudonymisierung & Anonymisierung.