LiteLLM 1.94.0: Team-Keys erzwingen jetzt persönliche Budgets

LiteLLM 1.94.0 ändert eine zentrale Annahme im Gateway-Betrieb: Team-Keys berücksichtigen jetzt standardmäßig auch das persönliche max_budget ihres Besitzers. Ist dieses Limit erreicht, antwortet der Proxy mit 429 ExceededBudget – auch wenn im Team-Budget noch Reserve liegt. Das Release vom 28. Juli 2026, 21:26 UTC enthält außerdem einen Fix gegen die Ausgabe roher Virtual Keys in detaillierten Debug-Logs.

Was sich im Budget-Modell ändert

Bisher konnte ein Nutzer sein persönliches Budget mit einem teamgebundenen Key praktisch umgehen: Es galten Team- und Team-Member-Limits, das individuelle Limit wurde nicht erzwungen. Die Änderung greift laut LiteLLM beim Lesen des Budgets und bei der Kostenreservierung. Das macht die Policy konsistenter – ist aber bewusst als Breaking Change markiert.

Vor 1.94.0 Ab 1.94.0
Team-Key prüft Team- und Member-Budget. Team-Key prüft zusätzlich das persönliche max_budget des Key-Owners.
Persönliches Limit kann trotz Team-Key-Usage überschritten werden. Bei überschrittenem persönlichem Limit: 429 ExceededBudget, selbst bei Team-Reserve.

Was Gateway-Teams jetzt tun sollten

  • Budget-Hierarchie testen: Staging-Fälle für Nutzer mit ausgeschöpftem persönlichem Budget und verfügbarem Team-Budget ausführen.
  • 429 als Policy-Signal behandeln: Alerting und Runbooks müssen Provider-Rate-Limits von ExceededBudget unterscheiden.
  • Opt-out nur bewusst setzen: Wer die frühere Semantik benötigt, kann unter general_settings skip_user_budget_on_team_key: true konfigurieren. Das sollte eine dokumentierte Ausnahme sein, kein reflexartiger Hotfix.
  • Debug-Logging prüfen: Das Release entfernt einen Pfad, über den Virtual Keys bei --detailed_debug unredigiert geloggt werden konnten. Log-Aufbewahrung und Zugriffsrechte bleiben trotzdem ein eigenes Security-Thema.

Die eigentliche Nachricht ist weniger ein neues Feature als eine schärfere Betriebsgrenze: Kostenkontrolle und Secret-Hygiene werden im LLM-Gateway dort erzwungen, wo Teams sie brauchen – am Key und im Request-Pfad.

Quellen

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *