SGLang 0.5.17: Warum Agenten-Inference jetzt Sitzungsgedächtnis braucht

SGLang 0.5.17 ist kein gewöhnliches Runtime-Update: Das Projekt verlegt erstmals den Serving-Pfad vom Netzwerk-Ingress bis zum GPU-Scheduler teilweise in ein Rust-Frontend, ergänzt einen sitzungsbewussten Radix-Cache und erprobt eine MoE-Prefill-Strategie, die Expert-Dispatch über NVLink-P2P umgehen soll.

Drei Änderungen, die für den Betrieb zählen

• Rust an der Serving-Kante: Das initiale, multithreaded Rust-Frontend deckt laut Release Netzwerk-Ingress bis GPU-Scheduler ab – einschließlich OpenAI-kompatiblem API-Server und PD-Disaggregation. Das ist noch ein früher Architekturpfad, aber eine klare Ansage gegen Python als dauerhaften Engpass im Request-Handling.
• Cache mit Sitzungsgedächtnis: --enable-session-radix-cache macht Prefix-Eviction sitzungsbewusst. Aktive Agentenkontexte sollen bei Speicherdruck weniger leicht aus dem Cache fallen – relevant für Workflows mit vielen aufeinander aufbauenden Tool-Aufrufen.
• MoE-Prefill ohne klassischen Expert-Dispatch: Die neue DWDP-Strategie versucht, den Expert-Dispatch über NVLink-P2P zu umgehen. SGLang nennt in einem frühen Test auf vier B200 mit gpt-oss-120b bis zu 1,92× gegenüber DEP4; das ist ein projektspezifischer Frühwert, keine allgemeine Performance-Garantie.

Warum das mehr ist als ein Performance-Tuning

Agentenlasten verhalten sich nicht wie ein Strom unabhängiger Chat-Requests. Sie erzeugen langlebige Kontexte, unregelmäßige Tool-Schleifen und Lastspitzen, bei denen Modellgewicht- und Prefix-Cache-Entscheidungen direkt in Latenz und Kosten durchschlagen. SGLang adressiert diese Realität an drei Stellen zugleich: am Request-Eingang, in der Cache-Policy und in der MoE-Kommunikation.

Hinzu kommt ein Weight-Cache-Daemon, der Gewichte pro GPU im Speicher halten soll, um Neustarts großer Modelle zu verkürzen. Für Betreiber ist das ein nützlicher, aber klar abzugrenzender Baustein: Er ersetzt weder Kapazitätsplanung noch eine getestete Recovery-Strategie.

Was Plattformteams jetzt prüfen sollten

• Agenten separat messen: Cache-Hit-Rate, TTFT und Tail-Latenz für mehrturnige Tool-Workflows erfassen – nicht nur synthetische Single-Turn-Benchmarks.
• Rust-Frontend isoliert evaluieren: Der neue Pfad ist als initiales Frontend veröffentlicht. Staging, Observability und ein sauberer Fallback gehören vor einen produktiven Rollout.
• MoE-Werte reproduzieren: DWDP hängt an Topologie, Modell und Parallelisierungsstrategie. Die 1,92× sind ein Anlass zum Testen, kein Budget-Case.
• Restart-Pfad testen: Einen Weight-Cache-Daemon nur dann einplanen, wenn GPU-Speicherbelegung, Modellwechsel und Fehlerfall gemeinsam getestet sind.

Der interessante Trend ist nicht Rust allein. Inference-Runtimes beginnen, den Zustand von Agentensitzungen als Scheduling- und Cache-Problem zu behandeln.

Einordnung

Mit v0.5.17 wächst SGLang vom Modellserver zur differenzierteren Serving-Architektur. Der Release liefert außerdem Kimi-K3-, MiniMax-H3-, EmbeddingGemma- und LFM2.5-Support. Operativ bedeutsamer sind jedoch die Grundlagen: weniger unnötige Kommunikationswege bei MoE, weniger Cache-Verlust für aktive Sessions und ein Weg, den Control-Plane-Overhead aus Python herauszuziehen.

Primärquelle: SGLang v0.5.17 Release, veröffentlicht am 8. August 2026 um 00:19 UTC (02:19 Uhr MESZ). Die genannten Performancewerte stammen aus dem Release und sind dort ausdrücklich als Early Development eingeordnet.