LLM Operations

Liquid AI veröffentlicht zwei Long-Context-Encoder für CPU-Betrieb. Warum spezialisierte Modelle die LLM-Kostenarchitektur bei Klassifikation und Triage verändern können.

MCP Python SDK 2.0 ist stabil. Weil pip nun automatisch 2.x installiert, wird ein Dependency-Update für viele MCP-Server zur planbaren Migration.

Ollama 0.32.4 räumt gleich an drei Stellen auf, die für lokale Inferenz auf Apple Silicon relevant sind: Die Runtime unterstützt Laguna über die MLX-Engine, erstellt Output-Heads für Speculative-Decoding-Drafts …

SGLang 0.5.16 bringt confidence-gesteuertes speculative decoding. Für Betreiber zählen mindestens genauso die entfernten Quantisierungspfade, neue Defaults und umbenannte Flags.

NVIDIA will mit ModelExpress einen Engpass adressieren, der beim Betrieb sehr großer Sprachmodelle schnell teurer wird als ein einzelner Request: das wiederholte Laden identischer Gewichte. Statt jede neue …

vLLM 0.26.0 macht aus dem KV-Cache eine explizite Betriebsarchitektur. Das am 25. Juli veröffentlichte Release erweitert Offloading und sekundäre Storage-Tiers bis hin zu einem Object Store mit Workload …

Ollama 0.32.3 erweitert die lokale LLM-Runtime an drei Stellen, die im Betrieb zählen: CUDA läuft nun auf Windows ARM64, GLM-Tool-Calls gehen am Generierungsende nicht mehr verloren, und Downloads …

GitHub stellt seinen MCP-Server bereits auf den nächsten, zustandsfreien Protokollkern um. Der praktische Punkt dahinter: Remote-Toolserver können ohne Session-Speicher im Request-Pfad laufen – und Logging sowie Secret Scanning …

Upstage veröffentlicht Solar Open 2 mit 250B Gesamt- und 15B aktiven MoE-Parametern. Entscheidend für Teams: die praktische Self-Hosting-Prüfung.