Google Gen AI SDK 2.18.0: Deferred Service Tier kommt in den Vertex-Pfad

Diagramm: Eine Workload-Policy wählt die Deferred-Service-Tier-Option vor einem Vertex-Request; JSON Schema, Timeout, Retry und Trace-Attribute sind getrennte Kontrollpunkte.

Google hat Version 2.18.0 seines Gen-AI-Python-SDKs veröffentlicht. Der operative Kern der Änderung: Der bislang nicht öffentlich verfügbare deferred-Service-Tier ist jetzt im Vertex-Pfad des SDKs verfügbar. Das ist kein neues Modell, sondern eine zusätzliche Anfrageoption, die Teams bei der Kapazitäts- und Latenzplanung sichtbar behandeln sollten.

Was sich im SDK tatsächlich ändert

Das offizielle Release nennt neben dem Vertex-Feature drei für produktive Integrationen relevante Änderungen:

  • deferred auf Vertex: Der Service Tier wird öffentlich exponiert. Google dokumentiert im Release selbst jedoch keine Preis-, Durchsatz- oder SLA-Zusage. Wer ihn einsetzt, sollte ihn daher zunächst als explizite Betriebsvariante behandeln, nicht als automatische Kostenoptimierung.
  • JSON Schema für Function Declarations: Der Parser akzeptiert JSON Schema. Das reduziert Übersetzungslogik, wenn Tool-Schemas bereits aus einem API-Vertrag, Pydantic-Modell oder einer OpenAPI-nahen Definition stammen.
  • Weniger Arbeit beim Import: Validatoren werden erst bei erster Nutzung gebaut; die Interactions-API und der Requests-Stack werden nicht mehr pauschal beim Import geladen.

Die praktische Konsequenz: Service Tier gehört in die Request-Policy

Für Vertex-Nutzer ist das wichtigste Detail nicht der neue Enum-Wert, sondern die Architekturfrage dahinter: Welche Workloads dürfen auf einen aufgeschobenen Tier? Batch-nahe Extraktion, asynchrone Dokumentenaufbereitung oder nicht interaktive Evaluationen sind andere Kandidaten als ein synchroner Copilot-Request.

Teams sollten den Tier deshalb nicht verstreut in Prompt-Code setzen, sondern als Teil ihrer Gateway- oder Client-Policy führen: mit Workload-Klasse, Timeout, Retry-Verhalten, Observability-Feld und einer klaren Fallback-Entscheidung. Erst Messwerte im eigenen Projekt zeigen, ob das Latenzprofil zur Anwendung passt.

from google import genai
from google.genai import types

client = genai.Client(
    enterprise=True,
    project="my-project",
    location="global",
)

# Service-Tier bewusst an eine Workload-Policy binden.
config = types.GenerateContentConfig(
    # service_tier=deferred  # Feld/zulässige Werte in der Vertex-Umgebung prüfen
)

Der Code ist absichtlich keine Copy-paste-Empfehlung für ein Produktionsprofil: Das Release bestätigt die öffentliche Verfügbarkeit; konkrete Werte und Betriebsbedingungen müssen gegen die verwendete Vertex-API-Dokumentation und Projektkonfiguration geprüft werden.

Auch Automatic Function Calling wird klarer eingegrenzt

2.18.0 korrigiert Automatic Function Calling (AFC) im Chat-Kontext und warnt bei direkten Aufrufen von Models.generate_content sowie den Stream-Varianten. Das passt zu einem inzwischen verbreiteten Muster: Tool-Ausführung braucht einen zustandsbehafteten Gesprächskontext, nicht nur einen einzelnen Modellaufruf. Wer AFC bisher direkt am Models-Modul nutzt, sollte die Warnungen im Upgrade gezielt testen.

Upgrade-Checkliste

  • SDK in einer Staging-Umgebung auf google-genai==2.18.0 pinnen und Importzeit sowie Cold Starts messen.
  • Tool-Definitionen mit vorhandenen JSON-Schemas gegen den neuen Parser testen.
  • Für Vertex-Requests Workloads definieren, die einen aufgeschobenen Tier überhaupt verwenden dürfen.
  • Timeouts, Retries und Trace-Attribute je Tier dokumentieren; keine Annahmen zu Kosten oder SLA aus dem SDK-Release ableiten.
  • AFC-Flows auf Chats umstellen beziehungsweise die neuen Warnungen als Migrationssignal behandeln.

Einordnung

Das Release ist kein großer Plattformwechsel. Es macht aber zwei oft unterschätzte Schichten expliziter: Service-Level-Entscheidungen im Client und schemafeste Tools an der Agentengrenze. Genau dort entstehen in der Praxis die Unterschiede zwischen einem funktionierenden Demo-Call und einem steuerbaren LLM-Betrieb.

Quellen

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *