Am vergangenen Mittwoch erlebte OpenAI einen der längsten Ausfälle in seiner Geschichte. Dienste wie der KI-gestützte Chatbot ChatGPT, der Video-Generator Sora und die Entwickler-API des Unternehmens waren stundenlang nicht erreichbar. OpenAI führte die Ursache auf ein fehlerhaftes neues Telemetriesystem zurück.

Das musst Du wissen – OpenAI entschuldigt sich

• Auslöser war ein neues Telemetriesystem: Das System wurde entwickelt, um Kubernetes-Metriken zu sammeln, löste jedoch unerwartet ressourcenintensive Prozesse aus.
• Großflächige Auswirkungen: Die Störung beeinträchtigte den Kubernetes-Kontrollbereich, wodurch wichtige Dienste wie DNS-Auflösungen gestört wurden.
• Komplexität erschwerte die Fehlerbehebung: Die Nutzung von DNS-Caching verzögerte die Erkennung des Problems. Zudem blockierten die überlasteten Kubernetes-Server den Zugriff für OpenAI-Ingenieure.
• Dauer des Ausfalls: Der Betrieb konnte erst nach etwa drei Stunden vollständig wiederhergestellt werden.
• Zukünftige Maßnahmen: OpenAI plant verbesserte Rollout-Prozesse und Notfallzugriffsmechanismen, um ähnliche Vorfälle zu vermeiden.

Was führte zum massiven ChatGPT-Ausfall?

Der Ausfall begann gegen 15 Uhr (Pacific Time) und betraf nahezu alle Dienste von OpenAI. Ein neues Telemetriesystem, das am selben Tag implementiert wurde, sollte Kubernetes-Metriken sammeln, führte jedoch zu unerwartet ressourcenintensiven API-Anfragen. Diese Anfragen überlasteten die Kubernetes-API-Server, die essenziell für den Betrieb vieler OpenAI-Dienste sind.

DNS-Auflösungen, ein Schlüsselprozess, der Domainnamen in IP-Adressen umwandelt, wurden ebenfalls beeinträchtigt. DNS-Caching verzögerte zudem die Sichtbarkeit des Problems, was den Rollout des Telemetriesystems ungehindert weiterlaufen ließ.

Welche Fehler behinderten die schnelle Wiederherstellung?

OpenAI identifizierte mehrere Faktoren, die die Fehlerbehebung erschwerten:

1. Überlastete Kubernetes-Server: Diese verhinderten, dass OpenAI-Ingenieure schnell auf die Server zugreifen konnten.
2. Unvorhersehbare Interaktionen: Mehrere Systeme und Prozesse versagten gleichzeitig und in unvorhersehbarer Weise.
3. Langsame Tests: Die internen Tests erkannten nicht die potenziellen Auswirkungen des Telemetriesystems auf den Kubernetes-Kontrollbereich.

OpenAI bemerkte das Problem zwar wenige Minuten vor dem Auftreten der Kundenprobleme, die Behebung dauerte jedoch mehrere Stunden.

Wie reagiert OpenAI auf diesen Vorfall?

In einer offiziellen Stellungnahme entschuldigte sich OpenAI bei seinen Nutzern und kündigte konkrete Maßnahmen an:

• Phasenweise Rollouts mit besserer Überwachung: Infrastrukturänderungen sollen künftig stufenweise eingeführt und intensiver überwacht werden.
• Notfallzugriff auf Kubernetes-Server: Neue Mechanismen sollen sicherstellen, dass Ingenieure jederzeit auf die Kubernetes-API-Server zugreifen können.
• Verbesserte Tests: Tests sollen überarbeitet werden, um ähnliche Konstellationen von Systemfehlern vorherzusehen.

Das Unternehmen betonte, dass es seine eigenen Qualitätsstandards nicht erfüllt habe, und versprach, solche Vorfälle in Zukunft zu minimieren.

Konkrete Tipps und Anleitungen

Falls Du ähnliche technische Vorfälle in Deinem Unternehmen verhindern möchtest, könnten die folgenden Ansätze hilfreich sein:

1. Schrittweise Implementierungen: Führe neue Systeme oder Updates in kleinen, kontrollierten Schritten ein, um die Auswirkungen zu minimieren.
2. Umfassendes Monitoring: Stelle sicher, dass umfassende Monitoring-Tools für kritische Infrastrukturkomponenten wie Kubernetes vorhanden sind.
3. Notfallpläne erstellen: Implementiere Mechanismen für den schnellen Zugriff auf zentrale Systeme, auch bei schwerwiegenden Ausfällen.
4. DNS-Caching überprüfen: Achte darauf, dass DNS-Caching die Sichtbarkeit von Infrastrukturproblemen nicht behindert.
5. Testläufe unter realistischen Bedingungen: Simuliere potenzielle Fehlerquellen, um unerwartete Interaktionen zwischen Systemen aufzudecken.

Fazit OpenAI entschuldigt sich

Der Ausfall bei OpenAI zeigt, wie komplexe Infrastrukturänderungen ungeahnte Dominoeffekte auslösen können. Obwohl der Vorfall behoben wurde, hat OpenAI wichtige Lektionen gelernt und Maßnahmen zur Verbesserung der Stabilität und des Krisenmanagements angekündigt.

Das Unternehmen bleibt weiterhin ein zentraler Akteur in der KI-Entwicklung, doch dieser Vorfall unterstreicht die Herausforderungen bei der Verwaltung moderner Technologien.

Quellen

TechCrunch: OpenAI blames its massive ChatGPT outage on a ‘new telemetry service’