Geschäftsbereiche

Sondern danach, wer verantwortlich ist, wenn etwas ausfällt, und auf welcher Ebene man zu suchen beginnt.

Das Netz ist ausgefallen, Anrufe kommen nicht durch, im Rechenzentrum fehlt der Strom, ein gehosteter Server steht, ein Container-Cluster verhält sich auffällig, ein Systemdienst ist unterbrochen — für die Kundschaft ist all das schlicht „kaputt", doch die Wege zur Diagnose sind völlig verschieden. Geschäftsbereiche gibt es, damit jede Art von Ausfall eine klare erste Zuständigkeit und ein klares Handlungsdokument hat, statt die Kundschaft raten zu lassen, wen sie anrufen soll.

Zugleich arbeiten die sechs Bereiche nicht isoliert. Bereichsübergreifende Ausfälle sind die zeitaufwendigste Art — das Netz wirkt in Ordnung, der Host wirkt in Ordnung, und doch verbindet sich der Dienst nicht; das Problem sitzt oft genau an der Grenze zweier Bereiche. Gemeinsame Architekturdokumente, Geräteverzeichnisse und Änderungsprotokolle lassen die bereichsübergreifende Diagnose von einer gemeinsamen Faktenlage ausgehen.

Zuständig für die drei Netzsysteme Backbone, Regional- und Managementnetz, einschließlich externer Leitungsanbindung, BGP-Routing, Zonenkopplung, VLAN-Planung, Firewall-Richtlinien, VPN, Verwaltung der Netzsegmente, Domains und DNS sowie Ausstellung und Rotation von Zertifikaten. Die Technik umfasst MikroTik-Router, Dell-EMC- und D-Link-Switches, Extreme-Switches und OPNsense-Firewalls.

Das Schwierigste am Netzbetrieb ist nicht, die Konfiguration einzugeben, sondern zu wissen, wie sie gerade aussieht und warum sie so gesetzt wurde. Segmente, VLANs, Routen und Freigabelisten werden aus einer einzigen Quelle verwaltet, und die Gerätekonfiguration wird durch Automatisierung aus dieser Quelle erzeugt, statt Gerät für Gerät eingetippt zu werden.

Das Managementnetz ist vollständig vom Backbone und den Regionalnetzen isoliert — selbst wenn der Backbone angegriffen wird, lassen sich betroffene Geräte weiterhin über das Managementnetz behandeln.

Zuständig für externe Leitungsanbindung, Standleitungen, Standortkopplung und Unternehmenskommunikation, einschließlich Internetzugang, Unternehmensstandleitungen, Site-to-Site-Verbindungen, Cloud-Telefonanlage, Sprach- und Videokommunikation sowie Messung und Sicherung der Kommunikationsqualität.

Der Wert von Telekommunikationsdiensten fällt im Alltag kaum auf; er fällt erst in den wenigen Minuten eines Ausfalls auf. Der Betrieb konzentriert sich daher auf zwei Dinge: Redundanzauslegung, bei der jede Ebene aus Leitung, Route und Gerät einen ausdrücklich definierten Umschaltweg hat, und Messung, also die laufende Erfassung von Latenz, Paketverlust und Verfügbarkeit, damit Probleme behandelt werden, bevor die Kundschaft sie bemerkt.

Zuständig für Racks, Strom, Kühlung, physische Geräte, Virtualisierungsplattformen und Speichereinrichtungen. Die Virtualisierung nutzt VMware vSphere und Proxmox VE, aufgeteilt nach Lastcharakteristik; der Speicher ist nach Zweck gestuft über Ceph, TrueNAS, QNAP und Synology, wobei das Speichernetz nach Gerätetyp und nutzender Plattform segmentiert ist.

Am meisten unterschätzt wird beim Rechenzentrumsbetrieb schlicht die Frage, welche Anlagen überhaupt vorhanden sind. Ein laufendes Anlagenverzeichnis wird über physische Gerätecodes geführt und eins zu eins auf die Hostnamen der Virtualisierungsplattform abgebildet, sodass Rack, Standort und Rolle allein aus dem Code hervorgehen.

Zuständig für Server-Hosting auf Kundenseite, Cloud-Server, Datenbank-Hosting, Anwendungs-Hosting und Speicher-Hosting. Die Kundschaft wird je nach Größe und Anforderungen in Zonen geführt; Kundendatenbanken und -speicher liegen gebündelt in der Hosting-Zone statt in jeder Umgebung einzeln aufgebaut.

Das Kernversprechen des Hostings ist Isolation. Alles, was als „Kunden sehen einander nicht" behauptet wird, muss tatsächlich getestet sein, bevor es in einen Servicevertrag gelangt — geprüft wird unter anderem, ob ein eingeschränktes Zugangsmerkmal fremde Ressourcennamen auflisten und ob es fremde Daten lesen kann. Fällt ein Test durch, wird die Isolationsgranularität gröber gefasst, statt eine Erwartung aus dem Entwurf als Tatsache zu versprechen.

Zuständig für Container-Cluster, Image-Registries, Pipelines für Continuous Integration und Deployment, Observability-Einrichtungen und Message-Pipelines. Die Container-Orchestrierung nutzt Kubernetes; Images tragen eine Versionskennung und werden per Digest fixiert, und offizielle Fremd-Images werden stets auf Upstream-Version und Digest fixiert, nie auf ein bewegliches Tag.

Eine weitere Aufgabe ist, „der Dienst läuft" und „der Dienst wird tatsächlich genutzt" auseinanderzuhalten. Caches, Queues und Monitoring teilen eine Eigenschaft: Fallen sie aus, halten sie den Dienst nicht an, sie verschlechtern sich lediglich still. Das Abnahmekriterium ist daher nicht „die Anwendung lebt noch", sondern die Zahl der Verbindungen und der Durchsatz auf der anderen Seite — kein Ergebnis ist ein Fehler, auch ohne Fehlermeldung.

Zuständig für Betriebssystem-Baselines, Host-Initialisierung, Backup und Wiederherstellung, Sicherheits-Baselines und turnusmäßige Prüfungen. Debian ist das Standardbetriebssystem; Ausnahmekategorien sind in der Dokumentation einzeln samt Begründung aufgeführt.

Die Ausnahmeliste ist selbst ein Steuerungsmittel. Die Regel lautet, dass eine Ausnahme ihren Grund und ihren Geltungsbereich nennen muss und dass der Bereich eng gefasst wird. Sobald der Grund einer Ausnahme als „das ist bequemer" formuliert wird, wächst die Liste ohne Ende — und sobald die Liste lang ist, bedeutet der Standard selbst nichts mehr.