Was ist Cloud-Database-Monitoring?

Google gibt eine gute Definition dessen, was eine Cloud-Datenbank ist:

Eine Cloud-Datenbank ist eine Datenbank, die für den Betrieb in einer Public Cloud oder in einer hybriden Cloud-Umgebung entwickelt wurde, um die Organisation, Speicherung und Verwaltung von Daten innerhalb einer Organisation zu unterstützen. Cloud-Datenbanken werden als gemanagten Database-as-a-Service (DBaaS) angeboten oder auf einer cloudbasierten virtuellen Maschine (VM) bereitgestellt und von einem internen IT-Team selbst verwaltet.

Die Definition von Google unterscheidet also nicht zwischen einer "Cloud-Datenbank" und einer "Cloud-nativen Datenbank", sondern nur zwischen Datenbanken, die in der Cloud betrieben werden, und solchen, bei denen dies nicht der Fall ist. Andere Definitionen machen einen Unterschied. In diesen Definitionen sind "Cloud-Datenbanken" die Arten von Datenbanken, die in einem Cloud-Dienst betrieben werden können, aber nicht müssen, während "Cloud-native Datenbanken" diejenigen sind, die speziell entwickelt und gebaut wurden, um die Fähigkeiten und Vorteile von Cloud-nativen Architekturen und Technologien zu nutzen. Beide können und werden in einer Cloud betrieben, aber letztere sind von Anfang an nur für den Betrieb in einer Cloud konzipiert. Cloud-native Datenbanken werden genauer definiert als solche, die nach Cloud-nativen Grundsätzen entwickelt werden, bei denen Containerisierung, Microservices, Skalierbarkeit, Ausfallsicherheit und Agilität im Vordergrund stehen.

Das Cloud-Datenbanken-Monitoring konzentriert sich auf beide Arten von Cloud-Datenbanken, also auf native und nicht native. Monitoring-Tools von Cloud-Datenbanken arbeiten je nach Art der zu überwachenden Datenbank auf unterschiedliche Weise, insbesondere bei der Unterscheidung zwischen einer Datenbank, die von einem IT-Team bereitgestellt wird, und einer Datenbank, die von einem Cloud-Anbieter als verwalteter Dienst bereitgestellt wird. Monitoring-Lösungen können beide Varianten überwachen, unabhängig davon, wie wir sie definieren wollen. Das Monitoring ist bei weitem nicht identisch, aber die zu erfassenden Metriken sind im Großen und Ganzen dieselben.

In der Informatik gibt es mehrere Arten von Datenbanken, und dasselbe gilt auch für die Cloud. Eine ausführliche Erläuterung der einzelnen Arten würde den Rahmen dieses Artikels bei weitem sprengen. Es genügt eine kurze Definition der verschiedenen Typen, um besser zu verstehen, welche Datenbanken Cloud-Provider anbieten und warum es so viele davon gibt.

Relationale Datenbankmanagementsysteme (RDMS) sind seit mehr als vier Jahrzehnten der vorherrschende Typ. Oracle, MySQL, Microsoft SQL Server, PostgreSQL, SQLite, MariaDB und viele andere fallen in diese Kategorie und sind als Cloud-SQL-Datenbanken verfügbar. SQL-basierte Datenbanken sind nicht die einzigen RDMS, SQL ist nur einfach die am häufigsten verwendete Abfragesprache in relationalen Datenbanken.

RDMS sind tabellenorientiert, während eine ihrer Alternativen, das objektorientierte Datenbankmanagementsystem (OODMS), stattdessen auf Objekten basiert und Datenbanken mit objektorientierten Programmiersprachenfunktionen kombiniert. Sie sind heutzutage weit weniger verbreitet als RDMS und werden von Cloud-Anbietern nicht unbedingt angeboten.

Beliebter sind stattdessen NoSQL-Datenbanken, nicht-relationale Datenbanken, die ein anderes Modell verwenden, das nicht tabellenbasiert ist wie der Rest der SQL-Familie. Jede NoSQL-Datenbank gehört zu einer von über einem Dutzend Unterkategorien, je nachdem, welchem Datenmodell sie folgt. Unter den Cloud-Datenbanken sind Key-Value-Datenbanken (Couchbase, Redis, Memcached, Amazon DynamoDB, Azure Cosmos DB und andere), Wide Column Store (Cassandra, Google Cloud Datastore, Azure Cosmos DB, Amazon DynamoDB) und Graph-Datenbanken (Apache Graph, Azure Cosmos DB, Oracle Property Graph, RedisGraph, SAP HANA) verbreitet. Wie Sie vielleicht schon bemerkt haben, kann eine einzige Datenbank mehr als ein Datenmodell unterstützen.

Diese Modelle wurden von den beliebtesten Cloud-Datenbanklösungen gewählt, nämlich von AWS, Azure und GCP. Diese Liste ist keineswegs erschöpfend, da es zahlreiche Arten und Unterarten von Datenbanken innerhalb und außerhalb von Cloud-Diensten gibt. Im Rahmen dieses Leitfadens haben wir uns auf die Datenbanken beschränkt, die bei den drei Hyperscalern verfügbar sind.

NoSQL-Datenbanken haben ihren Platz innerhalb der AWS-Cloud unter Amazon DynamoDB. Das Monitoring einer DynamoDB-Instanz erfolgt einfach mit Amazon CloudWatch oder, wie üblich, mit einem der vielen vorhandenen Datenbank-Monitoring-Tools von Drittanbietern.

Amazon ElastiCache für Memcached und Amazon MemoryDB für Redis sind In-Memory-Datenspeicherservices, die auf maximale Leistung ausgelegt sind. Sie sind mit Redis oder Memcached kompatibel, hoch skalierbar und zuverlässig und eignen sich für Echtzeitanwendungen, die bis zu Hunderte von Millionen von Operationen pro Sekunde erfordern. Wenn Ihr Unternehmen ähnliche Anforderungen hat, ist das Monitoring von ElastiCache oder MemoryDB für Redis von entscheidender Bedeutung, um sicherzustellen, dass die angestrebten Leistungsniveaus erreicht und während der gesamten Lebensdauer Ihrer Anwendungen beibehalten werden.

Amazon DocumentDB ist eine typische Datenbank, die mit MongoDB kompatibel ist, und gleichzeitig eine Cloud-native Datenbank für MongoDB-Workloads. Ähnlich ist Amazon Keyspaces, ein weiterer vollständig verwalteter Datenbankservice, der statt MongoDB mit der Cassandra-Datenbank kompatibel ist. Beide sind serverlos und lassen sich ebenfalls leicht mit CloudWatch oder gängigen Cloud-Datenbank-Monitoring-Tools überwachen.

Eine Untergruppe der NoSQL-Datenbanken sind Graph-Datenbanken (GDB). Diese verwenden Datenstrukturen, die Graphen ähneln, und ordnen die Datenelemente im Speicher einer Sammlung von Knoten und Kanten zu, wobei letztere die Beziehung zwischen den Knoten darstellen. Amazon Neptune ist eine solche Datenbank, die vollständig verwaltet wird und in der Cloud angesiedelt ist.

Amazon Timestream ist eine etwas andere Art von Cloud-Datenbank. Es handelt sich um eine Zeitreihen-Datenbank, die Zeitreihen-Datenpunkte speichert und analysiert. Dabei handelt es sich in der Regel um Telemetrie-Punkte oder von IoT-Geräten (Internet der Dinge) stammende Daten, die bis zu Billionen von zeitbezogenen Einträgen erzeugen. Bei einem solchen Grad an Granularität und Skalierbarkeit ist das Monitoring eines solchen Datenbanktyps natürlich unerlässlich.

Als Datenspeicherdienst bietet Azure Azure-Cache für Redis an. Eine vollständig verwaltete, hoch skalierbare In-Memory-Lösung, die Echtzeitanwendungen und hohe Arbeitslasten unterstützt.

Unabhängig vom gewählten Datenbanktyp umfasst das Azure-Datenbank-Monitoring alle bisher aufgeführten Funktionen. Zahlreiche Monitoring-Widgets (Insights genannt) stehen zur Verfügung, die sich in Azure Monitor integrieren lassen, dem von Azure bereitgestellten Monitoring-Toolfür das Monitoring von Azure-Datenbanken und weiteren Cloud-Ressourcen. Man kann es als Ausgangspunkt verwenden, um einen schnellen Überblick über den Zustand Ihrer Cloud-Datenbanken zu erhalten, aber für eine leistungsfähigeres und anpassbares Monitoring wird eines der vielen Cloud-Datenbank-Monitoring-Lösungen wie Checkmk dringend empfohlen.

Die grundlegende NoSQL-Cloud-Datenbank auf GCP, die den Bereich der relationalen Datenbanken verlässt, ist Firestore. Einst Datastore genannt, handelt es sich um eine dokumentenbasierte, native Cloud-Datenbank, die eine universelle Wahl für moderate Arbeitslasten ist. Vollständig verwaltet, skalierbar und serverlos ist Firestore als unspezialisierte Cloud-Datenbank im Allgemeinen für jede Aufgabe geeignet. 

Wenn mehr Leistung gewünscht wird, ist Google Cloud Bigtable eine ähnliche Datenbank, die jedoch eine geringere Latenz, unbegrenzte Skalierung und eine viel höhere Verfügbarkeit garantiert. Sie ist kompatibel mit Apache HBase, einer non-relational Open-Source-Datenbank, und lässt sich leicht umstellen.

Teil des Google Cloud-Datenbank-Monitorings sind nicht nur typische Datenbanken, sondern auch ähnliche Datensammlungen. Google BigQuery gehört zu einer dieser Sammlungen, einem Data Warehouse. BigQuery ist wie AWS Redshift auf die Verarbeitung von Echtzeit-Workloads, Datenanalysen und das maschinelle Lernen ausgerichtet.

In-Memory-Caching-Dienste dürfen auf GCP nicht fehlen und Memorystore für Redis und Memcached wird auf Google-Cloud unterstützt. Mit niedriger Latenz und hoher Leistung ist Memorystore bei allen drei großen Cloud-Anbietern vertreten und eignet sich für Anwendungen, die Millionen von kleinen Operationen pro Minute erfordern, wie beispielsweise Newsfeeds, Chats, soziale Netzwerke, Web- und Mobilanwendungen und mehr.

Das Cloud-Datenbank-Monitoring umfasst mehrere Arten von Datenbanken, die verschiedene Cloud-Dienste umfassen. Diese exportieren ihre eigenen Metriken, die sich oft, aber nicht vollständig, überschneiden. Daher gibt es beim Monitoring von Cloud-Datenbanken geringfügige Unterschiede, je nachdem, um welche Art von Datenbank es sich gemau handelt. Weitere Unterschiede ergeben sich bei der Überwachung von Datenbanken, die in verschiedenen Clouds eingesetzt werden. Typ und Name einer Metrik können sich von denen einer anderen Cloud unterscheiden, obwohl es sich um den denselben Datenbanktyp handelt.

Das bare Minimum beim Monitoring ist das Überprüfen von einigen Metriken, um die Effizienz, den Zustand und möglicherweise die Sicherheit jeder Ihrer Cloud-Datenbanken zu gewährleisten. 

Für das Monitoring der Datenbankleistung sind CPU- und Speicherauslastung, Anzahl der Datenbankverbindungen, Anzahl der ausstehenden I/O-Anfragen, die auf Zugriff auf die Festplatte warten, sowie der ein- und ausgehende Datenverkehr der Datenbankinstanz von zentraler Bedeutung. Diese Metriken sollten niemals ignoriert werden. Lesevorgänge auf der Festplatte, belegter lokaler Speicherplatz, Leselatenz und -durchsatz sowie die Anzahl der Schreibvorgänge pro Sekunde sind ebenfalls äußerst aufschlussreich und lassen sich in allen Cloud-Datenbanken überwachen.

Unabhängig davon, ob Sie ein Google-Cloud-Datenbank-Monitoring oder ein Azure-Datenbank-Monitoring betreiben müssen oder ob Sie sich auf eine AWS-Umgebung für Ihre Datenbanken verlassen, damit haben Sie in jeder Umgebung die wichtigsten Metriken für Ihre Datenbank im Monitoring.

Schließlich gilt es, die Sicherheit von Cloud-Datenbanken durch ein genaues Monitoring von Cloud-Datenbanken zu gewährleisten. Verdächtige Aktivitäten oder unbefugte Zugriffsversuche muss man sorgfältig überwachen, um Datenbanken vor Sicherheitsverletzungen zu schützen. Daten im Ruhezustand und bei der Übertragung sollten idealerweise verschlüsselt werden, um die Standard-Sicherheits- und Compliance-Anforderungen zu erfüllen. Überprüfen Sie Audit-Protokolle, um die Aktivitäten aller Datenbanknutzer zu verfolgen und so potenzielle Sicherheitsverstöße zu erkennen. Dies sind die grundlegenden Prüfungen, die die Sicherheit von Cloud-Datenbanken betreffen, aber bei weitem nicht die einzigen.

Bei den Monitoring-Lösungen für Cloud-Datenbanken von Drittanbietern ist die Situation etwas anders. In den meisten Fällen bieten diese eine kostenlose Stufe an, die für kleine Unternehmen und begrenzte Anwendungsfälle ausreicht, und für größere Arbeitslasten wird dann ein Abonnement berechnet. Diese sind in der Regel günstiger als die integrierten Tools in AWS, Azure oder GCP. Die Preisstaffelung hängt eher von der Anzahl der zu überwachenden Hosts oder Services ab als von der tatsächlichen Menge der genutzten Ressourcen. Während sich das Monitoring von Hosts als teuer erweisen kann, sind Services in der Regel weniger kostenintensiv. Checkmk folgt dem Modell des Monitorings von Services, mit einer großzügigen kostenlosen Stufe, die sich perfekt für neue Benutzer eignet, um das Tool kennenzulernen und später das Abonnement zu erweitern, wenn sie von seiner Nützlichkeit überzeugt sind.

Das Cloud-Datenbanken-Monitoring ist ein komplexes Unterfangen, das nur teilweise durch die integrierten Tools der Cloud-Anbieter abgedeckt wird. Diese reichen für die typischsten Anwendungsfälle aus, und wenn sind nur wenige Anpassungen erforderlich. Sobald Ihre Cloud-Infrastruktur wächst oder Sie eine ziemlich komplizierte On-Premises-Infrastruktur in die Cloud verlagern, stoßen diese Tools jedoch an ihre Grenzen. Externe Lösungen zum Monitoring von Cloud-Datenbanken, wie Checkmk, können weit über diese Grenzen hinausgehen und eine vollständige Monitoring-Lösung für kleine und große Unternehmen darstellen.