Webserver-Monitoring mit Checkmk

Schritt 1: Read-only-Zugang für das Monitoring der Datenbank

Schritt 2: Überwachung der Webseite und des SSL/TLS-Zertifikats

Checkmk bietet zahlreiche Mechanismen, um eine große Menge an Hosts zu verwalten. Ich nutze eine davon, die Verwaltung über Ordnerstrukturen.

• Wechseln Sie zur Benutzeroberfläche von Checkmk und erstellen Sie einen Ordner für die Hosts Ihrer Webserver-Umgebung.
• Gehen Sie zu Setup -> Hosts.
• Klicken Sie auf Add folder.

• Unter Title geben Sie einen Namen für den Ordner an. Ich habe mich für „web server monitoring” entschieden. Lassen Sie die restlichen Felder wie gehabt.
• Klicken Sie auf Save. Sie sollten jetzt wieder im Main directory sein und Ihren neuen Ordner sehen.

Als ersten Host nehmen Sie Ihre Webseite auf, um sicherzustellen, dass diese über das Internet erreichbar ist.

• Öffnen Sie den Ordner, den Sie eben erstellt haben, indem Sie auf ihn klicken.
• Klicken Sie auf Add host. Nutzen Sie die Domain Ihrer Webseite als Hostname. In meinem Beispiel „www.checkmk.com”.
• Checkmk geht standardmäßig immer davon aus, dass Sie Systeme mit dem Checkmk Agenten überwachen. Dies ist hier jedoch nicht der Fall. Daher ändern Sie unter Monitoring agents die Auswahl bei Checkmk agent / API zu „no API integrations, no Checkmk agent”.
• Klicken Sie dann auf Save & go to service configuration.

Checkmk erstellt jetzt einen Host und pingt Ihre Webseite. Im nächsten Schritt nutzen Sie den aktiven Check „Check HTTP”, um einen Monitoring-Service zu diesem Host hinzuzufügen. Dieser prüft das Alter Ihres SSL-Zertifikats.

• Klicken Sie auf Setup und suchen Sie nach „http".
• Klicken Sie auf Check HTTP service.

• Unter Conditions, klicken Sie auf die Checkbox vor Explicit hosts. Geben Sie als Namen des Hosts Ihre Webseite an. In meinem Fall ist das erneut „www.checkmk.de”. Damit gilt diese Regel nur für diesen Host.
• Klicken Sie auf Save.

Bevor Sie weitermachen, ein kurzer Hinweis: Mit den Conditions können Sie über die Anwendung von Regeln entscheiden. Neben der Beschränkung auf einen oder mehreren Hosts stehen hier zum Beispiel auch Ordner, Labels und Tags als Verwaltungsmöglichkeiten zur Verfügung. Fall Sie nach diesem Tutorial noch Zeit haben, empfehle ich die 7. Episode der Checkmk Video-Tutorials. Sie geht im Detail auf das regelbasierte Monitoring, Host-Tags und Ordnerstrukturen in Checkmk ein.

Wenn Sie bereits Erfahrung mit Checkmk haben, können Sie den nächsten Schritt erahnen. Sie müssen die Änderungen aktivieren, damit Checkmk sie im operativen Monitoring anwendet.

• Klicken Sie auf gelbe Symbol mit dem Ausrufezeichen oben in der rechten Ecke. Nun sollten Sie die „pending changes” sehen.
• Klicken Sie auf Activate on selected sites, um die Änderungen zu übernehmen.

Jetzt haben Sie einen Ordner erstellt, indem sich ein Host befindet. Checkmk prüft nun das Ablaufdatum Ihres Zertifikats und die Erreichbarkeit Ihres Webservers. Außerdem haben Sie einen Nutzer mit Read-only-Zugang zur Überwachung Ihrer Datenbank vorbereitet. Im nächsten Schritt können Sie dann einen Checkmk Agenten mit der passenden Konfiguration zur Überwachung Ihres Webservers erstellen.

In meinem Fall sieht das Zertifikat gut aus. 14 Tage vor Ablauf würde der Service gelb werden und auf WARN springen. Wenn das Zertifikat in drei oder weniger Tagen abläuft, wechselt der Service auf rot und Status CRIT.

Schritt 3: Monitoring-Agenten in Checkmk backen

Schritt 3.1. Überwachung der Webserver-Applikation mit dem Nginx-Plugin

Um Nginx mit Checkmk überwachen zu können, muss das Nginx-Status-Modul aktiviert sein. Bei den meisten Linux-Distributionen ist das ngx_http_stub_status_module standardmäßig aktiviert. Sie können dies auf dem Terminal mit diesem Befehl überprüfen:

nginx -V 2>&1 | grep -o with-http_stub_status_module

Sie sollten als Antwort „--with-http_stub_status_modul” zurückbekommen. Ist das nicht der Fall, zeigt Ihnen dieses Tutorial, wie Sie das Modul aktivieren können. Wenn Sie sich versichert haben, dass das Nginx-Status-Modul aktiviert ist, geht es weiter in Checkmk:

• Gehen Sie auf Setup -> Agents und klicken Sie auf Windows, Linux, Solaris, AIX. Falls noch keine Agenten konfiguriert wurden, sehen Sie nur die „Default configuration”.
• Klicken Sie im oberen Menü auf Agent rules, der letzte Knopf von rechts. Sie sehen alle verfügbaren Agenten-Regeln. Am besten nutzen Sie daher die Suchfunktion und suchen nach „nginx”.
• Klicken Sie auf NGINX webservers (Linux). Natürlich können Sie auch nach anderen Plugins auf diese Weise suchen.

• Im Feld neben Create rule in folder müssen Sie statt Main directory Ihren neu erstellten Ordner auswählen, damit Checkmk die Regel nur für diesen Ordner anwendet. Dann klicken Sie auf den Knopf Create rule in folder.
• Sie können danach die meisten Felder leer lassen, aber natürlich können Sie eine Beschreibung und weitere Details hinzufügen. Prüfen Sie in jedem Fall die Ports, an denen der Agent die Monitoring-Daten einsammeln soll. 443 ist der Port für HTTPS und daher auch Default in Checkmk. Sie können den Port hier bei Bedarf anpassen. Dann klicken Sie auf Save.

Sie haben nun die erste Regel für Ihren Ordner erstellt, es gibt aber noch mehr zu tun.

Schritt 3.2. Logs überwachen mit dem Logwatch-Plugin

Sie können mit dem Checkmk Logwatch-Plugin jegliche Art von Logs überwachen und sollten es daher ebenfalls zu Ihrem Agenten hinzufügen. Das Vorgehen ist fast identisch wie zuvor, allerdings sollten Sie Checkmk dabei noch sagen, nach welcher Art von Events es Ausschau halten soll.

• Suchen Sie unter Setup nach „logfiles” um die Regel Text logfiles (Linux, Solaris, Windows) zu finden.
• Klicken Sie auf die Regel und tragen Sie unter Create rule in folder wieder den Ordner ein, den Sie erstellt haben. Klicken Sie anschließend auf Create rule in folder.

Im Bereich Text logfiles (Linux, Solaris, Windows) der Regel müssen nun konfigurieren, welche Log-Files Checkmk überwachen soll. Dazu geben Sie den Dateipfad an und bestimmen, bei welchen Events in den Logs der Service auf WARN oder CRIT gehen soll.

• Aktivieren Sie die Checkbox vor Configure a logfile section und fügen Sie den oder die Dateipfad(e) der Logs hinzu. Auf Ihrem Webserver sollten Sie zum Beispiel immer die Error-Logs im Auge behalten. In meinem Beispiel werden diese unter „/var/log/nginx/error.log” gespeichert.

Sie können auch mehrere Dateipfade angeben. Allerdings hängt das auch vom Aufbau der Log-Files ab. Sie sollten sich daher überlegen, ob es sinnvoll ist, mehrere Pfade anzugeben oder lieber mehrere Regeln für unterschiedliche Arten von Log-Files zu erstellen.

• Ich empfehle auf einem Webserver die Größe des Log-Files im Auge zu behalten. Aktivieren Sie dazu Watch the total size of the log file. Die Vorgabe von 100 Megabyte passt in den meisten Fällen. Dadurch können Sie schnell reagieren, falls Ihr Webserver plötzlich massenhaft Logs schreibt.
• Es gibt noch weitere Optionen, die Sie hier nutzen können. Das hängt aber von Ihrem Server ab. Wenn Sie sich nicht sicher sind, klicken Sie auf Help -> Show inline help. Dann zeigt Ihnen Checkmk Informationen zu Ihrer aktuellen Ansicht.

• Jetzt müssen Sie noch das eigentliche Event-Monitoring konfigurieren. Klicken Sie dazu auf Add message pattern und sagen Sie Checkmk, welche Events zu einer Veränderung des Service-Status führen sollen.
• Dazu müssen Sie wissen, wie ein Event im Log-File aussieht und dies entsprechend unter Pattern hinzufügen. In meinem Beispiel möchte ich, dass Checkmk kritische Fehler erkennt. Daher trage ich „.*(error|critical).*” unter Regular expressions for message classification ein.
• Unter Conditions binden Sie die Regel wieder an Ihren Ordner.
• Anschließend klicken Sie auf Save, um die Regel zu speichern.

Schritt 3.3. Konfiguration von mk-job zur Überwachung von Cronjobs

Sie können mit Checkmk jede Art von Cronjob überwachen. Dazu dient das Skript mk-job, das ein Teil des Checkmk-Agenten ist. Da ich die Ausführung meines Backup-Cronjobs überwachen möchte, füge ich die Konfiguration in Checkmk hinzu.

• Ähnlich wie beim Hinzufügen von Plugins können Sie wieder die Suche unter Setup benutzen. Der Suchbegriff ist in diesem Fall ist „mk-job job age”.
• Erstellen Sie wieder eine Regel für Ihren Ordner.
• Unter Value aktivieren Sie die Checkbox vor Maximum time since last start of job execution und geben anschließend Ihre gewünschten Schwellwerte ein. Ich habe mich für drei (WARN) und fünf (CRIT) Tage entschieden.
• Klicken Sie auf Save.

Es gibt natürlich weitere Optionen für die Überwachung. Je nach Server-Umgebung können Sie die Überwachung Ihrer Cronjobs hier anpassen. Sie können diesen Schritt aber auch überspringen, wenn Sie keine Schwellwerte definieren möchten. Wenn Sie später in Schritt 4 dieses Tutorials die Ausführung Ihrer Cronjobs überwachen, hätten Sie dann jedoch keine Schwellwerte definiert.

Schritt 3.4. Hinzufügen des MySQL-Plugins zum Agenten

Zur Überwachung von MySQL brauchen Sie das passende Plugin und die Benutzerdaten Ihres Read-only-Users:

• Sie gehen wieder auf Agent rules, und suchen nach „mysql”. Sie sollten ein Plugin mit dem Namen MySQL Databases finden.
• Klicken Sie auf das Plugin und erstellen Sie wieder die Regel in Ihrem Ordner.
• Wichtiger Unterschied: Sie müssen unter MySQL Databases die Checkbox vor Credentials to access the Database aktivieren, damit Checkmk über den Benutzer, den Sie zuvor angelegt haben, die Überwachungsdaten abfragen kann. Tragen Sie die Zugangsdaten ein. In meine Beispiel heißt der Nutzer „monitoring” und das Passwort ist „MyPassword”.
• Bei „Socket” und „Host” können Sie die Parameter anpassen, falls notwendig. In meinem Fall ist dies nicht nötig. Die Default-Werte „/var/run/mysqld/mysqld.sock” and „127.0.0.1” passen und ich muss nichts ändern.
• Klicken Sie auf Save.

Die Option „Run asynchronously” ist hilfreich, wenn Sie längere Laufzeiten von größeren MySQL-Instanzen berücksichtigen möchten oder wenn Sie nicht jede Minute ein Status-Update benötigen. Meine Datenbank ist aber recht klein, daher nutze ich diese Option nicht.

Agenten-Plugins erweitern die Fähigkeiten der Checkmk Agenten und fügen die gewählte Konfiguration automatisch hinzu. Sie können an dieser Stelle noch weitere Plugins hinzufügen, falls Sie weitere Systeme auf Ihrem Webserver überwachen möchten.

Falls es kein offizielles Plugin für ein System geben sollte, können Sie auch im Checkmk Exchange nachschauen. Dort teilen Community-Mitglieder ihre selbstgeschriebenen Monitoring-Erweiterungen. Allerdings sollten die meisten Monitoring-Use-Cases bereits durch die offiziellen Checkmk Plugins abgedeckt sein.

• Wenn Sie fertig mit dem Hinzufügen von Regeln/Plugins fertig sind, gehen Sie auf Setup -> Agents -> Windows, Linux, Solaris, AIX.
• Klicken Sie auf Bake agents.
• Akzeptieren Sie die „pending changes”.
• Nun sollten Sie unter Setup -> Agents -> Windows, Linux, Solaris, AIX Ihren neu konfigurierten Agenten finden. Laden Sie den Agenten herunter, indem Sie auf das Paket klicken, das zum Betriebssystem Ihres Webservers passt.
• Installieren Sie den Agenten auf dem Server, den Sie überwachen möchten.

Schritt 4: Überwachung von Cronjobs mit mk-job

Schritt 5: Aufnahme des Servers in die Überwachung

• Gehen Sie auf Setup -> Hosts und öffnen Sie den Ordner, den Sie erstellt haben.
• Klicken Sie auf Add host.
• Geben Sie unter Hostname den Server-Namen ein und klicken Sie auf Save & go to service configuration.
• Führen Sie einen Full service scan durch und warten Sie auf die automatische Service-Erkennung. Neben den Standard-Services des Agenten wie der CPU-Auslastung sollten auch die Daten der konfigurierten Agenten-Plugins zu sehen sein. In meinem Fall zu Nginx, Logs, meinem Backup-Cronjob und MySQL.
• Klicken Sie auf Fix all, um die Services in die Überwachung aufzunehmen.
• Anschließend müssen Sie wieder die „pending changes” annehmen.

Jetzt sollten Sie unter Monitor -> All hosts Ihren Webserver sehen können. Wenn Sie nun auf Ihren Webserver klicken, können Sie nun sämtliche Details einsehen.

Schritt 6: Benachrichtigungen

Checkmk bietet verschiedene Möglichkeiten, um Sie über problematische Zustände zu informieren. Sie müssen Checkmk nur sagen, wann es wen auf welche Weise informieren soll. Benachrichtigungen sind ein sehr breites Themenfeld, in diesem Tutorial will ich Ihnen das Konzept anhand eines kurzen Beispiels näherbringen.

Vielleicht geht es Ihnen wie mir und Sie haben in Vergangenheit die rechtzeitige Erneuerung Ihrer SSL/TLS-Zertifikate bereits einige Male vergessen. Damit das nicht wieder vorkommt, lasse ich mich von Checkmk mit einer kurzen E-Mail erinnern. Checkmk hat keinen eigenen Mail-Server. Bevor Sie Benachrichtigungen per E-Mail versenden können, müssen Sie daher einen Mail-Server auf Ihrem Checkmk Host-Server einrichten. Ich nutze dafür Postfix. Folgen Sie diesem Postfix-Tutorial, wenn Sie dazu eine Anleitung brauchen.

• Gehen Sie auf Setup -> Events -> Notifications.
• Klicken Sie auf Add rule. Unter Notification Method wählen Sie ASCII Email. Es gibt wie erwähnt viele Optionen. Sie sollten unter From eine existierende E-Mail-Adresse des Mail-Servers auf Ihrem Host-Server hinzufügen. Sonst wird die Nachricht wahrscheinlich von den meisten Empfängern geblockt. In meinem Fall ist das „webserver@cmkmonitoring.com”.
• Unter Contact Selection, deaktivieren Sie die Checkboxen All contacts of the notified object und aktivieren Sie Explicit email addresses. Fügen Sie eine Zieladresse hinzu, an die Checkmk die E-Mail versenden soll. In meinem Fall wähle ich „webmaster@checkmk.com”.
• Ganz wichtig sind die Conditions. Für mein einfaches Beispiel wähle ich die Checkbox Match services und füge „HTTPS SSL.check” hinzu. Das ist der Service, der das Alter meines Zertifikats prüft.
• Dann wählen Sie die Checkbox Match service event type und entscheiden, wann Sie eine Benachrichtigung bekommen möchten. Ich möchte nur eine E-Mail erhalten, wenn der Services meines Zertifikats im kritischen Bereich ist. Also passe ich die Vorauswahl entsprechend an und entferne die ersten beiden Checkboxen.
• Klicken Sie Save, und übernehmen Sie die Änderungen.

Zusammenfassung