Klinikverbund setzt auf Open-Source-Monitoring in Docker-Containern
Wer ist Paracelsus?
„Medizinisch kompetent, menschlich engagiert.“ So lautet das Motto der Paracelsus-Kliniken und mit diesem Ansatz baut das IT-Team das Monitoring für den Klinikverbund auf. Ziel ist eine zentralisierte IT-Überwachung, um dem medizinischen Fachpersonal eine optimale Grundlage zur Behandlung der Patienten zur Verfügung zu stellen.
Ich bin immer wieder überrascht, wie einfach sich Checkmk im Alltag nutzen lässt. Gerade, wenn man andere Open-Source-Tools kennt, ist Checkmk eine Wohltat. Die Verwaltung von Hosts ist wirklich simpel.
Die IT-Verantwortlichen benötigten größtmögliche Sichtbarkeit in komplexen IT-Umgebungen mit zahlreichen Medizingeräten über verschiedene Standorte hinweg. Das IT-Team entschied sich deshalb 2015 für den Wechsel zu Checkmk.
Im Jahr 2020 überwacht das IT-Team Assets in zehn Kliniken mit 600 Hosts und insgesamt 15.000 Services. Paracelsus setzt ausschließlich auf die Checkmk Raw Edition und betreibt alle Monitoring-Instanzen in Docker-Containern.
Nach den positiven Erfahrungen in der Paracelsus Klinik Henstedt-Ulzburg arbeitet das IT-Team daran, das Monitoring an weiteren Standorten der Paracelsus-Kliniken in Deutschland auf Checkmk umzustellen.
Höchste Ansprüche im Gesundheitswesen
Die Gesundheitsbranche ist schon immer ein Vorreiter bei der Digitalisierung gewesen. Zum Beispiel findet ein Großteil der Kommunikation zwischen verschiedenen Healthcare-Devices bereits über digitale Kanäle statt. Gerade wegen der immer größeren Datenmengen müssen die IT-Abteilungen reibungslose Prozesse sicher stellen. Eine Fehlfunktion eines Gerätes bringt den Behandlungserfolg von Patienten oder sogar deren Wohlergehen in Gefahr. Daher müssen IT-Verantwortliche Probleme schnell und genau erkennen können.
Das IT-Team der Paracelsus-Klinik Henstedt-Ulzburg löste genau diese Herausforderung mit Checkmk. Im Jahr 2015 stieg es von Nagios und Icinga auf die Checkmk Raw Edition um. Ausschlaggebender Grund für den Wechsel war der große Aufwand für die Konfiguration des Monitorings mit der alten Software, der nicht mehr durch das IT-Team zu leisten war.
Paracelsus hat den Anspruch, den Informationsstrom inklusive des kompletten Lebenszyklus einzelner Dateien im Monitoring abzubilden. Dazu muss man die spezielle IT-Kommunikation im Gesundheitswesen verstehen: In der Regel nutzen medizinische Geräte Steuerungssysteme, die man auf virtualisierten Middleware-Maschinen aufsetzt. Für medizinische Devices sind diese Verwaltungssysteme der einzige Weg, um mit dem Netzwerk zu interagieren. Die Steuerungssysteme verteilen den Input aus den Medizingeräten, wie zum Beispiel Röntgenaufnahmen, anschließend über das Netzwerk und senden die Daten an Kommunikations- Server, zum Beispiel über Java-Schnittstellen. Diese geben die Informationen dann an Subsysteme wie Krankenhausinformationssysteme (KIS) weiter. All diese Elemente galt es zu überwachen.
Die Herausforderung
Das IT-Team suchte eine Open-Source-Monitoring-Lösung, die den strengen Vorgaben für Datenschutz und IT-Sicherheit im Healthcare-Bereich entspricht. Gleichzeitig muss die IT-Überwachung einfach bedienbar sein. Die zuvor eingesetzten Tools waren aufwändig zu konfigurieren. Zudem sollte die IT-Überwachung umfassende Visibilität ermöglichen und technologisch entsprechend ausgereift sein, um auch ungewöhnliche Assets wie medizinische Geräte überwachen zu können.
Leichter Wechsel weg von Nagios
Für Checkmk sprach, dass es Plugins von Nagios und Icinga ohne Probleme übernehmen kann, sodass nur minimale Anpassungen notwendig waren. Entscheidender Grund war aber die leichte Konfiguration von Checkmk, sowie die große Menge an verfügbaren Checkmk-Plugins. Das IT-Team von Paracelsus merkte schnell, dass die offiziellen Checkmk-Plugins häufig präziser arbeiten und im Vergleich zu den Legacy-Plugins der alten Überwachungslösungen die bessere Wahl sind.
Paracelsus setzt in seinem Monitoring auf Checkmk-Agenten oder Integrationen mit Herstellerschnittstellen. Beispielsweise überwacht das IT-Team Appliances wie Cisco ASA über die Integration von Checkmk. Eine große Hilfe für Paracelsus ist das Checkmk-Plugin zur Überwachung einzelner Dateien (Fileinfo-Check). Dies hat die praktische Umsetzung enorm erleichtert. Im Netzwerkbereich überwacht das IT Team auch einige Geräte wie Switches über SNMP. Das Team von Paracelsus hat so sämtliche Ports im Blick und kann sicherstellen, dass sie fehlerfrei funktionieren.
Die Fähigkeit, detaillierte Informationen aus gleich mehreren Quellen abzurufen und zu kombinieren, nutzt Paracelsus, um Fehlerursachen möglichst präzise einzugrenzen. Paracelsus setzt in allen Kliniken auf vordefinierte HL7-Standards. Alle austauschten Daten folgen der gleichen Struktur und werden von den Endgeräten immer nach vorgegebenen Mustern verarbeitet. Das IT-Team überwacht die Einhaltung dieser Verarbeitungsschemas.
Die Lösung
2015 entschied sich Paracelsus für den Einsatz der Checkmk Raw Edition in der Klinik Henstedt-Ulzburg. Die dortige IT-Abteilung löste Nagios und Icinga durch Checkmk ab und baut die Überwachung stetig aus. Seit 2018 arbeitet Paracelsus an der Integration von weiteren Standorten. Aktuell überwacht das IT-Team bereits 600 Hosts in 10 Kliniken in ganz Deutschland mit Checkmk. Dabei setzt Paracelsus ausschließlich auf das Deployment von Checkmk in Docker-Containern.
Überwachung von komplexen Prozessen
Wird eine Datei vom empfangenden Gerät oder Server nicht akzeptiert oder lässt sich diese nicht weiterleiten, verweilt sie dort im lokalen Speicher. Das IT-Team prüft deshalb beispielsweise die Zeitstempel der Dateien oder die Größe von bestimmten Ordnern auf den Systemen. Das Monitoring erkennt, wenn Daten zu lange an einem Ort bleiben oder Verzeichnisse zu groß werden. Es bemerkt auch, wenn der Zielort der Datei nicht erreichbar ist oder Server zu viele Anfragen bekommen.
Durch die umfassende Überwachung der einzelnen Dokumente und aller vernetzten Systeme kann Paracelsus Fehler jederzeit genau lokalisieren. Die Alarmierungsschwellwerte hängen vom jeweiligen System ab. Bei manchen Medizingeräten werden die Dateien nach erfolgreicher Verarbeitung gelöscht, andere haben Wartelisten (Message Queues). Entsprechend passt Paracelsus das Monitoring an den Gerätetyp oder die Dateien an. Durch die Erfahrung des Paracelsus-Teams und der leichten Konfiguration von Checkmk ist selbst die Einrichtung von komplexen Schwellwerten leicht zu bewerkstelligen. Zudem lassen sich Bedingungen wie Zeiträume ebenfalls miteinbeziehen.
Die Vorteile
Paracelsus ist beeindruckt von der Benutzerfreundlichkeit und der durchgängigen Sichtbarkeit aller Assets. Im Vergleich zu vorherigen Lösungen spart das IT-Team viel Zeit durch die bessere Bedienbarkeit von Checkmk. Durch den Einsatz der Open-Source-Version von Checkmk fallen außerdem keine Kosten für Software-Lizenzen an.
Pläne für die Zukunft
Die Implementierung über Docker hat Paracelsus bewusst gewählt, da der Klinikverbund in vielen weiteren Bereichen ebenfalls auf Container-Infrastrukturen setzt. Jede Klinik verfügt zum Beispiel bereits heute über einen Kubernetes-Cluster, den man ebenfalls mit Checkmk überwacht. Zudem nutzt Paracelsus die Checkmk-Integrationen mit Grafana und Prometheus. Dies erlaubt die Erstellung von aussagekräftigen Visualisierungen und eine Verzahnung mit den Monitoring-Tools der Entwicklerteams.
Paracelsus möchte zunächst möglichst viele Niederlassungen mit Checkmk-Instanzen versorgen. In manchen Krankenhäusern löst Checkmk weitere Legacy-Tools ab, in andern gab es bisher noch kein richtiges Monitoring. Die lokalen IT-Verantwortlichen begrüßen in jedem Fall den Einsatz von Checkmk, da sich IT-Probleme durch das Monitoring schneller erkennen und sogar vermeiden lassen. Zudem zeigt Checkmk ungenutzte Ressourcen und Systeme auf.
Paracelsus legt den Fokus auf die Aufnahme von weiteren Krankenhäusern in das Monitoring. Zudem plant man die Überwachung von Cloud Assets. Paracelsus hat bereits AWS und Azure Cloud im Einsatz, zudem hostet man Prometheus in der Azure Cloud. Daher möchte der Klinikverbund in Zukunft zusätzlich nun auch seine AWS und Azure Assets mit Checkmk überwachen.
Allein das Standard-Set von über 1.900 offiziellen Plugins ist unglaublich mächtig und für uns eine große Hilfe.