Elastic Stack und Elasticsearch

Elasticsearch und den Elastic Stack (früher ELK Stack) gibt es schon seit einigen Jahren, für jemanden in der IT ist das fast eine halbe Ewigkeit. Der Elastic Stack kommt von der amerikanischen Firma Elastic und basiert auf Apache Lucene und Java. Ich beobachte Elasticsearch schon eine Weile, habe bisher aber nur grobe Erfahrungen damit gesammelt: als Such-Appliance für Suchen nahezu in Echtzeit im Web (die Ergebnisse kommen fast sofort). Intensiv habe ich mich mit Elasticsearch bisher nicht beschäftigt. Das ändert sich gerade.

Derzeit gehören diese kostenlosen Produkte zum Elastic Stack:

• Beats (überträgt Daten aus verschiedenen Quellen)
• Logstash (leitet Daten durch eine Pipeline, reichert sie an, filtert sie)
• Elasticsearch (speichert Daten und gibt sie zurück, das Hauptprodukt)
• Kibana (stellt Daten grafisch dar und hilft beim Umgang mit Elasticsearch)

Der Elastic Stack basiert auf Linux, und um Installation und Betrieb müssen Sie sich selbst kümmern: zum Beispiel direkt in einem Rechenzentrum wie Interxion oder bei einem Hoster wie AWS. Sie können die Produkte direkt installieren oder in einen Docker-Container packen, was der bevorzugte Weg ist. Windows-Systeme lassen sich aber ebenfalls leicht anbinden. Zu den kostenlosen Basisprodukten des Elastic Stack gibt es kostenpflichtige Angebote. Schließlich wollen auch Hunderte Beschäftigte von Elastic irgendwie bezahlt werden:

• X-Pack als Erweiterungspaket für den Elastic Stack (für Monitoring bei Bedarf oder kostenpflichtige Erweiterungen, um den Elastic Stack abzusichern und Daten zu analysieren)
• Elastic Cloud als Version, die Elastic selbst hostet (Versions-Upgrades bemerkt der Endnutzer nicht, und Sie bekommen vollen Support)
• Elastic Enterprise Cloud (wie Elastic Cloud, nur dass man sie im eigenen Rechenzentrum betreibt)

Elasticsearch ist der Hauptgrund für den großen Erfolg der Software, denn hier hat alles angefangen. Mit Elasticsearch können Sie große Mengen an Informationen verarbeiten, durchsuchen und anzeigen. Das ist, als würden Sie Daten wie in einer Datenbank ordnen: Sie legen Daten strukturiert in Elasticsearch ab und rufen sie wieder ab, aber im Vergleich zu einer Datenbank sehr schnell. Clustering über verschiedene Dienste ist bereits eingebaut.

Elasticsearch als Suchmaschine für Inhalte Anders als eine Datenbank kennt Elasticsearch weder Primärschlüssel noch Relationen. Elasticsearch sollte deshalb nicht der primäre Speicherort Ihrer Daten sein. Die Daten bleiben zum Beispiel in einer Datenbank. Weil Datenbanken aber langsam sind, dient Elasticsearch oft als Suchmaschine: Die Datenbankinhalte und Dokumente, die durchsuchbar sein sollen, werden in Elasticsearch indiziert und lassen sich dann zum Beispiel über ein Web-Frontend durchsuchen. Das Besondere daran: Sie finden Daten und Texte schnell, und die Ergebnisse sind nach Relevanz sortiert. Fast wie bei Google.

Elasticsearch kann aber mehr, als Texte zu durchsuchen und zu sortieren.

Elasticsearch für die Log-Aggregation Die meisten Nutzer setzen Elasticsearch heute wegen der weiteren Produkte des Elastic Stack ein. Denn damit laufen Daten aus den unterschiedlichsten Quellen zentral und plattformübergreifend zusammen. Elasticsearch frisst, was es zu fressen bekommt: Anmeldeversuche an einem Betriebssystem, die CPU-Last von Rechnern, die Zahl der Zugriffe auf Webseiten oder die Integrität von Dateien auf der Festplatte. Elasticsearch eignet sich deshalb gut für große Datenmengen, Stichwort Big Data. Wenn Sie alle Datenquellen zentral sammeln und die richtigen Abfragen stellen, erkennen Sie ganz neue Zusammenhänge. Oder Sie sehen Probleme schon in den Daten, bevor der Endnutzer sie bemerkt.

Alles Weitere zum Elastic Stack finden Sie auf der Website von Elastic.

Ein kleiner Tipp für alle, die sich für Elasticsearch interessieren: Ein erster Schritt sind kostenlose Einführungsvideos auf YouTube. Wer tiefer einsteigen will, braucht aber kostenpflichtige Schulungen und Zertifizierungen. Meine Grundlagen in Elasticsearch habe ich bei der Linux Academy gelernt.

Bei der Linux Academy gibt es neben Lehrvideos auch praktische Labs mit Testservern und Quizfragen zum Lernen. Erst wenn Sie alle Fragen im Training beantworten, erreichen Sie auch das Trainingsziel.

Gut nutzen kann das Wissen über Elasticsearch natürlich nur, wer es in der Praxis anwendet.