News & Blog

Mehr Daten schneller analysieren mit Cloud-Datenbanken

Mehr Daten schneller analysieren – Warum eine Cloud-Datenbank den Unterschied machen kann.

Kenne dich und deinen Gegner, dann wirst du gewinnen! Dieses Zitat lĂ€sst sich in einem weniger aggressiven Kontext auch auf die Welt der Daten ĂŒbertragen: fĂŒr einen echten Informationsvorteil sind nĂ€mlich zwei Perspektiven wichtig:

  • Interne „Datensilos“ mĂŒssen aufgelöst und Daten systemĂŒbergreifend analysiert werden
  • Genauso mĂŒssen aber auch extern verfĂŒgbare Informationsquellen hinzugezogen und genutzt werden

Die Herausforderungen der „Big Data“ Analysen

Ein klassisches Data Warehouse kann hier an Grenzen stoßen, wenn die Datenquellen zunehmend dynamisch und unstrukturiert sind: denn es setzt voraus, dass Daten vor der Speicherung transformiert, strukturiert und dadurch nutzbar gemacht werden. FĂŒr viele AnwendungsfĂ€lle ist dies auch weiterhin entscheidend.

Es gibt aber auch eine zunehmende Menge an nicht strukturierten Daten, deren Aufbereitung viel Zeit- und Ressourcenaufwand mit sich bringt. Dazu gehören unter anderem Messergebnisse von Sensoren, Wetterdaten, Textdateien aller Art, Informationen aus Internet-Seiten und zunehmend auch Bild-, Sprach- oder Videodateien. Nicht alle Daten werden fĂŒr jede Analyse benötigt und nicht alle lassen sich mit vertretbarem Aufwand in die tabellenartige Struktur klassischer Datenbanken umwandeln. So liegen semi-strukturierte Informationen oft in einem JSON- oder XML-Format vor, was einen Vorteil bei Schreibzugriffen und Zugriffen ĂŒber Schnittstellen (APIs) bietet, die Daten aber nicht so vorhersehbar macht wie Daten in klassischen Datenbanken.

Neben den vielfĂ€ltigen Formaten ist die immer grĂ¶ĂŸere Menge der Daten eine Herausforderung, die skalierbare Speicher erfordert. Große Datenmengen mĂŒssen oft kurzfristig abgerufen analysiert und genauso schnell wieder gelöscht werden. Es wĂ€re unverhĂ€ltnismĂ€ĂŸig aufwĂ€ndig, hierfĂŒr eigene Server auf- und wieder abzubauen sowie Datenbanken zu administrieren.

Zudem ersetzen dynamisch abgerufene Datenströme (sogenannte „Dataflows“) zunehmend die klassischen statisch gespeicherten Daten. Dadurch werden schnellere Analysen möglich, die aber wiederum Ressourcen benötigen und voraussetzen, dass die Aufbereitung der Daten nicht unverhĂ€ltnismĂ€ĂŸig viel Zeit verbraucht. Gerade in Bereich der fortschrittlichen Analysemethoden, oft als „KI“ oder „Machine Learning“ bezeichnet werden, ist oft eine andere Art der Aufbereitung notwendig als bei der klassischen Modellierung eines Data Warehouse.

Alle diese Aspekte in einem zunehmend dynamischen Umfeld selbst zu verwalten ist sehr aufwĂ€ndig und teuer. Services aus der Cloud, die fĂŒr vielseitige AnwendungsfĂ€lle genutzt werden können, stellen hier eine Lösung da, um die praktische „UmsetzungslĂŒcke“ in vielen Unternehmen zu schließen. Unsere Erfahrung mit Snowflake als einem auf Skalierbarkeit und fortschrittliche Analysen ausgelegten Cloud Data Warehouse bei einem Kunden der Finanzbranche zeigte, dass dies den Unterschied machen kann, um tatsĂ€chlich Mehrwert aus Daten zu gewinnen.

Die Cloud als Lösung

Entscheidende Faktoren sind dabei:

  • Die schnelle Anbindbarkeit neuer interner und externe Datenquellen
  • Die dynamische Skalierung der Datenmenge im Speicher und der Verarbeitung von Daten fĂŒr Analysen
  • Es mĂŒssen nicht mehr alle Daten in eine strukturierte Form gebracht werden, um diese analysieren zu können: dank virtuellen Zugriffsschichten lassen sich auch nicht strukturiert gespeicherte Daten vielseitig nutzen
  • Fortgeschrittene, z.B. KI-basierte Analysemethoden lassen sich als Service nutzen und können bei Bedarf schnell skalieren, ohne internen Aufwand zu erzeugen
  • Nicht zuletzt kann auf die Daten auch weiterhin in der Form eines klassischen Data Warehouse zugegriffen werden, wenn dies benötigt wird

Damit trĂ€gt die Cloud maßgeblich dazu bei, echten Mehrwert aus Daten zu ziehen – ganz nach dem Motto „Playtime is over“ des diesjĂ€hrigen DATA Festivals: https://datafestival.de/. KI und Datenanalyse sollen nicht nur bei Konferenzen eine Rolle spielen, sondern ganz real Prozesse im Unternehmen verbessern.

In unserem konkreten Anwendungsfall konnten Entscheidungen im Kreditbereich damit deutlich fundierter, schneller und zuverlĂ€ssiger getroffen werden – ein ganz realer Vorteil des viel diskutierten „Big Data“ wurde dank dem Snowflake Data Warehouse in der Cloud erfolgreich umgesetzt.

Möchten auch Sie mehr Daten besser nutzen? Wir bei Trevisto unterstĂŒtzen Sie gerne umfassend beim gesamten Prozess: von der Strategie ĂŒber Softwareauswahl bis zur Implementierung von modernen Cloud-Lösungen und BI-Tools. Sprechen Sie uns gerne an!