Reaktive Queries über verteilte real-time Data Streams [Talk]

by David Bach, Moritz Moxter

Diesen Talk haben David und Moritz auf der Konferenz buildingIoT 2019 in Kooperation mit Frank McSherry, Malte und Niko gehalten.

Zusammenfassung

Eine zentrale Herausforderung von IoT-Anwendungen ist die Auswertung von hochdynamischen Data Streams in Real-Time. Vor dem Hintergrund klassischer Data-Pipelines stellen wir eine Dataflow-Architektur vor, mit der in Real-Time Data Streams korrekt, effizient und schnell verarbeitet werden können. Unsere Architektur erlaubt es, komplexe, aufeinander aufbauende High-Level Querys über heterogene Datenquellen zu stellen, die mit dem Eintreffen neuer Daten inkrementell aktualisiert werden und den Anfragesteller reaktiv über neue Ergebnisse informieren. Ereignisse können dabei bis auf die Nanosekunde genau aggregiert werden.

Vorkenntnisse

Ein grundlegendes Verständnis von Stream Processing und SQL oder Datalog sind empfehlenswert.

Lernziele

Das Kennenlernen von modernen Stream basierten Ansätzen zur Real-Time-Datenverarbeitung im Kontext von IoT.

Konferenz
Slides