Räumliche ETL-Prozesse

ETL-Prozess in Talend
ETL-Prozess in Talend

Räumliche ETL-Prozesse bilden Geodaten und Geodatenmodelle in der Domäne von GIS ab und sind ein logischer Schritt hin zur Automatisierung und Standardisierung von Abläufen bzw. Workflows. In Behörden und Unternehmen wird es immer wichtiger, große Geodatenmengen möglichst automatisiert zu strukturieren und bereitzustellen. Diese sogenannten Datenintegrationslösungen können über räumlichen ETL-Prozesse abgebildet werden.

ETL beschreibt den Datenverarbeitungsprozess angefangen vom Laden / Zusammenführen unterschiedlicher Datenquellen, der Datentransformation und der Ausgabe des Datenstroms. Das E steht für Extraktion, T für Transformation und L für Load. Es existieren verschiedene Modellierungs- und ETL-Tools für Geodaten, zum Beispiel FME, GeoKettle oder die Spatial Extension von Talend.

Diesen Spatial ETL-Tools liegt eine graphische Benutzeroberfläche zugrunde mit deren Hilfe ein Verarbeitungsscript erstellt und ausgeführt wird. Damit sind die Tools bestens dazu geeignet das räumliche ETL-Prozesse von Bearbeitern ohne Programmierkenntnisse nachvollzogen werden können. Für sehr rechen- und datenintensive Prozeduren kann jedoch die Leistungsfähigkeit von Workflows durch die individuelle Programmierung von Scripten deutlich gesteigert werden. Wir unterstützen Sie bei der Automatisierung von Abläufen im GIS-Umfeld:

  • Erstellen von Templates mit verschiedenen ETL-Tools (FME, Talend, GeoKettle …)
  • Datenaufbereitung von Altdatenbeständen – Karten, Pläne, Luftbilder, etc. digitalisieren, georeferenzieren, vektorisieren
  • Datenkonvertierung, Datentransformation,  Geokodierung
  • Shell-scripting oder Python-Scripting für wiederkehrende Workflows