SPP 2388 – Projekt „PointSemSeg+"

„Bayesische Neuronale Netze zur Semantischen Punktwolkensegmentierung“

Das SPP "Hundert plus" zielt darauf ab, die Nutzbarkeit komplexer Strukturen durch intelligente Digitalisierung im Sinne eines Digitalen Zwillings zu verlängern. Dazu beinhaltet das Schwerpunktprogramm drei Kernforschungsbereiche: (1) Digitale Modelle, (2) Digitale Verknüpfung und (3) Zustandsindikatoren, wobei die Schwerpunkte (1) und (2) in der laufenden ersten Förderphase im Fokus stehen. Für den Test sowie die Validierung der entwickelten Methoden zur Modellgenerierung, zur digitalen Verknüpfung und zur Ableitung von Zustandsindikatoren steht ein reales Demonstratorbauwerk zur Verfügung.

Die Modellierung von Geometrie und Semantik aus Erfassungsdaten (z.B. Laserscanning, Photogrammetrie) oder anderer existierender Datenquellen (z.B. Bestandsunterlagen) stellt eine wesentliche Grundlage für den Aufbau von Digitalen Zwillingen von Bestandsbauwerken im Förderschwerpunkt (1) dar. Das Teilprojekt des gia („Semantische Segmentierung von Laserscanningpunktwolken zur digitalen Bauwerksmodellierung mittels Bayesschen Neuronalen Netzen zur Unsicherheitsquantifizierung (PointSemSeg+)“) ist diesem Schwerpunkt zuzuordnen und untersucht Methoden zur automatische Ableitung von semantikreichen digitalen Bauwerksbestandsmodellen aus 3D-Punktwolken (Scan to BIM) auf Grundlage maschineller Lernverfahren, insbesondere tiefer Neuronale Netze (Deep Learning).

Eine zentrale Herausforderung und bislang ungelöstes Problem stellt dabei jedoch die Unsicherheitsquantifizierung des Ergebnisses, insbesondere der semantischen Segmentierung als zentraler Prozessschritt im Scan-to-BIM-Prozess, dar. Da die Eingangspunktwolken stets Imperfektionen, wie unvermeidbare Messabweichungen, nicht-homogene Punktdichten, Lücken sowie verdeckende Objekte bzw. Hindernisse oder sonstige extrinsische Störeinflüsse aufweisen, wird auch die semantische Segmentierung dadurch beeinflusst. Das Ergebnis ist eine unvollständige oder in Teilen fehlerhafte segmentiere und klassifizierte Punktwolke, die zwangsläufig auch die nachgelagerte automatisierte Modellerzeugung negativ beeinflussen würde. Insbesondere für die Ableitung von digitalen Zwillingen für Ingenieuranwendungen ist jedoch die Kenntnis der Qualität bzw. Unschärfe des zugrundeliegenden digitalen Modells von immenser Bedeutung. Im vorliegenden Vorhaben sollen daher Untersuchungen zur Unsicherheit der semantischen Punktwolkensegmentierung auf Grundlage von Deep Learning durchgeführt werden. Dazu soll auf Eingangsdatenebene untersucht werden, ob die Unsicherheit der semantischen Segmentierung durch ergänzende Merkmalsinformationen verringert und auf Modellebene durch den Einsatz Bayesscher Neuronaler Netze quantifiziert werden kann. Dazu werden 3D-Punktwolken mit geodätischen Laserscannern – auch gestützt auf unbemannten Flugsystemen (UAV) – erzeugt, die neben der 3D-Punktinformation weitere ergänzende radiometrische Informationen beinhalten.

Ansprechpartner

M.Sc. Hristo Vassilev