#technologie #software

Echtzeit-Bildklassifizierung basierend auf maschinellem Lernen

Wie hyperspektrale Bilddaten die maschinelle Bildverarbeitung unterstützen

Wie hyperspektrale Bilddaten die maschinelle Bildverarbeitung unterstützen

Im folgenden Video unserer Präsentation auf der CHII 2018 in Graz sehen Sie, wie einfach es sein kann.

Sie sehen gerade einen Platzhalterinhalt von Standard. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf den Button unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Weitere Informationen

Die Kraft der Spektroskopie

Die Spektroskopie ermöglicht es den Nutzern, spektrale Merkmale zu identifizieren, die für herkömmliche Kameras oder das menschliche Auge unsichtbar sind. Diese Merkmale stehen typischerweise in direktem Zusammenhang mit den optischen Eigenschaften der analysierten Oberfläche. Da jedes Material eine einzigartige spektrale Signatur hat, können solche Daten nicht nur spezifische Materialien von anderen unterscheiden, sondern auch qualitative Aussagen über das analysierte Objekt treffen. Die spektrale Bildgebung ermöglicht die Untersuchung der räumlichen Verteilung verschiedener Materialien und Qualitätsvariationen.

Quantifizierung, Qualifizierung und Klassifizierung

Ein zentrales Ziel ist die Identifizierung verschiedener Materialien und Oberflächen, bei denen das menschliche Auge unzureichend ist. Spektrale Merkmale können zu klein sein, um erkannt zu werden, im nahen Infrarotspektrum verborgen sein oder aufgrund der Unfähigkeit des Auges, mit schnell ablaufenden Prozessen Schritt zu halten, übersehen werden. Bildklassifizierungstechniken helfen dabei, diese Unterschiede zu erkennen und die Ergebnisse zu quantifizieren. Wenn hyperspektrale Bildgebung zur Überwachung und Bewertung von Industrieprozessen eingesetzt wird, kann sie Entscheidungen unterstützen und sogar automatisieren, wodurch Prozesse beschleunigt und letztlich Kosten gespart werden.

Herausforderungen in der Softwareentwicklung

Die Einrichtung einer geeigneten Softwareanwendung zur Gewinnung von Informationen aus spektralen Daten erfordert typischerweise umfangreiche Entwicklung, Tests und Evaluierungen. Dieser Prozess kann zeitaufwendig sein und leidet oft unter einem Mangel an Fachwissen aufgrund der anspruchsvollen Anforderungen in Bereichen wie Mathematik, Statistik, Fernerkundung, Optik und Programmierung.

Eine Lösung bieten

Um diese Herausforderungen zu bewältigen, bieten wir nun Unterstützung für unsere Kunden an. Durch unsere Zusammenarbeit mit perClass BV, einem Softwareunternehmen, das sich auf Werkzeuge zur Interpretation spektraler Bilder und maschinelle Lernlösungen spezialisiert hat, können Benutzer (1) spektrale Daten aufzeichnen, (2) einen statistischen Klassifikator für spezifische Materialien erstellen und (3) diesen Klassifikator auf den Live-Datenstrom als Plugin für die Cubert Utils Software anwenden—all dies innerhalb von Minuten.
Die perClass-Software ist ein Klassifizierungstool, das auf maschinellem Lernen basiert und modernste Klassifikatoren wie Support Vector Machines und Random Forests umfasst. Mit perClass Mira, einer GUI basierend auf der perClass-Engine, benötigen Benutzer kein tiefes Verständnis von maschinellem Lernen und Klassifikationstechniken—es funktioniert einfach, ohne spezielles Wissen zu erfordern.

Echtzeitklassifizierung mithilfe von maschineller Bildverarbeitung

Wir bieten mehrere Objektive mit unterschiedlichen Sichtfeldern (FOV) an. In der Regel empfehlen wir die Verwendung des 10mm-Objektivs (30° FOV) oder des 16mm-Objektivs (20° FOV) aufgrund der größeren Abdeckungsfläche pro Schnappschuss. Die Tabelle gibt einen Überblick darüber, wie das Objektiv/Sichtfeld und die Flughöhe die räumliche Auflösung jedes Pixels für beide Kamerasensoren der FireflEYE 185 beeinflussen.

Cubert Gmbh Machine Vision In Real Time Herbs Detail
Fig. 1

Um das Potenzial hyperspektraler Kameras für die maschinelle Bildverarbeitung zu demonstrieren, haben wir in unserem Labor Proben verschiedener Kräuter (Kamille, Oregano, Basilikum) auf einer Drehscheibe platziert. Die hyperspektrale Snapshot-Kamera FireflEYE 185 wurde über den Proben positioniert und mit einem 23-mm-Objektiv ausgestattet, das ein Sichtfeld von 13° bietet. Dieses Setup stellt sicher, dass die Kamera alle notwendigen Details und ausreichende spektrale Informationen von den Proben erfasst.

Bildaufnahme und Klassifizierungstraining

Abb. 1: Die Proben, wie sie von der hyperspektralen Kamera erfasst werden.
Abb. 2: Die in Abb. 4 gezeigten Spektren repräsentieren die spektralen Informationen aller Pixel innerhalb der entsprechenden Rechtecke in Abb. 3. Die Reflexion der verschiedenen Kräuter ähnelt sich über das gesamte Spektrum, was es für den Klassifikator schwierig macht, sie zu unterscheiden. Wir haben Bilder mit unserer Software aufgenommen, um den Klassifikator zu trainieren.

Testaufbau einer Cubert Hyperspektralkamera in einem Labor
Fig. 2
Drei Proben mit farbigen Markierungen, aufgenommen mit einer Hyperspektralkamera der Firma Cubert.
Abb.3
Reflektanz-Diagramm von verschiedenen Wellenlaengen aufgenommen mit einer Hyperspektralkamera der Firma Cubert
Abb. 4

Nach dem Export der aufgezeichneten Bilder nach perClass Mira bestand der erste Schritt des Trainings darin, drei Klassen für die Kräuter und eine für den Hintergrund zu definieren. Dies wurde durch einfaches Labeln bekannter Pixel innerhalb des Bildes durchgeführt (Abb. 5). Anhand dieser Referenzinformationen wurde das Modell trainiert und direkt auf die Daten angewendet (Abb. 6). Die anfänglichen Klassifizierungsergebnisse waren vielversprechend, obwohl einige Artefakte in Form von fehlklassifizierten Pixeln beobachtet wurden.

Optimierung des Modells

Um das Modell zu verbessern und Fehlklassifikationen zu reduzieren, können in Mira mehrere Techniken interaktiv angewendet werden. Ein einfacher Schritt in diesem Beispiel war, einige Kanäle am Anfang und Ende des Wellenlängenbereichs während des Modelltrainings auszuschließen. Dies wurde durch die Neudefinition des Bandanfangs und -endes erreicht (Abb. 7). Das Ziel war es, die spektralen Informationen, die der Klassifikator benötigt, zu reduzieren, um ein akzeptables Ergebnis zu erzielen und gleichzeitig das Modell weniger anfällig für Fehler zu machen.

Sobald der Klassifikator zufriedenstellende Ergebnisse lieferte, wurde er problemlos aus der perClass Mira-Oberfläche exportiert und in die Cubert Cuvis-Software integriert, wo er direkt auf den Live-Datenstrom angewendet wurde (Abb. 8). Der Klassifikator funktionierte wie erwartet, besonders wenn man bedenkt, dass seine Erstellung und Optimierung nur wenige Minuten in Anspruch nahm. Die meisten Pixel wurden korrekt klassifiziert (Kamille in Lila, Basilikum in Blau, Oregano in Grün und der Hintergrund in Dunkelrot). Die wenigen fehlklassifizierten Pixel befanden sich hauptsächlich in den Randbereichen der Kräuter, was zu erwarten war, da wir keine Klasse für diese spektral gemischten Pixel definiert hatten. Die Stabilität des Klassifikators wurde deutlich, als die Drehscheibe aktiviert wurde (siehe Video). Die Pixel wurden weiterhin korrekt klassifiziert, trotz Änderungen der Lichtbedingungen, wie beispielsweise dem Beleuchtungswinkel für jedes Pixel.

Dieses Beispiel zeigt das starke Potenzial hyperspektraler Snapshot-Kameras und wie intelligente Softwarelösungen wie die maschinelle Bildverarbeitung eine wertvolle Ressource für verschiedene Anwendungen sein können, insbesondere bei der Arbeit mit Live-Daten.

Matthias Locherer, Sales Director von Cubert, einem Hersteller von Hyperspektralkameras

Über den Autor

Dr. Matthias Locherer ist seit 2017 Sales Director bei Cubert GmbH. Mit einem PhD in Erdbeobachtung von der Ludwig-Maximilians-Universität München bringt er umfangreiche Expertise in der Fernerkundung, spektraler Bildgebung und Datenanalyse mit. Matthias hat an verschiedenen Forschungsprojekten und Publikationen mitgewirkt, insbesondere im Bereich der hyperspektralen Überwachung biophysikalischer und biochemischer Parameter mit hyperspektralen Satellitenmissionen. Seine fundierten Kenntnisse in optischer Messtechnik und physikalischer Modellierung machen ihn zu einem wichtigen Treiber für die Weiterentwicklung innovativer hyperspektraler Technologien bei Cubert.