Snapshot-Systeme Und Hyperspektrale Bildgebung
Die hyperspektrale Bildgebung, die spektrale und räumliche Informationen kombiniert, hat Fortschritte in verschiedenen Bereichen ermöglicht, wie Präzisionslandwirtschaft, maschinelle Bildverarbeitung und biomedizinische Bildgebung. Eine hyperspektrale Kamera erzeugt einen 3D-Datenwürfel, der aus 2D-räumlichen (x, y) und 1D-spektralen (λ) Daten besteht. Sie wird typischerweise durch den Spektralbereich, die Anzahl der Spektralkanäle und die räumliche Größe des gesamten Bildes charakterisiert. Die Datenwürfel werden entweder durch Scanning-Techniken, wie Push-Broom-Sensoren, oder, in einem von Hagen et al. (2012) vorgeschlagenen Begriff, durch Snapshot-Technologie für nicht-scannende Spektralkameras erfasst, was bedeutet, dass der gesamte Datenwürfel mit einem einzigen Sensor-Auslesevorgang erfasst wird.
Wir haben den Begriff „hyperspektrale Snapshot-Kameras“ geprägt, um die einzigartige Technologie unserer Kameras zu beschreiben. Kürzlich ist dieser Begriff zu einer allgemeinen Definition für alle nicht scannenden bildgebenden Spektroskopietechniken geworden. Es gibt jedoch verschiedene Technologien, aus denen man wählen kann. Um die Unterscheidung zu verdeutlichen, bezeichnen wir unsere Kameras jetzt als spektrale Videokameras, d. h. True Snapshot HSI. In diesem Artikel wird True Snapshot HSI mit Snapshot-imitierendem HSI und Scanning HSI verglichen.
True shnapshot HSI
Lichtfeld HSI
Der Datenwürfel wird vollständig ausgelesen und bietet eine hohe räumliche und spektrale Auflösung. Im Jahr 2019 führte Cubert eine grundlegend neue Snapshot-Technologie ein, die gleichzeitig eine hohe räumliche und spektrale Auflösung ermöglicht. Die ULTRIS X20 war die erste hyperspektrale Kamera, die auf der Lichtfeld-Technologie basiert, bei der sowohl die Intensität als auch die Richtung der einfallenden Lichtstrahlen genutzt werden, um spektrale Bilder zu erzeugen. Die Lichtfeldmethode erzeugt eine Vielzahl von Bildern, von denen jedes mit einem einzigartigen optischen Filter ausgestattet ist.
Vorteile
Prismenbasierte Multipoint-HSI
Der Datenwürfel wird vollständig ausgelesen, aber die räumliche Auflösung ist niedrig. Cubert entwickelte mit der prismenbasierten Sensortechnologie seine erste hyperspektrale Snapshot-Kamera, die FireflEYE 185. Zum ersten Mal konnte eine hyperspektrale Kamera das gesamte einfallende Licht nutzen, ohne auf eine einzelne Linie (Push-Broom-Scanning) oder einen einzigen Wellenlängenpass (abstimmbarer Filter) beschränkt zu sein. Mit bis zu 70 % des auf den Sensor treffenden einfallenden Lichts hatte die 185 ein hervorragendes Signal-Rausch-Verhältnis und erreichte Integrationszeiten von weniger als 1 ms.
Vorteile
Nachteile
True Video Spectroscopy
Während die Datenwürfel aller Snapshot- und Scanning-Kameras ähnlich, vergleichbar und in vielen Fällen austauschbar sind, macht die Bildproduktion selbst einen großen Unterschied. Einer der größten Unterschiede ist die Lichteffizienz. Ein echtes Snapshot-Imaging-Spektrometer, wie der Multipoint- oder Lichtfeldansatz, sammelt den gesamten 3D-Datenwürfel (alle spektralen Pixel) in einer einzigen Integrationsperiode. Das verfügbare einfallende Licht wird vollständig genutzt und nicht auf eine Linie (Push-Broom-Scanning) oder einen einzigen Wellenlängenpass (abstimmbarer Filter) zu einer bestimmten Zeiteinheit reduziert. Diese bessere Lichteffizienz bietet exzellente Signalqualitäten und höhere Signal-Rausch-Verhältnisse in kürzester Zeit. Zeit ist der zweite Vorteil, da ein Snapshot-Imaging-Spektrometer das gesamte Bild in wenigen Millisekunden oder weniger erfasst, was es zu einem Game-Changer in der Echtzeit-Bildgebung und Videospektroskopie macht.
Cubert’s Videobildgebungstechnologie kombiniert hohe Auflösung und kleine Größe mit hochgeschwindiger spektraler Bildgebung und bildet die Grundvoraussetzungen für echte Video-Spektroskopie. Tatsächlich erfassen Snapshots statische Momente, während reale Situationen oft eine Vielzahl von Veränderungen wie Bewegungen, Aktionen und Prozesse umfassen. Maschinelles Sehen und Inspektionen lassen sich leichter und genauer auf industrielle Prozesse anwenden, wenn Kameratechnologie verwendet wird, die mit solchen Prozessen Schritt halten kann. Bildbasierte Qualitätsbewertungen oder Ereigniskartierungen für bewegte Objekte können höhere Genauigkeiten unterstützen, z.B. in der Lebensmittelindustrie, Pharmazie oder Farbdarstellung. Schließlich können unsere Kameras automatisierte Inspektionssysteme, entscheidende Algorithmen, Prozesssteuerungen und die Roboterführung in zeitkritischen Anwendungen unterstützen.
Snapshot-imitierende HIS
Filter-on-Chip HSI
Bei der Filter-on-Chip-Technologie wird der Datenwürfel vollständig ausgelesen, aber die spektrale Auflösung ist begrenzt. Diese Technologie bietet eine hohe räumliche Auflösung und eine hohe Bildgeschwindigkeit, muss jedoch Einschränkungen bei der spektralen Auflösung und den Signal-Rausch-Verhältnissen (SNR) in Kauf nehmen. Die integrierten Filter bestehen typischerweise aus mehreren Zellen, die jeweils ein bestimmtes Wellenlängenkanal filtern und direkt auf CMOS-Wafer aufgebracht werden. Obwohl Filter-on-Chip-Kameras oft als hyperspektrale Kameras klassifiziert werden, ermöglicht das Setup nur eine bestimmte Anzahl spektraler Kanäle (keine kontinuierliche Abdeckung) und ist daher multispektral.
Vorteile
Nachteile
Abstimmbare Filter
Bei der Verwendung eines abstimmbaren Filters wird ein 2D-Bild in einem bestimmten Kanal gleichzeitig erfasst. Um einen hyperspektralen Datenwürfel zu erzeugen, durchläuft ein Filterrad das Spektrum und nimmt Bilder in verschiedenen Kanälen auf.
Vorteile
Nachteile
Hohe Anpassungsfähigkeit
Bis jetzt waren hochauflösende hyperspektrale Kameras mit hohen Anschaffungskosten und komplexer, zeitaufwendiger Bedienung verbunden. Dies erschwerte es der Industrie, die Technologie effizient in Systeme zur maschinellen Bildverarbeitung zu integrieren. Die Erfassung hyperspektraler Bilder, die gleichzeitig genau aufgezeichnet werden und zuverlässige Bildinformationen liefern, war stets eine Herausforderung. Aus diesem Grund wurden Kameras hauptsächlich in Forschungs- und Entwicklungsumgebungen für hochspezialisierte Forschung und die Entwicklung neuer Anwendungen eingesetzt.
Der von Cubert entwickelte Lichtfeldansatz ist ein echter Wendepunkt. Mit seiner einfachen Bedienung, Geschwindigkeit und dem hohen Potenzial, die Technologie auf Kostenniveaus herkömmlicher Digitalkameras zu reduzieren, wird die ULTRIS für Entscheidungsträger in der Industrie zugänglich. Langfristig sehen wir sogar großes Potenzial für mobile Anwendungen. Hyperspektrale Videosysteme, kombiniert mit leistungsstarken Auswertungsalgorithmen, können nahezu in Echtzeit hilfreiche Informationen liefern und diese komplexe Technologie endlich in den Alltag bringen.
Scanning HSI
Push-Broom HSI
Bei der Push-Broom-Hyperspektralbildgebung wird ein 2D-Datensatz bestehend aus x und λ gleichzeitig erfasst. Der spektrale Datenwürfel (x, y, λ) wird durch Abtasten des Objekts erzeugt, entweder indem das Objekt unter der Kamera bewegt wird (z.B. auf einem Förderband) oder indem die Kamera bewegt wird (z.B. an Bord eines Flugzeugs).
Vorteile
Nachteile
Spatiospektrales Scanning HSI
Das spatiospektrale Scanning nutzt einen linear variablen Filter, der vor einem 2D-Bildsensor positioniert ist. Ein Vollbild wird auf einmal erzeugt, jedoch wird jede Zeile (y) in einem anderen spektralen Kanal (λ) erfasst. Um den Datenwürfel zu erzeugen, muss das Scannen auf eine bestimmte Weise durchgeführt werden und erfordert eine Pixel-Koregistrierung, was es komplexer macht als die Push-Broom-Bildgebung.
Vorteile
Nachteile
Literatur
Hagen, N.A., Gao, L.S., Tkaczyk, T.S. und Kester, R.T., 2012. Snapshot advantage: a review of the light collection improvement for parallel high-dimensional measurement systems. Optical Engineering, 51(11), S. 111702.
Über den Autor
Dr. René Heine ist Mitgründer und CEO der Cubert GmbH, einem führenden Unternehmen im Bereich der Echtzeit-Spektralbildgebung. Seit der Gründung im Jahr 2012 prägt René maßgeblich die technologische Ausrichtung und das Wachstum von Cubert. Er promovierte in Physik an der Universität Ulm mit Auszeichnung und arbeitete während seiner Studienzeit auch an der Harvard Medical School. Mit seinem fundierten Wissen in Physik und seiner Vision für innovative Bildgebungstechnologien treibt René die Entwicklung bahnbrechender Lösungen bei Cubert voran.
