Hinweis zum Urheberrecht
Dissertation zugänglich unter
URN: urn:nbn:de:bvb:29-opus-32173
URL: http://www.opus.ub.uni-erlangen.de/opus/volltexte/2012/3217/
Robust Single-Shot Structured Light 3D Scanning
Robuste 3D-Vermessung mit strukturierter Beleuchtung in Einzelbildern
Schmalz, Christoph
| SWD-Schlagwörter: |
| Dreidimensionale Rekonstruktion , 3D-Scanner , Maschinelles Sehen , Kalibrieren <Messtechnik> , Endoskopie |
| Freie Schlagwörter (Deutsch): |
| Strukturierte Beleuchtung , Einzelbildverfahren , Catadioptrische Kamera |
| Freie Schlagwörter (Englisch): |
| Single-Shot Structured Light , 3D Reconstruction , Endoscopy , Camera Calibration , Catadioptric Camera |
| CCS - Klassifikation: |
| J.2 |
| Fakultät: |
| Technische Fakultät |
| DDC-Sachgruppe: |
| Informatik |
| Dokumentart: |
| Dissertation |
| Hauptberichter: |
| Hornegger, Joachim (Prof. Dr.-Ing.) |
| Sprache: |
| Englisch |
| Tag der mündlichen Prüfung: |
| 05.03.2012 |
| Erstellungsjahr: |
| 2011 |
| Publikationsdatum: |
| 18.04.2012 |
| Kurzfassung in Englisch: |
| In this thesis a new robust approach for Single-Shot Structured Light 3D scanning is developed. As the name implies, this measurement principle requires only one image of an object, illuminated with a suitable pattern, to reconstruct the shape and distance of the object. This technique has several advantages. It can be used to record 3D video with a moving sensor or of a moving scene. Since the required hardware is very simple, the sensor can also be easily miniaturized. Single-Shot Structured Light, thus, has the potential to be the basis of a versatile and inexpensive 3D scanner.
One focus of the work is the robustness of the method. Existing approaches are mostly limited to simple scenes, that is, smooth surfaces with neutral color and no external light. In contrast, the proposed method can work with almost any close-range scene and produces reliable range images even for very low-quality input images. An important consideration in this respect is the design of the illumination pattern. We show how suitable color stripe patterns for different applications can be created. A major part of the robustness is also due to the graph-based decoding algorithm for the pattern images. This has several reasons. Firstly, any color assessments are based on ensembles of pixels instead of single pixels. Secondly, disruptions in the observed pattern can be sidestepped by finding alternative paths in the graph. Thirdly, the graph makes it possible to apply inference techniques to get better approximations of the projected colors from the observed colors. For a typical camera resolution of 780x580, the whole decoding and reconstruction algorithm runs at 25Hz on current hardware and generates up to 50000 3D points per frame.
The accuracy of the recovered range data is another important aspect. We implemented a new calibration method for cameras and projectors, which is based on active targets. The calibration accuracy was evaluated using the reprojection error for single camera calibrations as well as the 3D reconstruction errors for complete scanner calibrations. The accuracy with active targets compares favorably to calibration results with classic targets. In a stereo triangulation test, the root-mean-square error could be reduced to a fifth. The accuracy of the combined Structured Light setup of camera and projector was also tested with simulated and real test scenes. For example, using a barbell-shaped reference object, its known length of 80.0057mm could be determined with a mean absolute error of 42µm and a standard deviation of 74µm.
The runtime performance, the robustness and the accuracy of the proposed approach are very competitive in comparison with previously published methods. Finally, endoscopic 3D scanning is a showcase application that is hard to replicate without Single-Shot Structured Light. Building on a miniature sensor head designed by Siemens, we developed calibration algorithms and apply the graph-based pattern decoding to generate high-quality 3D cavity reconstructions. |
| Kurzfassung in Deutsch: |
| In dieser Arbeit wird ein neues robustes Verfahren zur 3D-Vermessung durch Strukturierte Beleuchtung in Einzelbildern entwickelt. Dieses Messprinzip benötigt nur ein einzige Aufnahme eines mit einem geeigneten Muster beleuchteten Objekts, um dessen Form und Abstand zu rekonstruieren. Diese Technik hat mehrere Vorteile. Sie kann benutzt werden, um 3D-Videos einer bewegten Szene oder mit einem bewegten Sensor aufzunehmen. Da sein Aufbau sehr einfach ist, ist der Sensor auch gut zur Miniaturisierung geeignet. Strukturierte Beleuchtung in Einzelbildern hat daher das Potential, als Grundlage für vielseitige und günstige 3D-Abtaster zu dienen.
Ein Schwerpunkt der Arbeit ist die Robustheit der Messmethode. Existierende Ansätze sind meistens auf einfache Szenen beschränkt, das bedeutet glatte Oberflächen in neutralen Farben und kein Fremdlicht. Im Gegensatz dazu kann die vorgeschlagene Methode mit fast jeder Szene im Nahbereich umgehen und zuverlässige Tiefenkarten auch aus Eingangsbildern mit sehr niedriger Qualität erzeugen. Eine wichtige Überlegung ist in dieser Hinsicht die Gestaltung des Beleuchtungsmusters. Wir zeigen, wie geeignete Farbstreifenmuster für verschiedene Anwendungen erzeugt werden können. Ein Großteil der Robustheit beruht auch auf dem graphenbasierten Dekodierungsalgorithmus für die Aufnahmen des Muster. Das hat mehrere Gründe. Erstens werden alle Farbeinschätzungen anhand von Gruppen von Pixeln anstatt Einzelpixeln vorgenommen. Zweitens können Störungen im beobachteten Muster umgangen werden, indem alternative Pfade im Graphen gefunden werden. Drittens erlaubt es der Graph, Folgerungstechniken anzuwenden, um bessere Näherungen für die projizierten Farben aus den beobachteten Farben zu erhalten. Mit einer üblichen Kameraauflösung von 780580läuft der gesamte Algorithmus zur Dekodierung und Rekonstruktion mit 25Hz und erzeugt bis zu 50000 3D-Punkte pro Bild.
Die Genauigkeit der gewonnenen 3D-Daten ist ein weiterer wichtiger Aspekt. Wir implementierten eine neue Kalibriermethode für Kameras und Projektoren, die auf aktiven Targets basiert. Die Kalibriergenauigkeit wurde sowohl anhand des Rückprojektionsfehlers für Einzelkamerakalibrierungen, als auch anhand des 3D-Rekonstruktionsfehlers für vollständige Systemkalibrierungen ermittelt. Mit aktiven Targets wird eine höhere Genauigkeit als mit klassischen Targets erreicht. Bei einem Test durch Triangulation mit zwei Kameras konnte der mittlere quadratische Fehler auf ein Fünftel reduziert werden. Die Genauigkeit des Aufbaus zur Strukturierten Beleuchtung aus Kamera und Projektor wurde ebenfalls ausgewertet. Die bekannte Länge eines hantelförmigen Referenzobjekts von 80.0057mm konnte mit einem mittleren Fehler von 42µm und einer Standardabweichung von 74µm bestimmt werden.
Die Rechenzeit, die Robustheit und die Genauigkeit der vorgeschlagenen Messmethode sind im Vergleich mit bisherigen Ansätzen sehr konkurrenzfähig. Eine Vorzeigeanwendung ist die endoskopische 3D-Abtastung, die ohne die Technik der Strukturierten Beleuchtung in Einzelbildern schwer umzusetzen ist. Aufbauend auf einem von Siemens entworfenen Miniatur-Sensorkopf entwickelten wir Kalibrierverfahren und wenden die graphenbasierte Musterdekodierung an, um hochqualitative 3D-Modelle von Hohlräumen zu erzeugen. |
Sie benötigen weitere Informationen?
Fragen Sie uns!