Hinweis zum Urheberrecht
Dissertation zugänglich unter
URN: urn:nbn:de:bvb:29-opus-1394
URL: http://www.opus.ub.uni-erlangen.de/opus/volltexte/2005/139/
The lgf3 (lumigraph framework version 3) Project: A Versatile Implementation Framework for Image-Based Modeling and Rendering
Das lgf3 (lumigraph framework version 3) Projekt: Eine vielseitige Implementierungsmethodik für die bildbasierte Modellierung und Visualisierung
Vogelgsang, Christian
| SWD-Schlagwörter: |
| Lichtfeld , Bilderzeugung , Bildbasiertes Rendering , Framework <Informatik> , Computergraphik |
| Freie Schlagwörter (Deutsch): |
| Implementierungsmethodik , Lumigraph |
| Freie Schlagwörter (Englisch): |
| Lumigraph |
| Fakultät: |
| Technische Fakultät |
| Fakultät: |
| Technische Fakultät |
| DDC-Sachgruppe: |
| Informatik |
| Dokumentart: |
| Dissertation |
| Hauptberichter: |
| Greiner, Günther (Prof. Dr.) |
| Sprache: |
| Englisch |
| Tag der mündlichen Prüfung: |
| 22.02.2005 |
| Erstellungsjahr: |
| 2005 |
| Publikationsdatum: |
| 02.03.2005 |
| Kurzfassung in Englisch: |
| A short time ago, image-based techniques were introduced in computer graphics. In contrast to the well-known geometric approaches, they can extract photo-realistic and three-dimensional models directly from a set of recorded images of a real scene and then efficiently reconstruct novel and freely chosen views.
For view reconstruction, the image or movie recordings are embedded in a model that needs to be placed into a geometric context. The required camera calibration techniques are a central topic of research in computer vision and therefore, an interesting symbiosis results with computer graphics in the common research on image-based modeling.
For both parties, research and development in this area was driven by the development of prototypic systems that were mostly based on proprietary, task-specific libraries. This led to high implementation costs on both sides and limited the efficient progress in a project.
In this work, a new implementation framework will be presented that for the first time allows to combine the requirements of image-based reasearch and development in both fields, computer vision and computer graphics, in a single system.
First fundamental techniques for image-based modeling are described and supplemented by an introduction to image-based rendering techniques. The requirements for computer graphics and computer vision are presented. These differences lead to difficulties when code of both parties is combined in a single system. That is the reason why a model conversion stage was introduced and became an essential tie between the camera calibration and the rendering techniques. Here, working solutions for the creation of complex image-based structures, like light fields, are presented.
For rendering light fields, new approaches are introduced that in contrast to known techniques are better suited to process the input data available in our system. Besides the novel free-form parameterization model, also new techniques for point- or texture-based rendering were developed. Additionally various existing methods were extended to work in a more generic environment. This includes the two-plane light field, the surface light field and the unstructured lumigraph.
In the design of the framework, new common components and data structures were derived through abstraction from both, the existing and newly developed, techniques. A main feature of the lgf3 project is its ability to manage very different approaches of image-based modeling and rendering in a single system. A new structure, the scene database, is described that combines all essential components of an image-based model and provides them for experiments.
The lgf3 project focuses especially on solution of problems occurring with the implementation of modeling and rendering approaches: because image-based techniques have to work with a lot of images simultaneously, a resource efficient handling strategy is indispensable. Here new approaches are introduced that remove the management burden from the user. Additionally a development environment is created and provides a rich set of basic components that facilitates implementation and can be reused in many applications.
Despite the complexity of the system, the clear structure of the framework and its modules allows concise and purposive development. From the core modules the structure of the calibration part is summarized and the rendering module is described in-depth. Here a novel concept of abstraction for rendering techniques is presented and its usability is shown with the implementation of all presented rendering techniques.
The performance and ability of the lgf3 framework is shown with the help of application examples. The sub-projects C2 and B6 of the SFB 603 are presented. There the development of the lgf3 system is taking place. The research work in both, computer vision and computer graphics, was greatly enhanced with the availability of this common software environment and for the first time, a tight cooperation on software level was established.
The visualization of an archeological artefact shows how the system allows to use state-of-the-art research results directly for application support in other fields of science. Therefore, the lgf3 project presents and offers the potential of image-based modeling and rendering methods a wide range of users and helps to establish these techniques as a powerful tool in many disciplines. |
| Kurzfassung in Deutsch: |
| Bildbasierte Techniken haben erst seit k"urzerer Zeit Einzug in der Computergraphik gehalten und zeichnen sich im Gegensatz zu den herk"ommlichen, rein geometrischen Ans"atzen dadurch aus, dass sie photorealistische, dreidimensionale Modelle direkt aus Bildaufnahmen einer realen Szene gewinnnen k"onnen, um daraus neue, frei gew"ahlte Ansichten effizient zu rekonstruieren.
Die zur Modellbildung n"otigen Bild- oder Filmaufnahmen m"ussen zur Ansichtenrekonstruktion in einen geometrischen Kontext gestellt werden. Die dazu n"otige Kamerakalibrierung ist ein Kernthema der Mustererkennung und daher ergibt sich eine enge Symbiose mit der Computergraphik bei der gemeinsamen Forschung an der bildbasierten Modellierung.
Die bisherige Forschung und Entwicklung auf diesem Gebiet wurde von beiden Seiten mit eigenen prototypischen System vorangetrieben, die sich aber nur auf jeweils themenspezifische Grundbibliotheken st"utzen. Das f"uhrt zu hohem Implementierungsaufwand auf beiden Seiten und hemmt das effiziente Vorankommen.
In dieser Arbeit wird eine Implementierungsmethodik vorgestellt, die es erstmals erlaubt, die Anforderungen zur bildbasierten Entwicklung sowohl aus der Computergraphik als auch aus der Mustererkennung in einem Gesamtsystem zu vereinigen.
Zun"achst werden die grundlegenden Techniken der bildbasierten Modellierung beschrieben und erg"anzt durch die Einf"uhrung in bekannte Bildsyntheseans"atze. Die Anforderungen der Computergraphik und Mustererkennung werden dabei herausgearbeitet. Dies f"uhrt zu neuen Problemstellungen, die erst in der gemeinsamen Verarbeitungskette zu Tage treten. So wird in dieser Arbeit die Modellbildung als Bindeglied zwischen der Kamerakalibrierung und der Bildsynthese erkannt und praktikable L"osungen speziell zur Erzeugung komplexer bildbasierter Strukturen, den Lichtfeldern, vorgestellt.
Zur Darstellung der Lichtfelder wurden neue Ans"atze entwickelt, die neben den bekannten Verfahren besser auf die, in diesem System vorhandenen Eingangsdaten abgestimmt sind. Neben dem neuen Modell des Frei-Form-Lichtfeldes sind auch Techniken zur punkt- oder texturbasierten Bildynthese entwickelt worden. Weiterhin wurden zahlreiche bekannte Verfahren erweitert, um in dieser generellen Systemumgebung zu arbeiten. Dazu z"ahlen das Zwei-Ebenen-Lichtfeld, das Oberfl"achenlichtfeld oder der unstrukturierte Lumigraph.
Aus den vorhandenen und entwickelten Techniken wurde durch Abstraktion gemeinsamer Komponenten und Datenstrukturen ein Entwurf der Implementierungsmethodik erstellt. Das lgf3-Projekt zeichnet sich dadurch aus, dass es sehr unterschiedliche Techniken der bildbasierten Modellierung und Bildsynthese in einem Gesamtsystem verwalten kann. Es wird eine neuartige Szenendatenbank beschrieben, die alle wesentlichen Komponenten des bildbasierten Modells aufnimmt und f"ur Experimente zur Verf"ugung stellt.
Das lgf3-Projekt fokusiert dabei auch speziell auf die gemeinsamen Probleme, die bei der Implementierung bekannter oder neuer Ans"atze auftreten: Da bildbasierte Techniken mit sehr vielen Bildern gleichzeitig arbeiten, ist eine resourcen-effiziente Verwaltung unabdingbar. Hier werden neue Ans"atze beschrieben, die diese Anforderung f"ur den Entwickler transparent erf"ullen. Weiterhin wird eine Entwicklungsumgebung konzipiert, die eine Vielzahl grundlegender Komponenten bereitstellt und in unterschiedlichsten Anwendungen wiederverwendet werden kann.
Die klare Strukturierung des Systems in Module erlaubt trotz seiner Komplexit"at eine "ubersichtliche und zielgerichtete Entwicklung. Als Kernmodule wird das Modul zur Kamerakalibrierung kurz umrissen und das Model zur Bildsynthese intensiver beleuchtet. Hier wird ein neues Abstraktionskonzept zur generellen Beschreibung von bildbasierten Synthesetechniken pr"asentiert und die Anwendbarkeit an Hand der beschriebenen Verfahren aufgezeigt.
Die Leistungsf"ahigkeit der Implementierungsmethodik lgf3 wird abschlie"send mit Hilfe von praktischen Beispielen erl"autert. Es werden die Teilprojekte C2 und B6 des SFB 603 vorgestellt, in dessen Rahmen dieses Projekt durchgef"uhrt wird. Hier konnte bei der Forschung sowohl in der Kamerakalibrierung als auch der Bildsynthese durch Bereitstellen dieser grundlegenden Softwareumgebung deutlich effizienter und vor allem auch erstmals in enger Kooperation auf Software-Ebene gearbeitet werden. Ein Beispiel zur Visualisierung in der Arch"aologie zeigt auf, wie das System es auch erlaubt, aktuellste Forschungsergebnisse zur Anwendungsunterst"utzung anderer Institute einzusetzen und damit die bildbasierte Modellierung generell einem sehr breitem Anwendungsfeld pr"asentiert und zur Verf"ugung gestellt. |
Sie benötigen weitere Informationen?
Fragen Sie uns!