Einführung
Die Rekonstruktion von 3D-Oberflächen aus Bildern ist ein wichtiges Forschungsgebiet mit Anwendungen in VR, Robotik und mehr. Neuronale Netze haben hier große Fortschritte ermöglicht, stoßen aber bei komplexen realen Szenen an Grenzen. Das neue Modell Neuralangelo kombiniert Multi-Auflösungs-3D-Hash-Gitter mit neuronaler Oberflächenrekonstruktion und erreicht so eine bislang unerreichte Detailtreue.
Neuralangelo ist ein Durchbruch für die computergestützte 3D-Rekonstruktion:
- Hohe Detailtreue: Durch die Kombination aus Multi-Resolution-Hashing und neuronalem Rendering gelingt es Neuralangelo, selbst feinste Details und komplexe Strukturen aus alltäglichen RGB-Bildern zu rekonstruieren. Das übertrifft bisherige Ansätze deutlich.
- Einfache Anwendbarkeit: Anders als viele bestehende Verfahren benötigt Neuralangelo keine Tiefenkameras oder Laserscanner, sondern funktioniert mit einfachen RGB-Aufnahmen, z.B. von Smartphones oder Videokameras.
- Skalierbarkeit: Durch das schrittweise Vorgehen und die Mehrstufigkeit kann Neuralangelo auch großflächige Umgebungen oder Gebäude rekonstruieren. Das war mit früheren neuronalen Rekonstruktionsmethoden nicht möglich.
- Vielseitigkeit: Die präzisen 3D-Modelle aus Neuralangelo können für VR/AR, Gaming, Robotik, Digitalisierung des Kulturerbes und mehr verwendet werden. Das eröffnet viele neue Möglichkeiten.
- Verfügbarkeit: Da der Code öffentlich ist, kann die Forschungsgemeinde Neuralangelo weiterentwickeln und an neue Anwendungsfälle anpassen. Das beschleunigt Innovationen.
Insgesamt ist Neuralangelo ein großer Schritt hin zur demokratisierten und skalierbaren 3D-Rekonstruktion aus alltäglichen Bildquellen. Das wird viele Branchen revolutionieren und die Interaktion zwischen realer und virtueller Welt neu gestalten.
Neuralangelo im Detail
Das Herzstück von Neuralangelo ist die Kombination aus einem Multi-Resolution-3D-Hash-Gitter zur Repräsentation der Szene und einem neuronalen Netzwerk zur Oberflächenrekonstruktion.
Mehrstufige Hash-Gitter
Die Szene wird durch ein Gitter mit unterschiedlichen Auflösungsstufen repräsentiert. Feinere Gitter erfassen mehr Details, gröbere die grobe Form. Neuralangelo rekonstruiert schrittweise von grob nach fein.
Neuronale Oberflächenrekonstruktion
Ein MLP nimmt die Multi-View RGB-Bilder als Input und gibt eine implizite SDF-Repräsentation der Oberfläche aus. Dies wird mit dem Hash-Gitter kombiniert.
Numerische Ableitungen
Um das neuronale Netz zu stabilisieren, berechnet Neuralangelo numerische Ableitungen wie die Oberflächennormalen. Diese dienen als Regularisierung des Netzes.
Mehrstufige Optimierung
Indem das Modell die Szene zuerst grob und dann feiner rekonstruiert, können不同e Detailebenen berücksichtigt werden. Das ist der Schlüssel für qualitativ hochwertige Ergebnisse.
Dadurch gelingt Neuralangelo die Rekonstruktion selbst feinster Details aus RGB-Videos – ein Durchbruch für photogrammetrisches 3D-Modelling.
Ergebnisse
Im Vergleich zu bisherigen Ansätzen liefert Neuralangelo deutlich höhere Detailschärfe und Genauigkeit. Die Generierung neuer Ansichten funktioniert sehr gut. Neuralangelo stellt damit einen großen Fortschritt für die photogrammetrische Rekonstruktion dar.
Fazit
Mit der Kombination aus Multi-Auflösungs-Hashing und neuronaler Rendering ist Neuralangelo in der Lage, aus RGB-Bildern hochwertige 3D-Oberflächenmodelle zu generieren. Das ermöglicht viele neue Anwendungen. Die Veröffentlichung des Codes ist ein Gewinn für die Community.
Quelle: Studien-Paper, GitHub, Projekt-Website
#3d #deeplearning #computervision #virtualreality #mesh