Nvidia AI erstellt 3D-Modelle aus 2D-Videos. Kommen 3D-Druckanwendungen in Kürze?

Der in den USA ansässige GPU-Hersteller Nvidia hat ein Forschungspapier veröffentlicht, in dem er ein neues Modell der künstlichen Intelligenz (KI) beschreibt, mit dem 2D-Videoclips in detaillierte 3D-Modelle umgewandelt werden können.

Die Untersuchung ergab, dass aktuelle generative KI-Modelle Schwierigkeiten haben, feine Details von Objekten zu erfassen, wie etwa sich wiederholende Texturmuster, homogene Farben und starke Farbvariationen. Nvidias neue KI-Technologie namens Neuralangelo soll diese Probleme überwinden. Neuralangelo bietet High-Fidelity-Modelle und die Möglichkeit, die Texturen komplexer Materialien aus 2D-Videos genau zu übersetzen.

Wie könnte sich Nvidia AI als 3D-Druckwerkzeug entwickeln?

Nvidia hebt die potenziellen Vorteile insbesondere für Kreativprofis hervor, die mit von einem Smartphone aufgenommenen Filmmaterial schnell und einfach virtuelle Objekte erstellen können. Als potenzielle Anwendungen von Neuralangelo wurden Kunst, virtuelle Realität, Videospielentwicklung, Robotik und die Produktion industrieller digitaler Zwillinge genannt.

Das Unternehmen hat bereits die vielfältigen Möglichkeiten seiner neuen KI-Technologie demonstriert und Michelangelos David-Skulptur und einen Tieflader nachgebaut. Neuralangelo kann auch großräumige Umgebungen rekonstruieren. Nvidia hat erfolgreich ein 3D-Modell des Parks auf seinem Campus in der Bay Area mithilfe von Vogelperspektiven-Videoaufnahmen erstellt, die von einer Drohne aufgenommen wurden.

„Die 3D-Rekonstruktionsfunktionen, die Neuralangelo bietet, werden für Entwickler von großem Nutzen sein und ihnen dabei helfen, die reale Welt in der digitalen Welt nachzubilden“, kommentierte Ming-Yu Liu, Senior Director of Research bei Nvidia und Co-Autor des Forschungspapiers. „Dieses Tool wird es Entwicklern schließlich ermöglichen, detaillierte Objekte – seien es kleine Statuen oder riesige Gebäude – in virtuelle Umgebungen für Videospiele oder industrielle digitale Zwillinge zu importieren.“

Während dieses neue KI-Tool noch nicht mit 3D-Druckanwendungen kombiniert werden muss, sagte ein Nvidia-Sprecher gegenüber der 3D-Druckindustrie, dass dies eine zukünftige Richtung sein könnte. Derzeit können Neuralangelos Modelle nicht in 3D gedruckt werden.

Man kann sich leicht vorstellen, welches Potenzial für die Integration der additiven Fertigung mit Neuralangelo besteht.

Sei es durch den zukünftigen Export des KI-generierten Netzes als druckbare Datei oder als Teil eines digitalen Zwillings. Derzeit werden digitale Zwillinge für die Design- und Prototyping-Phasen der Produktentwicklung und weiter im Produktlebenszyklus eingesetzt.

Konvertieren von 2D-Videos in 3D-Modelle mit KI

Neuralangelo verwendet Instant Neural Graphics Primitives (NGP) in Kombination mit Signaldistanzfunktionen (SDF), um eine qualitativ hochwertige Videokonvertierung zu erreichen. NGP bietet hybride 3D-Gitterstrukturen mit einer Hash-Kodierung mit mehreren Auflösungen. Diese hybride Darstellung erhöht die Darstellungsleistung neuronaler Felder erheblich und kann feinkörnigere Details erfassen.

Tatsächlich nimmt Neuralangelo ein 2D-Video eines Objekts oder einer Umgebung auf und wählt mehrere Bilder aus, die unterschiedliche Blickwinkel hervorheben. Sobald die Kameraposition jedes Bildes bestimmt ist, erstellt die KI ein grobes 3D-Modell. Diese grobe Darstellung wird dann optimiert, wodurch die Details geschärft werden und ein fertiges Produkt mit hoher Oberflächenqualität und Genauigkeit entsteht.

Die Forscher heben zwei Faktoren hervor, die für diesen Ansatz von entscheidender Bedeutung sind. Erstens: Verwendung numerischer Gradienten zur Berechnung von Ableitungen höherer Ordnung. Dies sei entscheidend für die Stabilisierung des Optimierungsprozesses. Zweitens ist ein progressiver Optimierungsplan für die Wiederherstellung von Strukturen auf unterschiedlichen Detaillierungsebenen von entscheidender Bedeutung. Dies ermöglicht eine umfassende und genaue 3D-Modellrekonstruktion.

Nvidias Neuralangelo-Projekt soll vom 18. bis 22. Juni auf der diesjährigen Computer Vision and Pattern Recognition (CVPR)-Konferenz in Vancouver vorgestellt werden. Neuralangelo wird zusammen mit fast 30 anderen Projekten vorgestellt, wobei die Themen von Posenschätzung, 3D-Rekonstruktion und Videogenerierung reichen.

KI und additive Fertigung

Künstliche Intelligenz ist derzeit eines der wichtigsten Schlagworte im 3D-Druck. Die diesjährige Umfrage unter Führungskräften der 3D-Druckindustrie hob die automatisierte KI-3D-Modellgenerierung als Teil der Zukunft des 3D-Drucks hervor.

Kommt diese Zukunft früher als erwartet? Nvidia hat ein Tool zur Erstellung von KI-3D-Modellen namens Magic3D angekündigt. Aus einer Textaufforderung erstellt Magic3D innerhalb von 40 Minuten 3D-Objekte, doppelt so schnell wie DreamFusion. Außerdem veröffentlichte Materialise seine Prozesssteuerung für den Metall-3D-Druck und das Build Process Software Development Kit. KI in Materialise Process Control automatisiert die Schichtdatenanalyse und spart so Zeit und Geld.

In einem Interview der 3D-Druckindustrie mit Paul Powers, dem Gründer von Thangs, sprach er über die zukünftige Rolle von KI und 3D-Design.

Abonnieren Sie den Newsletter der 3D-Druckindustrie, um über die neuesten Nachrichten zum 3D-Druck auf dem Laufenden zu bleiben. Sie können uns auch auf Twitter folgen, unsere Facebook-Seite liken und den YouTube-Kanal der 3D-Druckindustrie abonnieren, um auf weitere exklusive Inhalte zuzugreifen.

Sind Sie daran interessiert, in der additiven Fertigungsindustrie zu arbeiten? Besuchen Sie 3D-Druck-Jobs, um eine Auswahl verfügbarer Stellen anzuzeigen und Ihre Karriere anzukurbeln. Das abgebildete Bild zeigt eine Michaelangelo-Statue, die mit Neuralangelo in ein 3D-Modell umgewandelt wurde. Bild über NVIDIA.

Alex ist Technologiejournalist bei 3D Printing Industry und recherchiert und schreibt gerne Artikel zu einer Vielzahl von Themen. Er besitzt einen BA in Militärgeschichte und einen MA in Kriegsgeschichte und hat ein großes Interesse an additiven Fertigungsanwendungen in der Verteidigungs- und Luft- und Raumfahrtindustrie.