NVIDIA hebt zur National Robotics Week Entwicklungen hervor, die KI in physische Systeme bringen und den Einsatz von Robotern in Bereichen wie Landwirtschaft, Fertigung und Energie beschleunigen sollen. Genannt werden Fortschritte beim Robot Learning, bei Simulation und bei Foundation Models, die den Übergang vom Training in virtuellen Umgebungen zur realen Bereitstellung verkürzen.
Im Zentrum steht ein Full-Stack-Workflow von der Cloud bis zum Roboter, der Simulation, Robot Learning und Edge Computing verbindet. Zu den bei der NVIDIA GTC vorgestellten Neuerungen zählen die offenen NVIDIA Isaac GR00T Modelle für das Verstehen natürlichsprachlicher Anweisungen und mehrstufiger Aufgaben mit Vision-Language-Action-Reasoning, NVIDIA Cosmos World Models für die Erzeugung synthetischer Daten und skalierbares Training, die allgemeine Verfügbarkeit der Open-Source-Physik-Engine Newton 1.0 für geschickte Manipulation mit präziser Kollisionserkennung und stabiler Simulation starrer und flexibler Teile sowie erweiterte Simulationsfunktionen mit NVIDIA Isaac Sim 6.0, Isaac Lab 3.0 und Omniverse NuRec.
Für chirurgische Robotik beschreibt NVIDIA die Arbeit von PeritasAI, das mit NVIDIA Isaac for Healthcare und dem Rheo-Blueprint für Krankenhausautomatisierung Multi-Agenten-Intelligenz für reale OP-Umgebungen entwickelt. In Zusammenarbeit mit Lightwheel und Advent Health Hospitals soll das System Situationsbewusstsein, sterile Koordination sowie das Management von Instrumenten, Implantaten und Arbeitsabläufen unterstützen.
Mit NemoClaw und Isaac Sim zeigt NVIDIA Omniverse-Entwickler Umang Chudasama ein System, bei dem ein Nova Carter Roboter per natürlicher Sprache gesteuert wird. NemoClaw übersetzt Textanweisungen wie Bewegungsbefehle in ausführbare Python-Skripte, die über eine benutzerdefinierte REST-API in Echtzeit an Isaac Sim gesendet werden. Das System läuft vollständig in Isaac Sim und nutzt dort eine physikalisch genaue Lagerhausumgebung vor dem Einsatz in der realen Welt.
Im Forschungsbereich wird OceanSim vorgestellt, ein GPU-beschleunigter Unterwasser-Simulator der University of Michigan. Er soll die Lücke bei physikbasiertem Sensormodellieren und schneller Darstellung schließen, erzeugt mit fortgeschrittenem physics-based rendering realistischere synthetische Unterwasserbilder und kann Imaging Sonar in Echtzeit rendern. OceanSim nutzt NVIDIA Isaac Sim und bindet NVIDIA-Omniverse-Bibliotheken ein.
RoboLab dient als hochauflösender Simulations-Benchmark für die Entwicklung und Bewertung generalistischer Robot Policies. Das auf NVIDIA Isaac und NVIDIA Omniverse basierende System nutzt photorealistische Umgebungen und physics-based modeling, um Policies im großen Maßstab zu trainieren und zu testen und die Übertragbarkeit von in Simulation gelernten Verhaltensweisen in die reale Welt bei zunehmender Aufgabenschwierigkeit zu messen. Funktionen von RoboLab sollen in die Roadmap von NVIDIA Isaac Lab-Arena einfließen.
Für Lagerumgebungen nennt NVIDIA ein Projekt von Doosan Robotics auf Basis von NVIDIA Cosmos Reason. Aus einem einzelnen Kamerabild soll das System Rückschlüsse auf Inhalt, Schäden, Gewicht und Fragilität von Kartons ziehen und Handhabung, Platzierung, Geschwindigkeit und Griff entsprechend anpassen. Außerdem verweist NVIDIA auf Arbeiten mit Cosmos World Foundation Models: Das Toyota Research Institute passt diese Modelle für ein eigenes World Model an und erzielt laut NVIDIA Ergebnisse auf dem Stand der Technik bei dynamischer Ansichtssynthese, Teleoperations-Datenaugmentation und Navigations-World-Models. Mimic robotics verfolgt mit mimic-video einen anderen Ansatz, der ein vortrainiertes Internet-Scale-Videomodell mit einem Flow-Matching-Action-Decoder kombiniert und laut NVIDIA bei realen Manipulationsaufgaben eine 10-fach bessere Sample Efficiency sowie eine doppelt so schnelle Konvergenz erreicht.
Im Open-Source- und Edge-Bereich verweist NVIDIA auf OpenClaw auf der NVIDIA-Jetson-Plattform. Genannt werden Hardware-in-the-loop-Tests mit Jetson Thor, die Auswertung von Kameraströmen aus NVIDIA Isaac Sim sowie Systeme, die eigenen Code zur Aufgabenerfüllung erzeugen. OpenClaw läuft laut NVIDIA nun vollständig lokal auf NVIDIA Jetson Thor, auf Basis optimierter NVIDIA-Nemotron-Open-Modelle und der Open-Inference-Bibliothek vLLM. Auch der NemoClaw-Stack auf Jetson wird als Beispiel für die Verbindung von Open Source und Robotikplattformen genannt.
Als weiteres Beispiel beschreibt NVIDIA das Projekt von Gennady Plyushchev alias Skyentific zum Bau eines gehenden zweibeinigen Roboters. Der Entwicklungsprozess reicht von Simulation und Design bis zur realen Bereitstellung und nutzt NVIDIA-Isaac-basierte Simulations-Workflows sowie NVIDIA Jetson für KI und Steuerung auf dem Gerät.
Forscher der University of Maryland entwickeln mit Unterstützung des NVIDIA Academic Grant Program humanoide Systeme für komplexe Haushaltsaufgaben. Im Mittelpunkt stehen Robot Foundation Models, die Wahrnehmung, Planung und Steuerung zusammenführen. Mit der offenen Entwicklungsplattform NVIDIA Isaac entstehen photorealistische virtuelle Wohnumgebungen mit unterschiedlichen Objekten und Layouts, in denen Roboter Millionen Aufgabenvarianten trainieren und seltene oder komplexe Szenarien sicher testen können. Für das Training großer Modelle werden NVIDIA RTX PRO 6000 Blackwell GPUs genannt, für den Einsatz auf physischen Robotern NVIDIA Jetson AGX Thor Developer Kits.
NVIDIA erwähnt zudem die zweite Kohorte des AWS-MassRobotics-Fellowship-Programms mit mehreren NVIDIA-Inception-Mitgliedern, darunter Burro, Config Intelligence, Deltia, Haply Robotics, Luminous Robotics, Roboto AI, Telexistence, Terra Robotics und WiRobotics. Die Start-ups arbeiten an Anwendungen aus Bereichen wie humanoide Robotik, industrielle Automatisierung, Haptik und Landwirtschaft und erhalten Zugang zu technischen Ressourcen sowie AWS-Cloud-Guthaben.
Als industrielle Praxisbeispiele nennt NVIDIA Maximo, ein innerhalb der AES Corporation incubiertes Solarrobotik-Unternehmen, das eine Solaranlage mit 100 Megawatt mithilfe seiner Roboterflotte installiert hat. Die Lösung wurde mit NVIDIA Accelerated Computing, NVIDIA-Omniverse-Bibliotheken und NVIDIA Isaac Sim entwickelt. Außerdem wird Aigen vorgestellt, dessen solarbetriebene autonome Roboter mithilfe von Vision AI Unkraut präzise entfernen sollen. Aigen trainiert nach Angaben von NVIDIA NVIDIA Cosmos Open World Foundation Models mit eigenen Daten nach, nutzt NVIDIA-Isaac-Sim-Pipelines für eine Generalisierung über viele landwirtschaftliche Szenarien und führt die Inferenz auf jedem Rover mit einem NVIDIA Jetson Orin Edge-AI-Modul aus.
