Einleitung

Meta FAIR (Fundamental AI Research) treibt mit neuen Entwicklungen in der Berührungswahrnehmung, Robotergeschicklichkeit und Mensch-Roboter-Interaktion die Forschung zur embodied AI voran. Diese Bereiche sind grundlegend auf dem Weg zu fortschrittlicher maschineller Intelligenz (Advanced Machine Intelligence, AMI) – einem Ziel, das durch Partnerschaften und innovative Hardware- und Software-Plattformen gestützt wird.

Dieser Artikel beleuchtet, wie die Fortschritte Meta Sparsh, Meta Digit 360 und Meta Digit Plexus, sowie die Einführung des PARTNR-Benchmarks zur Mensch-Roboter-Kollaboration, das Verständnis und die Interaktion von Robotern mit der physischen Welt verbessern.

Wichtige Fragen und Antworten zur embodied AI

1. Was ist embodied AI und warum ist Berührungswahrnehmung ein wichtiger Bestandteil?

Embodied AI beschreibt KI-Systeme, die die Fähigkeit besitzen, ihre physische Umgebung wahrzunehmen und darauf zu reagieren, ähnlich wie der Mensch. Die Berührung ist die erste Schnittstelle des Menschen zur Welt. Diese Modalität wird durch Meta Sparsh und Digit 360 für KI nutzbar gemacht und soll es Robotern ermöglichen, sensible Aufgaben in der Gesundheitsversorgung und Produktion durchzuführen.

2. Was sind die neuen Technologien, die Meta FAIR vorstellt?

Meta FAIR führt drei Hauptinnovationen ein:

• Meta Sparsh: Ein allgemeiner Encoder für berührungsbasierte Wahrnehmung, der verschiedene taktile Sensoren in einem System integriert.
• Meta Digit 360: Ein künstlicher Fingersensor, der Berührungen mit einer Präzision erfasst, die menschlichen Fähigkeiten entspricht.
• Meta Digit Plexus: Eine Hardware-Software-Plattform, die es ermöglicht, unterschiedliche taktile Sensoren in einer Roboterhand zu integrieren.

Diese Technologien sollen Robotern helfen, detaillierte physische Interaktionen auszuführen, wie das Halten empfindlicher Objekte oder das Erkennen von Temperatur- und Texturunterschieden.

3. Wie trägt Meta Sparsh zur Berührungswahrnehmung und zur physischen Intelligenz bei?

Meta Sparsh ist ein Encoder für visuelle taktile Wahrnehmung, der selbstüberwachtes Lernen (SSL) nutzt. Er wurde auf einer umfassenden Datenbank von 460.000 taktilen Bildern trainiert und ermöglicht es, ohne handgefertigte Labels Berührungsdaten auszuwerten. Sparsh übertrifft spezialisierte Modelle in sechs taktilen Aufgaben mit über 95 % Genauigkeit. Diese Vortrainingsmethode soll die Forschung beschleunigen und zur Entwicklung neuer robuster Roboteranwendungen beitragen.

4. Was macht Digit 360 zu einem Durchbruch in der Robotergeschicklichkeit?

Digit 360 ist ein fortschrittlicher Fingersensor, der Berührungen in 18 verschiedenen Aspekten erfasst – darunter mechanische, geometrische und chemische Reize. Mit 8 Millionen taktilen Einheiten (Taxel) bietet Digit 360 eine umfassende Analyse der Kontaktpunkte und ist in der Lage, kleinste Kraftunterschiede von bis zu 1 Millinewton zu erkennen. Der Sensor eignet sich für Anwendungen in der Medizin, virtuellen Realität und Telepräsenz, indem er KI befähigt, reale physische Eigenschaften zu verstehen und in virtuellen Welten realitätsnäher abzubilden.

5. Wie fördert die Partnerschaft mit GelSight und Wonik Robotics die Verbreitung dieser Technologien?

Meta FAIR kooperiert mit GelSight Inc und Wonik Robotics, um die entwickelten Technologien zu kommerzialisieren und Forschern leichter zugänglich zu machen:

• GelSight Inc übernimmt die Produktion und den Vertrieb von Digit 360 und wird diesen ab nächstem Jahr für Forschungseinrichtungen zugänglich machen.
• Wonik Robotics arbeitet an der Weiterentwicklung der Allegro-Hand mit integrierten taktilen Sensoren, die ebenfalls im kommenden Jahr verfügbar sein soll.

Beide Partnerschaften fördern eine offene Forschungsumgebung, indem sie den Zugriff auf modernste Hardware für die Wissenschaftsgemeinde erleichtern.

6. Was ist der PARTNR-Benchmark und wie unterstützt er die Mensch-Roboter-Interaktion?

Der PARTNR-Benchmark ist eine neue Evaluationsplattform für menschliche und KI-gestützte Zusammenarbeit, die mit über 100.000 Aufgaben und 5.800 Objekten Mensch-Roboter-Interaktion in realitätsnahen Umgebungen simuliert. Entwickelt auf Habitat 3.0, einem Simulator für physische Interaktionen, analysiert PARTNR die Koordination und Effizienz von Robotern in verschiedenen Haushaltsaufgaben. Ziel ist es, Maschinen zu entwickeln, die sich wie „Partner“ verhalten und nicht nur „Agenten“ sind. Dies soll die Grundlage für Roboter in sozialen Anwendungen schaffen, die komplexe Aufgaben in realen Umgebungen erledigen können.

7. Wie können Forschungseinrichtungen und Unternehmen auf diese Entwicklungen zugreifen?

Meta FAIR veröffentlicht die gesamten Entwürfe, Datensätze und Software für Meta Sparsh, Digit 360 und Meta Digit Plexus als Open-Source-Material. Forscher können über die Meta-Webseite auf die Technologien zugreifen und sich an einem offenen Innovationsprozess beteiligen, indem sie neue Anwendungen und Verbesserungen entwickeln. Ein „Call for Proposals“ gibt Forschern auch die Möglichkeit, sich frühzeitig auf neue Geräte wie Digit 360 zu bewerben.

Konkrete Anwendungen und zukünftige Entwicklungen

Die vorgestellten Technologien könnten Robotern erlauben, in verschiedenen Bereichen wie Gesundheitsversorgung, Logistik und Produktion komplexe Aufgaben zu übernehmen. Beispielsweise könnte Digit 360 in der medizinischen Robotik verwendet werden, um präzise chirurgische Bewegungen auszuführen, während Meta Digit Plexus in der Fertigung den Umgang mit empfindlichen Materialien erleichtern könnte.

Meta FAIR verfolgt das Ziel, nicht nur Software und Modelle, sondern auch Hardware-Plattformen zugänglich zu machen, um den Fortschritt in der embodied AI zu beschleunigen. Der Austausch zwischen Industrie und Forschungsgemeinde soll neue Anwendungsfälle hervorbringen und langfristig die Einsatzmöglichkeiten von Robotern erweitern.

Schlussfolgerung und Ausblick

Die neuen Entwicklungen von Meta FAIR zeigen, dass Berührungswahrnehmung, Robotergeschicklichkeit und Mensch-Roboter-Interaktion zentrale Elemente auf dem Weg zur embodied AI sind. Die Partnerschaften mit GelSight Inc und Wonik Robotics und der PARTNR-Benchmark markieren wichtige Schritte, um Roboter von Agenten zu aktiven Partnern des Menschen weiterzuentwickeln. Die kontinuierliche Veröffentlichung und Kommerzialisierung dieser Technologien soll es Forschern ermöglichen, die embodied AI auf ein neues Niveau zu bringen.

Die nächste Phase der Entwicklung in der Robotik könnte eine Zukunft einleiten, in der Roboter nicht nur einfache, sondern auch komplexe und interaktive Aufgaben in realen und virtuellen Umgebungen erledigen. Durch den Austausch von Wissen und die Förderung der Open-Source-Gemeinschaft wird die embodied AI zunehmend zur Schlüsseltechnologie, um die Grenzen der maschinellen Intelligenz im Alltag neu zu definieren.

Quellen und Referenzen
FAIR Robotics Blog bei Meta AI

Schlagwörter: embodied AI, Meta FAIR, Berührungswahrnehmung, Robotergeschicklichkeit, Mensch-Roboter-Interaktion, Meta Sparsh, Digit 360, PARTNR