Senior AI Engineer - Environmental Awareness and Visual Reasoning (Mensch)

Bei NEURA Robotics denken kognitive Roboter nicht nur Befehle aus. Sie nehmen ihre Umgebung wahr, verstehen sie, denken nach und handeln autonom in der physischen Welt. Unsere Robotic Foundation Models übernehmen die physische Ausführung. Darüber liegt der Embodied Agent: der Teil, der interpretiert, was der Roboter sieht, einen aktuellen Weltzustand pflegt und daraus entscheidet, was als Nächstes zu tun ist. Wir suchen einen AI Engineer mit fundierter praktischer Erfahrung in Visual Perception und Reasoning, der dieses Umgebungsverständnis für unsere humanoide Plattform aufbaut und mit zuverlässiger Task Planning und Ausführung verbindet.

• Visuelles Reasoning & Weltzustand: Du baust das Verständnis des Roboters für seine Umgebung mit Visual Perception und VLMs auf. Du verankerst Sprache in der Szene, schlussfolgerst über räumliche Beziehungen und Affordances und pflegst eine laufend aktualisierte Repräsentation von Objekten, deren Zuständen und der Task-Historie, während neue Beobachtungen eintreffen. Unsicherheiten und Veränderungen in der Umgebung machst du dem Agenten zugänglich, damit seine Entscheidungen auf dem beruhen, was tatsächlich passiert.

• Task Decomposition & Long-Horizon Planning: Du übersetzt high-level menschliche Intentionen in geordnete, ausführbare Schritte, jeweils mit den nötigen Preconditions, räumlichen Referenzen und Erfolgskriterien. Du sequenzierst sie so, dass der Roboter auch eine Aufgabe bewältigen kann, die er in dieser genauen Form noch nie gesehen hat.

• Closed-Loop-Ausführung & Recovery: Du überprüfst jeden Schritt anhand der Beobachtung, statt Erfolg vorauszusetzen. Du erkennst Abweichungen vom Plan, planst neu, wiederholst Schritte oder eskalierst an einen Menschen, wenn das Risiko zu hoch ist.

• Evaluation am Roboter: Du bewertest Szenenverständnis, Visual Grounding, Konsistenz des Weltzustands und Task-Erfolg in Simulation und auf echter Hardware. Du baust Failure-Taxonomien aus realen Läufen auf und nutzt sie, um Wahrnehmungs- und Reasoning-Fehler von Planungs-, Interface- und Ausführungsfehlern zu unterscheiden.

• Embodied Agent Harness: Du entwirfst und baust den Agenten, der auf unserer humanoiden Plattform läuft: die Schleife von Sensorinput über Reasoning zu Aktion, die Schnittstellen zu Kameras, Tiefensensorik und Propriozeption sowie das State Management, das eine Aufgabe über Minuten statt Sekunden kohärent hält.

• Cross-funktionale Zusammenarbeit: Du arbeitest eng mit Foundation-Model-, Perception-, Manipulation- und Hardware-Teams zusammen und bringst die Reasoning-Schicht vom Konzept zu verlässlichem Verhalten auf einem eingesetzten Roboter.

• Abschluss: Master- oder PhD-Abschluss in Computer Science, Robotik oder einem verwandten Feld, oder gleichwertige Tiefe, nachgewiesen durch ausgelieferte Arbeiten.

• Visual Perception & VLMs: Fundierte praktische Erfahrung mit Visual Perception und VLMs: Sprache in Bildern verankern, Objekte und ihre Zustände verstehen, räumlich-physikalisches Reasoning und strukturierte Szenenrepräsentationen, auf denen ein Agent handeln kann. Du hast diese Fähigkeiten in funktionierende Systeme integriert und kennst ihre Failure Modes bei Mehrdeutigkeit, Verdeckung und wechselnden Blickwinkeln.

• Agentensysteme: Nachgewiesene Erfahrung mit Agentensystemen auf Basis von LLMs und VLMs, die Aufgaben zerlegen, planen, Tools nutzen und den Zustand über lange Horizonte halten, statt nur Single-Turn-Prompting zu betreiben.

• Arbeit mit physischen Robotern: Mehrjährige praktische Erfahrung mit echten Robotern, nicht nur in Simulation. Du bringst deinen eigenen Code auf eine reale Plattform, betreibst ihn dort und debuggst ein System, das sich mit einem Körper anders verhält als erwartet.

• Hierarchische Autonomie: Vertrautheit mit hierarchischer Autonomie, bei der ein Reasoning-Modell plant und gelernte oder klassische Policies ausführen: Subgoal-Schnittstellen, Progress Verification, Replanning.

• Middleware & Onboard-Deployment: Erfahrung mit Robotik-Middleware und Deployment direkt auf dem Roboter: ROS 2, Inferenz auf eingebetteten GPUs und Arbeit innerhalb eines echten Latenzbudgets.

• Software Engineering: Sauberer Code, solides Testing und Services, auf denen andere Teams aufbauen können. Erfahrung mit Cloud, Containerisierung und CI/CD ist ein Plus.

• Sprachen: Exzellentes Englisch. Deutsch ist ein Plus.