Voice-Commanded Robots for Real Search & Rescue LogisticsRobots con control por voz para logística SAR real

In a live rescue mission, nobody has time to become a robot programmer. The question behind this paper is simple: what if first responders could just talk to the robot? Say "deliver the batteries to the drone pilot" — and have an autonomous ground vehicle safely figure out the rest, in the middle of a real emergency exercise.En una misión de rescate real, nadie tiene tiempo de programar robots. La pregunta detrás de este paper es simple: ¿y si los primeros intervinientes hablaran al robot? Di "lleva las baterías al piloto del dron" y deja que un vehículo terrestre autónomo resuelva el resto con seguridad, en pleno ejercicio de emergencia real.

‹ ›

📹 Video by Antonio Albeano Rueda — research from the Robotics & Mechatronics group at IMECH.UMA (University of Málaga) in collaboration with the University of Southern Denmark (SDU), recorded during the XIX Jornadas Internacionales de la Universidad de Málaga sobre Seguridad, Emergencias y Catástrofes. It shows the real-world deployment of the voice-commanded uncrewed ground vehicle (J8) for search and rescue missions. 📹 Vídeo de Antonio Albeano Rueda — investigación del grupo Robotics & Mechatronics de IMECH.UMA (Universidad de Málaga) junto a la University of Southern Denmark (SDU), grabado durante las XIX Jornadas Internacionales de la Universidad de Málaga sobre Seguridad, Emergencias y Catástrofes. Muestra el despliegue real del vehículo terrestre no tripulado con control por voz (J8) en misiones de búsqueda y rescate.

That's exactly what we demonstrated at the XIX Workshop on Security, Emergencies, and Catastrophes (Málaga, Spain), and what we presented at the 2025 IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR) in Galway — where the paper was a finalist for the Best Paper Award 🏆. Real-World Deployment of an LLM-Enabled Voice-Commanded UGV for Logistics in SAR Missions.Eso es exactamente lo que demostramos en las XIX Jornadas sobre Seguridad, Emergencias y Catástrofes (Málaga, España) y lo que presentamos en el 2025 IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR) en Galway, donde el paper fue finalista del Best Paper Award 🏆. Real-World Deployment of an LLM-Enabled Voice-Commanded UGV for Logistics in SAR Missions.

Talk to the robotHáblale al robot

Traditional robotic command interfaces are rigid and cognitively demanding — exactly the wrong properties under the pressure of a live search-and-rescue mission. Our system integrates a large language model-based multi-agent system (LLM-MAS) that manages the movements of uncrewed ground vehicles (UGVs) from natural-language voice commands, ensuring safe, context-aware navigation based on real-time mission data. Figure 1 shows the system architecture and communication workflow.Las interfaces de mando robóticas tradicionales son rígidas y de alta carga cognitiva — justo lo que sobra en una misión real de búsqueda y rescate. Nuestro sistema integra un sistema multiagente con large language models (LLM-MAS) que gestiona los movimientos de los UGVs desde comandos de voz en lenguaje natural, garantizando navegación segura y contextual con datos de misión en tiempo real. La Figure 1 muestra la arquitectura y el flujo de comunicación.

The LLM-MAS itself, shown in Figure 2, decomposes spoken commands into deterministic tool calls — interpreting spatial references like "five meters west of helmet 3" against the live mission picture.El propio LLM-MAS (Figure 2) descompone comandos hablados en tool calls deterministas — interpreta referencias espaciales como "cinco metros al oeste del casco 3" contra la imagen viva de la misión.

Validated with real first respondersValidado con primeros intervinientes

During the XIX Workshop in Málaga, over 150 first responders participated in six parallel SAR missions, with some teams providing their real-time positional data via equipment-integrated sensors. The LLM-MAS used this data to make autonomous decisions on the ground — such as determining which SAR team the UGV should assist — and then sent the selected target location to an external path planner through a tool call.En el XIX Workshop de Málaga, más de 150 primeros intervinientes participaron en seis misiones SAR paralelas; algunos equipos aportaron sus datos de posición en tiempo real con sensores integrados en su equipo. El LLM-MAS usó esos datos para decidir autónomamente sobre el terreno — por ejemplo, a qué equipo SAR debía asistir el UGV — y luego envió la ubicación elegida a un path planner externo con una tool call.

The ROS 2-based communication architecture integrates UGVs into existing SAR command hierarchies, with robust methods for message acknowledgment, prioritization, and operational-window synchronization. Figure 3 shows the coordination protocol between the Unified Command Centre (UCC), the Rescue Coordination Point (RCP), and the LLM-MAS.La arquitectura de comunicación con ROS 2 integra los UGVs en las jerarquías de mando SAR existentes, con métodos robustos de acuse de recibo, priorización y sincronización de ventanas operativas. La Figure 3 muestra el protocolo de coordinación entre el Unified Command Centre (UCC), el Rescue Coordination Point (RCP) y el LLM-MAS.

Figure 4 shows the associated GUI displaying real-time positions in the exercise area: purple and white dots show teams tracked through smart helmets and the UGV (RoverJ8), the purple path traces the UGV's return to the loading point, colored polygons highlight areas of interest (EchoX), and colored circles flag points or persons of interest (RomeoX).La Figure 4 muestra la GUI con posiciones en tiempo real del ejercicio: los puntos morados y blancos señalan los equipos con cascos inteligentes y el UGV (RoverJ8); la línea morada traza la vuelta del UGV al punto de carga; los polígonos de color resaltan áreas de interés (EchoX), y los círculos de color marcan puntos o personas de interés (RomeoX).

The delivery runLas entregas

The system successfully executed material transport tasks across three critical service routes that supported the six parallel missions — including delivering fresh batteries to a drone pilot in the field, a job that previously meant a human runner. Figure 5 shows the UGV delivering materials autonomously; Figure 6 walks through the full Mission #1 delivery workflow — (a) requesting batteries, (b) autonomous navigation, (c) pickup — and Table 1 summarizes every operator command with its execution time and outcome. Figure 7 collects footage from the missions and the involved first responders.El sistema ejecutó con éxito tareas de transporte de material en tres rutas críticas que apoyaron las seis misiones paralelas — incluida la entrega de baterías nuevas a un piloto de dron en el campo, antes, lo hacía un corredor humano. La Figure 5 muestra al UGV entregando material de forma autónoma; la Figure 6 recorre el flujo completo de entrega de la Mission #1 — (a) solicitud de baterías, (b) navegación autónoma, (c) recogida — y la Table 1 resume cada comando del operador con su tiempo de ejecución y resultado. La Figure 7 reúne imágenes de las misiones y de los intervinientes.

a

b

c

a

b

c

Direct feedback from first responders confirmed that the system improved mission efficiency and was praised for its intuitive, responsive performance in coordinated decision-making.Los propios intervinientes confirmaron que el sistema mejoró la eficiencia de la misión y elogiaron su rendimiento intuitivo y ágil en la toma de decisiones coordinada.

2025 · IEEE SSRR2025 · IEEE SSRRIEEEIEEEPDFPDFNAMURNAMURVideoVideo

A. Jarabo-Peñas, J. Bravo-Arrabal, D. Lin-Yang, F. Pastor, R. Ladig, J.J. Fernández-Lozano, A.L. Christensen, A. García-CerezoA. Jarabo-Peñas, J. Bravo-Arrabal, D. Lin-Yang, F. Pastor, R. Ladig, J.J. Fernández-Lozano, A.L. Christensen, A. García-Cerezo