Un nuevo sistema permite predecir cuándo un coche autónomo puede cometer un error
TECNOLOGÍA Y SOCIEDAD.
El esquema desarrollado por investigadores del MIT ayuda a los humanos a entender las decisiones de la inteligencia artificial y anticipar posibles fallos.
Un sistema del MIT permite saber cuándo un coche autónomo puede equivocarse. / Crédito: julientromeur en Pixabay.
La tecnología CW-Net convierte el razonamiento de la inteligencia artificial que controla un coche autónomo en explicaciones comprensibles para los humanos. Las primeras pruebas muestran que esta información permite predecir mejor el comportamiento del vehículo y detectar fallos que, de otro modo, podrían pasar desapercibidos.
Uno de los grandes desafíos en torno a los coches autónomos es comprender qué harán cuando algo salga mal. Los sistemas basados en aprendizaje profundo pueden tomar decisiones difíciles de interpretar, incluso para sus propios desarrolladores.
Ahora, investigadores del Instituto Tecnológico de Massachusetts (MIT), en Estados Unidos, y de la compañía de conducción autónoma Motional han desarrollado una herramienta que busca precisamente reducir esa incertidumbre: un sistema capaz de explicar, en tiempo real, por qué un vehículo está tomando una determinada decisión y ayudar a una persona a anticipar sus posibles errores.
Interpretación en tiempo real y adaptada al entendimiento humano.
Según explican los especialistas en un estudio publicado en la revista Nature, la tecnología se denomina Concept-Wrapper Network (CW-Net) y su planteamiento parte de un problema habitual en la inteligencia artificial aplicada a la conducción: los planificadores que deciden la trayectoria del vehículo funcionan, en gran medida, como cajas negras.
¿Qué significa esto? Que procesan información procedente de cámaras y sensores, interpretan el entorno y calculan qué debe hacer el vehículo, pero el proceso interno que conduce a esa decisión resulta muy difícil de traducir a términos que una persona pueda entender.
CW-Net añade una capa de interpretación al planificador. En lugar de mostrar únicamente la trayectoria elegida, el sistema la acompaña de conceptos reconocibles, como "vehículo detenido delante" o "ciclista cercano". Lo importante es que esos conceptos no son una explicación generada posteriormente y desconectada de la decisión real: están integrados en el proceso de planificación. De este modo, los investigadores buscan que las explicaciones sean fieles al comportamiento del sistema.
Análisis con situaciones reales.
Para entrenar esta capacidad, el equipo utilizó un conjunto de datos con 130 millones de ejemplos de escenas de conducción autónoma, etiquetados con distintos conceptos. Además, diseñó el sistema para reproducir las decisiones del planificador original, de modo que incorporar la explicación no deteriorase el rendimiento de conducción. Según una nota de prensa, CW-Net consigue ofrecer interpretaciones comprensibles sin modificar sustancialmente el comportamiento del modelo de conducción.
La utilidad de este enfoque quedó especialmente clara durante las pruebas con un robotaxi de Motional en un circuito privado. En una de las situaciones analizadas, el vehículo se detenía repetidamente al acercarse a un ciclista. El conductor de seguridad interpretaba que el coche había detectado al ciclista y había decidido frenar de forma deliberada.
Sin embargo, la información proporcionada por CW-Net reveló una situación muy distinta: el sistema de planificación no estaba correctamente configurado para reconocer al ciclista y había escogido una trayectoria que podía haber terminado en una colisión. El vehículo se detenía finalmente porque entraba en funcionamiento el sistema de frenado de emergencia al aproximarse demasiado.
La tecnología explica qué elementos del entorno influyen en las decisiones de la IA y mejora la capacidad humana para prever el comportamiento del vehículo. / Crédito: julientromeur en Pixabay.
Comprendiendo el razonamiento de los sistemas automatizados.
La diferencia es clave: para una persona que supervisa un coche autónomo, saber que el vehículo ha identificado correctamente un obstáculo no es lo mismo que descubrir que ha cometido un error y solo ha evitado sus consecuencias gracias a una maniobra de emergencia.
Con esta información, el conductor de seguridad puede reducir la velocidad o asumir el control manual antes de que la situación sea crítica. Al mismo tiempo, los ingenieros disponen de una pista mucho más precisa para localizar y corregir el fallo del sistema.
Los investigadores también estudiaron el sistema mediante situaciones reales registradas en las calles de Las Vegas. En estos experimentos, los participantes que recibían las explicaciones de CW-Net fueron capaces de predecir con mayor precisión el comportamiento futuro del vehículo.
La tecnología podría ser crucial en el futuro.
El efecto resultó especialmente importante ante situaciones sorprendentes, como aquellas en las que una interpretación correcta puede marcar la diferencia. En las pruebas, las explicaciones mejoraron distintos componentes de la llamada consciencia situacional: percibir qué estaba ocurriendo, comprender por qué ocurría y anticipar qué sucedería después.
El estudio no sugiere que CW-Net haga que los coches autónomos sean incapaces de equivocarse. Su aportación es diferente: hacer que sus posibles errores sean más visibles y previsibles para las personas que los supervisan. Esa capacidad puede resultar crucial mientras convivan vehículos autónomos con conductores humanos y, también, durante el desarrollo y la validación de sistemas completamente automatizados.
Además, el concepto podría extenderse a otros tipos de arquitecturas de inteligencia artificial y a otros sistemas en los que una decisión automatizada puede tener consecuencias graves.
Por: Por: Pablo Javier Piacente. / T21.
Sitio Fuente: Levante / Tendencias21