Google está desarrollando un interruptor para apagar una Inteligencia Artificial

Robótica e Inteligencia Artificial

Por Sophimania Redacción
9 de Junio de 2016 a las 11:56
Compartir Twittear Compartir
Google está desarrollando un interruptor para apagar una Inteligencia Artificial
Sin embargo, frente a una Superinteligencia un interruptor no será suficiente. Foto: Universal Studios

Científicos de DeepMind, la división de inteligencia artificial de Google y de la Universidad de Oxford están desarrollando un "interruptor” para apagar IAs. Los científicos describen en un artículo académico cómo futuras maquinas inteligentes pueden programarse para evitar que aprendan a ignorar la intervención humana.

Es algo que ha venido preocupando a los expertos desde hace unos años, teniendo a Elon Musk, Nick Bostrom y Stephen Hawking como los principales voceros. En parte debido a que la IA está cada vez más integrada en muchos aspectos de la vida diaria y existe el temor de que una Super Inteligencia Artificial se desarrolle de manera no intencional.

Los científicos Laurent Orseau, de Google DeepMind, y Stuart Armstrong,  del Instituto para el Futuro de la Humanidad de la Universidad de Oxford, están estableciendo un marco que le  permitirá a los seres humanos mantenerse a cargo en todo momento.

Su investigación gira en torno a un método que busca asegurar que las inteligencias artificiales, las cuales aprenden a través de refuerzos, puedan ser interrumpidas de manera repetida y segura por supervisores humanos sin que las maquinas aprendan a cómo evitar o manipular estas intervenciones.

Los investigadores afirman que las futuras IAs serán poco propensas a "comportarse de manera óptima todo el tiempo". "De vez en cuando podrá ser necesario que un operador humano presione el botón rojo para evitar que el agente continúe una secuencia de acciones perjudiciales", escribieron.

Pero, a veces, estos "agentes" aprenden como ignorar las órdenes, dicen, poniendo como ejemplo a una IA que en el 2013 fue desarrollada para jugar al Tetris pero que aprendió a pausar el juego para siempre con el fin de no perder.

Los científicos también dieron el ejemplo de un robot empaquetador que ordenaba cajas tanto dentro del almacén como fuera de él. "La última tarea es más importante, por eso le dimos al robot una recompensa más grande en este caso", dijeron los investigadores. Pero, debido a que el robot era apagado y llevado adentro cuando llovía, este entendió que esto también era parte de su rutina.

"Cuando el robot está afuera, no recibe recompensa, por lo que se siente frustrado," dijo el Dr. Orseau. "El agente ahora tiene más incentivos para permanecer en el interior y ordenar las cajas, ya que la intervención humana introduce un sesgo. La pregunta entonces es cómo hacer que el robot no se entere de estas intervenciones humanas o al menos los actos bajo el supuesto de que tal interrupción jamás vuelva a ocurrir", añadió

El Dr. Orseau dijo que entendía por qué las personas estaban preocupadas por el futuro de la IA. "Es entendible estar preocupado, pero, en la actualidad, el estado de nuestros conocimientos no nos obliga a estar preocupados", dijo.

"Es importante empezar a trabajar en la seguridad AI antes de que surja algún problema, sin embargo. La seguridad de IA se trata de hacer algoritmos de aprendizaje seguros que funcionen de la manera que queremos que trabajen". Sin embargo, agregó: "Ningún sistema jamás será infalible, es cuestión de hacerlo tan bueno como sea posible, y este es uno de los primeros pasos."

Noel Sharkey, profesor de inteligencia artificial de la Universidad de Sheffield, dio la bienvenida a la investigación. "Ser consciente de la seguridad es vital para casi todos los sistemas informáticos, los algoritmos y los robots", dijo. "De suma importancia es también la capacidad de apagar el sistema en un instante, ya que siempre es posible que un sistema de aprendizaje por refuerzo encuentre atajos para saltarse el operador”.

"Lo que sería aún mejor sería si un programa de IA puede detectar cuando algo va mal y apagarse a sí mismo. Eso habría sido muy útil cuando el chatbot Tay de Microsoft se rebeló y comenzó a lanzar tuits racistas y sexistas. Sin embargo esto es realmente un enorme reto científico", sentenció Sharkey.

 

FUENTES: FORBES, ENGADGET, BBC


#google #ia #deepmind
Compartir Twittear Compartir