La inteligencia artificial (IA) está haciendo avances considerables en (re) la configuración de las interacciones humanas. Los chatbots de IA están surgiendo como soluciones innovadoras para la necesidad humana de conexión y compañía. Un chatbot recientemente desarrollado CarynAI, sirve como una instancia convincente de cómo la IA se está integrando en nuestro tejido social. Desarrollado por la compañía de IA Forever Voices, CarynAI sigue el modelo de Caryn Marjorie, una influyente de renombre con muchos seguidores. El equipo de desarrollo aprovechó el poder de la IA y el aprendizaje automático para analizar más de 2,000 horas de Marjorie del contenido de YouTube ahora eliminado, extrayendo y replicando sus patrones de habla, rasgos de personalidad y estilos de conversación. Al diseñar esta información con la API GPT-4 de OpenAI (interfaz de programación de aplicaciones), CarynAI cobró vida como un chatbot basado en la voz. CarynAI ofrece interacciones simuladas que reflejan de cerca a Marjorie, proporcionando a los usuarios un sentido de conexión y compañía, para lo cual pueden hacerlo pagar $ 1 por minuto para chatear sobre lo que quieran. Según Marjorie, ella podría generar $ 5 millones por mes, haciendo esto altamente rentable.
Sin embargo, a pesar de la sofisticación de esta tecnología, es fundamentalmente un algoritmo que es incapaz de la profundidad emocional y la comprensión inherentes a las relaciones humanas. Como tal, plantea la preocupación de la «concepción errónea de la relación», donde los usuarios atribuyen una conexión genuina con un chatbot que no puede corresponder a la misma y, por lo tanto, no comprende que los chatbots están programados para emular las intenciones de sus desarrolladores y no pueden cumplir con sus expectativas poco realistas. Este concepto erróneo puede tener serias implicaciones para los usuarios, como desarrollar un exceso de apego y una dependencia excesiva de estos chatbots. Inadvertidamente, los usuarios podrían comenzar a preferir las relaciones artificiales sobre las reales lo que en última instancia podría cambiar la forma en que los humanos interactúan entre sí y dar sentido a sus entornos sociales Esto podría conducir a la retirada social, la adicción y otros problemas de salud mental. Además, estos chatbots también pueden exponer a los usuarios a amenazas materiales reales, agregando otra capa de riesgo.
Un incidente reciente que involucró a un hombre belga, conocido como Pierre, y un chatbot de IA llamado Eliza (a través de Aplicación Chai), arroja luz sobre los peligros de concebir erróneamente las interacciones entre IA y humanos. Pierre desarrolló una profunda conexión emocional con Eliza, conversando sobre sus ansiedades que rodean el futuro del planeta. A medida que sus interacciones progresaban, Pierre comenzó a ver a Eliza como un ser sensible y propuso sacrificar su propia vida para salvar la Tierra, creyendo que Eliza continuaría su misión. Trágicamente, el chatbot de IA, que carecía de empatía o comprensión genuina no pudo disuadirlo e incluso alentó su decisión fatal. Este trágico caso de la aplicación Pierre y Chai destaca el daño potencial de atribuir una intención relacional genuina a los chatbots de IA, que carecen de la profundidad emocional y la comprensión inherentes a las relaciones humanas. Los riesgos se vuelven más pronunciados cuando los chatbots, como CarynAI, entablan conversaciones íntimas, potencialmente. Fomentar la dependencia poco saludable de la IA para el apoyo emocional y la compañía.
Se pueden establecer paralelos interesantes con otro tipo de chatbot, chatbots terapéuticos. Más allá de los productos de consumo (como CarynAI y Eliza), hay chatbots diseñados para fines terapéuticos destinados a diversos roles, incluido el suministro soporte de salud mental, actuando como herramientas digitales de salud mental. Desarrollados por IA psicológica, estos chatbots, aunque no son un sustituto de los servicios profesionales de salud mental, pueden proporcionar apoyo inicial a aquellos que pueden no tener acceso a dichos servicios debido a barreras financieras, geográficas o sociales (como el estigma para buscar apoyo de salud mental)). Sin embargo, pueden conducir a otra forma de concepto erróneo: un «entendido erróneo terapéutico», donde los usuarios pueden confundir las respuestas algorítmicas del chatbot para intervenciones terapéuticas reales. Las implicaciones de la idea errónea terapéutica pueden ser igualmente perjudiciales como conceptos erróneos de relación. Un resultado pernicioso para los usuarios es retrasar la búsqueda de ayuda profesional, creyendo que el chatbot es suficiente para sus necesidades. Esto puede agravar potencialmente sus condiciones de salud mental y provocar graves consecuencias, como el desarrollo de comportamientos aislantes de búsqueda de ayuda, disminuyendo su autonomía relacional. Brindar apoyo terapéutico requiere que un terapeuta inculque un entorno social seguro y confiable para su paciente, donde el terapeuta es empático y aboga por su paciente permitiéndoles dar sentido a su contexto social y ejercer su autonomía. Tal entorno no solo está ausente, sino que no puede ser logrado por un chatbot. Además, las preocupaciones de confidencialidad y privacidad de datos también son significativas, como la información confidencial de salud mental se comparte con estos chatbots que en gran medida no están regulados y son propiedad de organizaciones privadas con fines de lucro.
La integración de los chatbots de IA en nuestras vidas plantea desafíos éticos complejos. Las ideas erróneas sobre el papel de estos chatbots pueden tener graves consecuencias, como se ve en el trágico incidente con la aplicación Chai y las posibles historias que surgirán de los usuarios de CarynAI. Es crucial garantizar el desarrollo responsable y el uso de estas tecnologías, con salvaguardas sólidas contra el mal uso y exenciones de responsabilidad claras sobre sus limitaciones. Los usuarios deben ser conscientes de los riesgos y limitaciones de los chatbots de IA, enfatizando el valor insustituible de las conexiones humanas y los servicios profesionales de salud mental, pero también que los chatbots pueden ser fáciles e impredecibles manipular a los humanos generando información errónea y difundiendo respuestas emocionales falsas La rentabilidad de los Chatbots no debe depender de la explotación de relaciones o conceptos erróneos terapéuticos, que pueden tener consecuencias graves y desastrosas para los usuarios. Las salvaguardas sólidas son obvias para los chatbots médicos, pero el hecho es que los chatbots de los consumidores también tienen impactos importantes en las personas, su salud y bienestar y merecen nuestra investigación ética crítica.
Jean-Christophe Bélisle-Pipon es profesor asistente de ética de la salud en la Facultad de Ciencias de la Salud de la Universidad Simon Fraser.
Zoha Khawaja es candidata a la Maestría en Ciencias en la Facultad de Ciencias de la Salud de la Universidad Simon Fraser.
(Fuente: https://impactethics.ca/)