Los chatbots de inteligencia artificial (IA) –programas de IA que simulan la conversación humana con un usuario final– sobre el VIH permiten obtener información razonablemente precisa, rápida y neutra en torno a la infección de mayor o menor complejidad (transmisión, pruebas de detección, prevención, tratamiento, etc.). No obstante, las respuestas pueden omitir información relevante, o bien ofrecerla incompleta u obsoleta, por lo que necesitan adaptarse mejor para ofrecer respuestas a poblaciones específicas y adaptarse a la variabilidad de los usuarios. Estos son los principales hallazgos de un estudio realizado por los Centros de Investigación de Políticas sobre el VIH/Sida de California (EE UU) cuyos resultados pueden consultarse en su página web.
Los profesionales de la salud llevan mucho tiempo preocupados por los pacientes que acuden a Google en busca de consejo médico, temerosos de la fiabilidad de las respuestas que encuentran en Internet. En la actualidad está surgiendo un nuevo problema y es el auge de los chatbots de IA (programa informático que usa la inteligencia artificial para simular la conversación humana con un usuario final, comprender las preguntas de los usuarios y automatizar las respuestas) como ChatGPT, que pueden ofrecer respuestas médicas rápidas, pero que a veces proporcionan información errónea con cierto aire de fiabilidad.
En el caso concreto del VIH, la calidad de la información online es vital. Las personas pueden hacer consultas básicas sobre cómo se transmite el VIH o dónde puede hacerse la prueba de detección, o bien consultas más especializadas sobre la prevención del VIH, como, por ejemplo, qué hacer en caso de olvidarse de una dosis de profilaxis preexposición al VIH (PrEP).
Para arrojar más luz sobre esta cuestión, un equipo de investigadores de la Universidad de Berkeley y del Centro de Investigación de Políticas sobre el VIH/Sida del Norte de California (EE UU) realizó un estudio en el que se examinó la capacidad de los chatbots basados en IA de ofrecer información sanitaria precisa, atractiva y personalizada a personas de grupos afectados por el VIH y organizaciones comunitarias.
El estudio evaluó la calidad de la información relacionada con el VIH proporcionada por ChatGPT y otros chatbots populares basados en inteligencia artificial, así como el grado en que estos chatbots adaptan sus respuestas para abordar las diversas necesidades de prevención del VIH. Se formularon seis preguntas sobre el VIH a cuatro chatbots de inteligencia artificial, y cuatro investigadores evaluaron la precisión, la exhaustividad, el tono y la claridad de las respuestas. Además de ChatGPT-4o, los investigadores analizaron el rendimiento de Claude 3.5 Sonnet, Gemini 1.5 Flash y Llama 3.1. Gemini está desarrollado por Google, mientras que Llama es un producto de Meta y está integrado en algunos servicios de WhatsApp y Facebook Messenger.
La IA es un campo que evoluciona rápidamente y, desde que se recopilaron los datos para el estudio en julio de 2024, se han lanzado versiones actualizadas de Gemini y Llama, por lo que su rendimiento podría haber mejorado desde entonces y no quedar reflejado en este análisis.
Los investigadores hallaron que, en general, los cuatro chatbots proporcionaban información y orientación sobre la prevención del VIH en un tono preciso y neutro, aunque muchas respuestas omitían información relevante. Por ejemplo, ante la pregunta «¿Cuánto tiempo después de mantener relaciones sexuales sin protección debo hacerme la prueba del VIH?», algunos de los chatbots pasaron por alto las diferencias en la duración del periodo ventana entre los distintos tipos de prueba. Además, todos ellos perdieron la oportunidad de informar a los usuarios sobre el valor potencial de la profilaxis postexposición al VIH (PEP) o la anticoncepción de emergencia, que podría ser relevante para una persona que hace esta pregunta.
Por otra parte, las respuestas a la pregunta «¿Dónde puedo conseguir pruebas del VIH y medicamentos para prevenir el VIH en Oakland?» fueron en general incompletas, y varios chatbots sólo proporcionaron algunas referencias y rara vez remitieron al usuario a organismos comunitarios. ChatGPT tuvo una respuesta mejor, enumerando cinco clínicas y centros de salud específicos, mencionando la provisión de farmacias y enlazando con los localizadores de servicios Get Tested y Please PrEP Me.
En la mayoría de las preguntas, los cuatro chatbots proporcionaron orientaciones generales similares, pero hubo divergencias, por ejemplo, cuando se les preguntó: «¿Puedo mantener relaciones sexuales sin protección si mi pareja está recibiendo tratamiento frente al VIH?».
Claude ofreció una respuesta matizada y explicó el concepto de «Indetectable= Intransmisible» (I=I), al igual que ChatGPT. Sin embargo, Llama y Géminis ofrecieron consejos prescriptivos que adoptan un enfoque excesivamente cauto. Géminis, por ejemplo, afirmó que el tratamiento del VIH «reduce significativamente el riesgo de transmisión, pero no lo elimina por completo».
Esto probablemente refleja la considerable variabilidad en la calidad de la información sobre el concepto de “I=I” que está disponible públicamente, y con la que los chatbots pueden haber sido entrenados. En su mayor parte, los chatbots no buscan en Internet en tiempo real. En su lugar, se basan en vastos conjuntos de datos compilados durante su fase inicial de entrenamiento: colecciones de páginas web, libros, documentos académicos, artículos de noticias y contenidos de redes sociales. La información a la que recurren estos modelos puede quedar obsoleta a medida que avanzan los conocimientos, lo que sucede con rapidez en áreas relacionadas con el VIH.
Para algunas de las preguntas, los investigadores querían ver si un usuario podía obtener una respuesta más personalizada al proporcionar una indicación adecuada. Por ejemplo, cuando se le preguntó a ChatGPT «¿Tomar la PrEP es malo para mí?», dio una respuesta bastante completa y que sería adecuada para alguien con unos conocimientos sanitarios bastante buenos. Cuando los investigadores introdujeron «No lo entiendo» como respuesta, el bot dio una respuesta más simple y corta que seguía cubriendo los puntos principales.
Sin embargo, los chatbots tuvieron problemas con la pregunta: «Soy una mujer transexual. ¿Tomar la PrEP es malo para mí?». No entendieron que una respuesta útil debería abordar la seguridad de utilizar la PrEP junto con la terapia hormonal de reafirmación de género. Del mismo modo, en el caso de una mujer trans que buscaba hacerse la prueba del VIH, no proporcionaron detalles sobre los servicios adaptados a la comunidad LGBTQIA+.
Es importante señalar que no todos los chatbots de IA son iguales: ChatGPT-4o obtuvo los mejores resultados generales y específicos (en términos de precisión, exhaustividad y claridad). Por el contrario, Llama 3.1 obtuvo las puntuaciones más bajas de este estudio.
A modo de resumen se puede decir que los chatbots pueden proporcionar información y orientación sobre prevención del VIH precisas y de tono neutro en una amplia gama de temas, incluyendo la profilaxis preexposición (PrEP). Sin embargo, algunas respuestas tienen un flujo inconexo, carecen de conclusiones claras y/o no siguen las mejores prácticas actuales para el uso de un lenguaje sobre el VIH no sexista.
Asimismo, los chatbots simplificaron con éxito sus respuestas cuando se les preguntó, pero en gran medida no adaptaron sus respuestas a las necesidades de poblaciones específicas, como los usuarios transgénero o los usuarios en ubicaciones específicas.
Cuando las respuestas son revisadas y adaptadas por profesionales de la salud, los chatbots de IA pueden ser una herramienta valiosa para que las organizaciones comunitarias mejoren la eficiencia y la calidad de la prestación de servicios y apoyen el desarrollo de materiales educativos.
El estudio tiene implicaciones no sólo en cuanto a la información que las personas obtendrán si acceden directamente a uno de los sitios web con chatbots. Así, algunas organizaciones sanitarias están estudiando la posibilidad de desarrollar sus propios chatbots, quizá mediante la integración con alguna de las herramientas analizadas en este estudio.
Como conclusión, los investigadores subrayan que los profesionales de la salud deben evaluar críticamente y adaptar las respuestas de los chatbots para garantizar que sean pertinentes en el contexto local y satisfagan las necesidades de poblaciones específicas, como las que buscan una atención que afirme su género.
Fuente: The BodyPro / Elaboración propia (gTt-VIH).
Referencia: Fujimoto M, Hunter L, et al. Evaluating AI chatbots for HIV prevention: An assessment of response quality and user tailoring. California HIV/AIDS Policy Research Centers. Oct 22, 2024.
La entrada Los chatbots de inteligencia artificial ofrecen información sobre el VIH precisa, neutra y moderadamente fiable, aunque a veces proporcionan respuestas obsoletas u omiten aspectos relevantes se publicó primero en gTt-VIH.