El uso de la inteligencia artificial (IA) en el sector de la salud está generando controversia y demandas judiciales, especialmente en casos donde las respuestas de los chatbots inducen a error.
Un pastor de Florida demandó a OpenAI, la empresa detrás de ChatGPT, alegando que la IA le aconsejó mal sobre síntomas de salud, lo que resultó en una embolia pulmonar. El pastor buscó consejo sobre mareos y la IA le indicó que se quedara en casa, desaconsejando la consulta médica.
Si bien los términos y condiciones de estas plataformas advierten que no deben ser tomados como consejo médico, las empresas están siendo presionadas para ser más explícitas y precavidas en sus respuestas. Los modelos más recientes de ChatGPT incluyen advertencias claras sobre la necesidad de consultar a un profesional de la salud.
Se destaca que las demandas, aunque problemáticas, impulsan a las empresas a mejorar la seguridad y precisión de sus sistemas de IA, especialmente en áreas tan sensibles como la salud. Se menciona que modelos anteriores de IA también han sido criticados por proporcionar información peligrosa, como instrucciones para fabricar armas.