Um pastor do estado da Flórida, nos Estados Unidos, processou a OpenAI por dar instruções médicas extremamente perigosas quando consultado sobre sintomas relacionados à embolia pulmonar. A empresa alega que o chatbot não deve ser usado para diagnóstico médico e tratamento.
O requerente Scott Winters afirma que o ChatGPT Health descartou riscos quando contou sobre seus primeiros sintomas e o desencorajou a procurar um profissional humano. De acordo com ele, o chatbot teria aconselhado a confiar que “Deus não projetou seu corpo para falhar indefinidamente”.
Winters então abriu o processo judicial na Suprema Corte da Califórnia, em São Francisco, acusando a OpenAI e o CEO, Sam Altman, de negligência e exercício irregular de medicina. O pastor e a Tech Justice Law, organização sem fins lucrativos que acompanha o requerente, demandam compensação financeira e exigem a suspensão do ChatGPT Health até que a confiabilidade do serviço seja avaliada de forma independente.
O ChatGPT Health foi lançado em janeiro deste ano como um ambiente otimizado para lidar com conversas relacionadas à saúde e bem-estar dos usuários. A ferramenta foi liberada para poucos usuários e até hoje aceita cadastros para a lista de espera.
Segundo a OpenAI, o ChatGPT Health serve para ajudar o usuário a se preparar para uma consulta médica; auxilia na interpretação de dados de exames antes de uma consulta profissional; apoia o gerenciamento de condições a partir de recomendações de bem-estar e fornece dicas para aliviar sintomas sem a necessidade inicial de medicamentos. O projeto foi desenvolvido com a colaboração de médicos, segundo a big tech de IA.
De acordo com o The New York Times, esta parece ser a primeira ação judicial que acusa o ChatGPT de prejudicar usuários que buscavam orientação médica, mas não é o primeiro processo contra a empresa. A OpenAI já foi processada por suposta violação de direitos autorais, por possívelmente falhar em detectar sinais de sofrimento psicológico e ideias suicidas e, mais recentemente, por supostamente roubar segredos comerciais da Apple.
OpenAI ressalta que chatbot não substitui um médico
“Tratar os chatbots como o único fator por trás das decisões ou dos desfechos médicos das pessoas simplifica excessivamente um desafio muito maior e corre o risco de impedir o acesso a novas ferramentas poderosas, capazes de auxiliá-las em sua jornada de saúde”, afirmou o porta-voz da OpenAI, Drew Pusateri. Ele reforçou que os termos de serviço do chatbot deixam claro que a ferramenta não deve ser utilizada para diagnóstico ou tratamento médico.
Ainda de acordo com Pusateri, a versão mais recente do ChatGPT é melhor do que a utilizada por Winters na época em que a interação aconteceu, agora mais capaz de expressar incerteza e reconhecer a necessidade de uma visita a um médico.
Em publicação feita em 18 de junho deste ano, a OpenAI reconheceu que mais de 230 milhões de pessoas recorrem ao ChatGPT para obter ajuda com dúvidas sobre saúde e bem-estar.
Caso de Winters é especial, diz pesquisador de IA
Ao The New York Times, o pesquisador de IA médica Dr. Adam Rodman afirmou que vários aspectos do relato de Winters o tornam um “cenário de pesadelo” para pesquisadores de segurança. Um dos fatores foi a conversa ter sido processada pelo GPT-4o, um modelo antigo do ChatGPT e reconhecido publicamente por ser muito elogioso e bajulador.
O fato de Winters manter uma longa conversa com o ChatGPT também pode ter evitado a detecção de um problema mais grave.
Quer ficar por dentro das novidades do mundo da tecnologia? Acesse o TecMundo e acompanhe as últimas notícias sobre OpenAI, ChatGPT e inteligência artificial.
