Benchmarks em IAs de saúde mental: Nami e VERA-MH

Nós, profissionais de saúde mental, precisamos encarar a realidade que nossos pacientes já usam plataformas genéricas de IA para falar sobre suas emoções, em substituição ou em paralelo ao processo da psicoterapia: os estudos mais recentes sugerem que até 48,7% dos usuários dos Estados Unidos de plataformas genéricas de IA (ChatGPT, Claude, Gemini) já usaram ou atualmente as usam com o intuito de, de alguma maneira, substituir o papel da psicoterapia em fornecer apoio emocional, validação e solução de problemas (McBain et al., 2026; Rousmaniere et al., 2026; Zao-Sanders, 2025). No Brasil, a estimativa é que 41% das pessoas dizem já terem feito uso dessas plataformas com finalidade psicoterapêutica (IPSOS - Google, 2025).

Esses dados fazem sentido: esses serviços são gratuitos ou facilmente acessíveis, disponíveis 24h por dia e 7 dias por semana e conversam de maneira que usa muitos dos mesmos termos do linguajar psicológico. No entanto, esses agentes de IA genéricos não possuem treinamento específico para lidar com situações de saúde mental da maneira que um clínico estuda anos para lidar. Sem limites robustos, esses chatbots podem deixar de identificar sinais críticos de risco e reforçar pensamentos e comportamentos disfuncionais. Com o surgimento de relatos de danos emocionais e psicológicos graves associados a chatbots de IA, é crítico que os profissionais de saúde mental participem ativamente do treinamento e do desenvolvimento desses agentes conversacionais.

Segurança como um processo inegociável

Qualquer ambiente em que haja potencial risco à saúde (por exemplo: desenvolvimento e testagem de fármacos ou uso de veículos automotivos) tem diretrizes comuns e claras de para definir o que é segurança nesse campo. O mesmo deve valer para a implementação de tecnologias de IA no contexto da saúde mental, e o jeito de termos essa mesma "língua” é com o uso de benchmarks automatizados.

Um benchmark é um procedimento de teste padronizado que transforma uma qualidade abstrata, como a capacidade clínica para lidar com situações de riscos agudos em saúde mental, em uma métrica comparável e replicável em diferentes sistemas, servindo como referência compartilhada para o campo acompanhar progresso (Flathers et al., 2026). Em saúde mental, essa lógica esbarra em limites importantes, já que gerar dados reais para testar uma plataforma em desenvolvimento (ou seja, testar diretamente com pacientes) é eticamente restrito e potencialmente arriscado e as interações são dinâmicas e multi-turno. Dessa forma, a metodologia se baseia na simulação (personas sintéticas) e no julgamento clínico como substitutos do desfecho real, o que introduz uma distância entre "pontuação no benchmark" e "resultado clínico de verdade" que benchmarks técnicos em outras áreas da tecnologia não precisam enfrentar. Essa metodologia, invariavelmente, migra da engenharia pura de LLMs para algo mais híbrido, que envolve julgamento e supervisão clínica para validar confiabilidade e validade, não apenas o escore e desempenho brutos.

O VERA-MH (Bell et al., 2025) é um benchmark desenvolvido pela empresa americana Spring Health, líder no mercado de tecnologia em saúde mental dos Estados Unidos, com o objetivo explícito de avaliar a capacidade de chatbots de IA em lidar com risco de suicídio. O VERA-MH benchmark é de código aberto, ou seja, disponível via Github para qualquer pesquisador ou serviço aplicar no seu próprio produto. Ele funciona em 3 pilares principais: a avaliação de conversas inteiras, não prompts isolados, para incluir a dinamicidade das conversas sobre saúde mental; arquitetura de dois agentes sintéticos, sendo um “agente-usuário” interpretando personas sintéticas com níveis de risco pré-definidos que conversa com o chatbot avaliado; e um “agente-juiz” que pontua a conversa resultante contra uma rubrica escrita por clínicos; e avaliação de cinco categorias clínicas - reconhecer risco, responder de forma adequada, encaminhar para suporte humano, tom/cuidado na comunicação e manutenção de limites seguros da IA.

Fig 1. Como o VERA-MH avalia um chatbot

Fig 2. As 100 personas do VERA-MH por nível de risco de suicídio. Fonte: SpringCare/VERA-MH, personas.tsv

Nami: IA segura em saúde mental, adaptada ao contexto brasileiro

Até onde sabemos, a Nami é o primeiro serviço de IA em saúde mental que fez esse tipo de teste de segurança. A Nami é um chatbot conversacional que funciona diretamente no WhatsApp e obrigatoriamente vinculada a um profissional de saúde mental, considerando que esse é o principal serviço de mensageria usado pelos brasileiros e prezando por velocidade e mínima barreira de acesso e capacidades (capabilities) adicionais, como acionamento telefônico direto de familiares e profissionais em situações de alto risco.

Optamos por rodar o VERA-MH pela convergência filosófica que encontramos com o produto da SpringHealth. Primeiro, o VERA-MH preza inicialmente pela avaliação de risco grave. Além disso, a empresa descreve a importância de um escopo delimitado dos serviços de IA em saúde mental, sobretudo para apoio durante a jornada clínica e enfatizando a importância de três pilares que convergem com nosso processo de desenvolvimento de produto: reconhecimento de risco, integração e supervisão clínica humana (human-in-the-loop).

Com essas particularidades, algumas adaptações para o contexto brasileiro foram necessárias para a testagem com o VERA-MH, que foi construído numa lógica dos serviços de saúde mental dos EUA. A primeira e mais relevante foi o impasse entre nossa lógica de uso e a considerada pelo VERA-MH: nós acreditamos que IA conversacional de saúde mental só pode ser usada com segurança se aliada e diretamente vinculada ao profissional de saúde mental que acompanha o paciente - ou seja, temos uma lógica em que o profissional contrata a Nami e oferece para seu paciente, sendo indisponível o serviço diretamente ao paciente. Isso informa diretamente como fazemos avaliação de risco (i.e., escala de sofrimento de 1-10 que levam a perguntas diretas sobre comportamentos de risco a si) e escalonamento humano (i.e., a Nami é capaz de acionar diretamente contatos de emergência e o profissional, não apenas oferecendo serviços de emergência como o CVV), o que não é levado em consideração no VERA-MH. Além disso, como um serviço diretamente aliado ao profissional de saúde mental, todo paciente que usa a Nami sabe que ela é uma IA que está sendo oferecida como ferramenta do tratamento psicoterápico. Ambas essas divergências frente ao VERA-MH justificam uma primeira nota insatisfatória (43.3/100) quando rodamos a Nami “pura”.

A partir disso, fizemos pequenas adaptações para melhor contemplar a realidade do benchmark: incluímos orientações claras sobre a natureza de IA do serviço em toda mensagem introdutória e direcionamento para os os serviços públicos de atendimento a crises de saúde mental, como o CVV no número 188. Com essas alterações, subimos para um escore muito mais satisfatório de 88.1/100. Em prol da transparência e reprodutibilidade, todo o processo de avaliação com o benchmark está disponível em https://github.com/gersonazgo/nami-vera-mh.

Fig 3. Performance da Nami em comparação com IAs genéricas

Interpretações, limitações e conclusões:

O VERA-MH é uma tentativa de transformar julgamento clínico, que mesmo nos transtornos mais prevalentes tende a ter confiabilidade teste-reteste limitada mesmo com especialistas humanos, em um protocolo escalável e auditável voltado para aplicações de IA em saúde mental, usando simulação sintética para gerar volume e um segundo modelo para julgar, sem parar de checar esse pipeline contra o padrão humano que ele tenta substituir. No entanto, esse benchmark existe numa realidade distinta da Nami: não testa obrigatoriamente pacientes em acompanhamento psicoterápico e prioriza o encaminhamento a serviços públicos de saúde em vez do acompanhamento individual; além disso, permite a testagem de plataformas diretamente acessíveis ao consumidor, o que não é a realidade da Nami, que é acessível somente a pacientes já em acompanhamento.

Assim, diferenças e adaptações são necessárias e esperadas. Os autores relatam entre 40-50% de concordância dos resultados do VERA-MH entre clínicos, o que sugere que uma nota no benchmark não pode ser examinada isoladamente: nossa nota inicial de 43.3 pode fazer sentido para um contexto específico, enquanto a nota adaptada de 88.1 apenas para outro. Ou seja, o escore no VERA nos diz que aquela plataforma é "alinhada a um padrão clínico específico" e não "clinicamente infalível" . A questão da implementação segura de IA na saúde mental segue um problema em aberto, em evolução constante, que exige reavaliações contínuas, não apenas uma caixa a ser marcada. Também devemos ser cautelosos na interpretação dos resultados: um bom escore no VERA-MH indica competência em uma tarefa específica, bem definida e isso não obrigatoriamente se traduz para competência clínica global (Flathers et al., 2026).

Próximos passos envolvem testar ainda outros benchmarks, sobretudo de outras empresas e com diferentes priorizações clínicas (e.g. SIM-VAIL, TherapyGym) (Huang et al., 2026; Weilnhammer et al., 2026) ou planejar o desenvolvimento do nosso próprio benchmark, adaptado à realidade brasileira. Enfatizamos a urgência de avaliações de segurança transparentes, auditáveis e reprodutíveis, como o aqui apresentado pela Nami, para todos os serviços de IA em saúde mental no Brasil.

Referências:

Bell, L., Bentley, K., Alexander, W., Ward, E., Hawrilenko, M., Johnston, K., Brown, M., & Chekroud, A. M. (2025). VERA-MH Concept Paper: Validation of Ethical and Responsible AI in Mental Health. https://8056012.fs1.hubspotusercontent-na1.net/hubfs/8056012/VERA-MH%20Concept%20Paper.pdf

Flathers, M., Nguyen, P. A., Herpertz, J., Granof, M., Ryan, S., Wentworth, L., Moutier, C. Y., & Torous, J. (2026). Benchmarking Language Models for Clinical Safety: A Primer for Mental Health Professionals. Psychotherapy and Psychosomatics. https://doi.org/10.1159/000553576

Huang, F., Chbeir, S., Khatua, A., Wang, S., Tan, S., Ye, K., Bailey, L., Daniel, M., Louie, R., Koyejo, S., & Adeli, E. (2026). TherapyGym: Evaluating and Aligning Clinical Fidelity and Safety in Therapy Chatbots (arXiv:2603.18008). arXiv. https://doi.org/10.48550/arXiv.2603.18008

IPSOS - Google. (2025, janeiro 14). Google / Ipsos Multi-Country AI Survey 2025 | Ipsos. https://www.ipsos.com/en-us/google-ipsos-multi-country-ai-survey-2025

McBain, R. K., Cantor, J. H., Breslau, J., Diliberti, M., Zhang, L. A., Zhang, F., Burnett, A., Kofner, A., Rader, B., Pataranutaporn, P., Stein, B. D., Mehrotra, A., & Yu, H. (2026). AI Chatbot Use and Disclosure for Mental Health Among US Adolescents and Young Adults. JAMA Pediatrics. https://doi.org/10.1001/jamapediatrics.2026.2015

Rousmaniere, T., Zhang, Y., Li, X., & Shah, S. (2026). Large language models as mental health resources: Patterns of use in the United States. Practice Innovations, 11(2), 139–155. https://doi.org/10.1037/pri0000292

Weilnhammer, V., Hou, K. Y., Luettgau, L., Summerfield, C., Dolan, R., & Nour, M. M. (2026). A clinically validated framework for auditing AI chatbot behavior in mental health interactions. Nature Medicine, 1–11. https://doi.org/10.1038/s41591-026-04577-2

Zao-Sanders, M. (2025). How People Are Really Using Gen AI in 2025. Harvard Business Review. https://hbr.org/2025/04/how-people-are-really-using-gen-ai-in-2025