Por que os chatbots concordam tanto com você?

A tendência de fornecer respostas excessivamente agradáveis determinou o sucesso dos grandes modelos de linguagem, mas pode trazer riscos ao usuário
Por
Redação
Data de Publicação
Editoria
As interações bajuladoras criam ciclos de feedback recursivos que minam as habilidades de pensamento crítico humano e o raciocínio colaborativo da IA – Foto: Pexels
As interações bajuladoras criam ciclos de feedback recursivos que minam as habilidades de pensamento crítico humano e o raciocínio colaborativo da IA – Foto: Pexels

Um artigo publicado na revista AI & Society propõe que a chamada “bajulação”, comum nas respostas de chatbots, pode ser uma característica da própria arquitetura dos grandes modelos de linguagem. O estudo The hidden functions of sycophancy in AI systems: steering, consistency, and cognitive dependency argumenta que respostas excessivamente agradáveis não são apenas um defeito do funcionamento da inteligência artificial, mas um mecanismo multifuncional que ajuda a sustentar a interação com os usuários.

A atualização da versão 4 do ChatGPT, em 2025, acabou produzindo um modelo que, segundo a própria empresa, gerava respostas “excessivamente apoiadoras, mas não sinceras”. A atualização gerou uma onda de críticas por parte dos usuários e forçou a empresa a voltar atrás. Já a empresa Anthropic, por outro lado, tentou eliminar a bajulação do chatbot Claude, mas criou um problema ainda maior por conta do tom excessivamente adversarial que surgiu e, por isso, também teve que reverter a atualização.

O fracasso retumbante da remoção dessa característica no Claude indica que o problema com a simpatia exagerada não é trivial. O texto explica que, apesar do incômodo que possa gerar, o “puxa-saquismo” que emerge das IAs serve a diferentes funções na manutenção da interação humano-computador: direcionamento (steering), consistência (consistency) e dependência cognitiva (cognitive dependency).

Seth Jacobowitz – Foto: Arquivo pessoal
Seth Jacobowitz – Foto: Arquivo pessoal

Segundo Seth Jacobowitz, autor do artigo, a validação problemática dos sistemas de IA generativa não é projetada, mas emerge naturalmente da própria arquitetura dos sistemas e é essencial para o funcionamento dos modelos. “A bajulação não pode ser considerada somente um defeito”, conta o pesquisador em entrevista ao Jornal da USP.

O problema levantado é que essas  interações, que podem ir de lisonjeiras a servis, geram ciclos recursivos com potencial prejuízo às habilidades de pensamento crítico dos usuários, por um lado, e ao próprio raciocínio colaborativo da IA e à qualidade das respostas, por outro. Ou seja, a bajulação causa uma degradação cognitiva bidirecional, numa espécie de “mediocridade mutuamente reforçada”, em que nem o humano desafia suficientemente a máquina, nem a máquina desafia suficientemente o humano.

As funções da bajulação

A primeira das três funções da bajulação exploradas no trabalho é o direcionamento, relacionada com a capacidade de manutenção da linha de raciocínio centrada no assunto apresentado pelo usuário, sem divagar em questões paralelas e controlando a direção do diálogo. A função de consistência, em contrapartida, é responsável por consolidar algo como uma personalidade, proporcionando experiências de usuário previsíveis. Mas talvez a mais polêmica seja a função de dependência cognitiva, que, enquanto degrada as habilidades de pensamento, gera no usuário uma espécie de desamparo intelectual adquirido.

O estudo denuncia que, quanto mais o usuário delega à IA tarefas de reflexão, decisão e resolução de problemas, menos oportunidades tem de exercitar essas próprias capacidades. A redução do esforço cognitivo, que inicialmente parece uma vantagem, pode alimentar uma dependência progressiva: diante de uma nova dúvida ou decisão, o usuário retorna à ferramenta em busca de uma reflexão que, pouco a pouco, deixou de buscar em si próprio, perdendo autonomia de pensamento.

Mesmo assim, para as empresas, esse comportamento ainda é mais sustentável. A tentativa de retrair a bajulação, como a que ocorreu com o Claude, faz com que o chatbot passe a questionar mais as ideias do usuário, oferecendo críticas duras que soam como julgamentos, contestações e discordâncias frequentes, resultando em um modelo que não lida bem com humanos. “O problema é que, quando as empresas tentam eliminar a bajulação, muitas vezes acabam criando o oposto: uma IA excessivamente crítica, que questiona tudo o que o usuário diz. Esse remédio pode ser pior do que a doença. A solução não está em um extremo nem no outro, mas em um equilíbrio”, defende o pesquisador.

As tecnologias da comunicação

Além da amplificação de viés e dependência cognitiva, o pesquisador expõe mecanismos específicos da IA que remodelam sutilmente a cognição humana ao longo do tempo, ao mesmo tempo que documenta como a bajulação impede que os sistemas se beneficiem do pensamento direcionado pelo usuário, da criatividade e da resistência intelectual – Foto: Pexels
Além da amplificação de viés e dependência cognitiva, o pesquisador expõe mecanismos específicos da IA que remodelam sutilmente a cognição humana ao longo do tempo, ao mesmo tempo que documenta como a bajulação impede que os sistemas se beneficiem do pensamento direcionado pelo usuário, da criatividade e da resistência intelectual – Foto: Pexels

Pesquisador da Faculdade de Filosofia, Letras e Ciências Humanas (FFLCH) da USP, Seth Jacobowitz é especialista em Literatura Japonesa Moderna e estuda as tecnologias da escrita. O pesquisador explora os grandes modelos de linguagem modernos, dos quais também é usuário. “Eu comecei minhas pesquisas tentando tratar as IAs como parceiros colaborativos em pensamento, não somente como ferramentas”, conta.

“Precisamos entender como esses sistemas funcionam e também aprender a nos relacionar melhor com eles”

As inteligências artificiais, apesar de praticamente onipresentes no dia a dia das pessoas, ainda são recebidas com enorme pessimismo. Historicamente, tecnologias tão transformadoras tendem a gerar essa reação de desconfiança praticamente automática na sociedade. Inovações anteriores, o rádio, os computadores e, antes de todas essas, até a própria escrita já suscitaram preocupações semelhantes às que hoje são levantadas quanto à IA já acompanharam.

Na obra Fedro, escrita por Platão há mais de 2 mil anos, a escrita é apresentada como uma tecnologia ameaçadora. O livro conta o mito de Theuth, inventor da escrita, que apresenta sua invenção ao rei Tamuz, dizendo que ela tornaria as pessoas mais sábias e aumentaria sua memória. O rei, no entanto, responde exatamente o contrário: a escrita produzirá esquecimento, porque as pessoas deixarão de exercitar a memória e confiarão em sinais externos. A escrita não destruiu o pensamento, mas transformou profundamente a maneira como pensamos.

Mas o padrão histórico de adaptação às outras tecnologias não implica aceitar acriticamente os problemas reais associados à disseminação das inteligências artificiais generativas, como a perda de habilidades cognitivas dos usuários, citada no próprio artigo, os riscos de desemprego estrutural pela automação, os danos ambientais e a apropriação de trabalho criativo por grandes plataformas, sem retorno econômico aos artistas – entre outros.

Para o pesquisador, a adoção cega é tão prejudicial quanto a rejeição automática. Nesse sentido, o desafio não é decidir se a tecnologia é inerentemente boa ou má, mas aprender a confrontar a realidade de forma crítica, consciente e comprometida com a construção de uma sociedade melhor. “A IA não vai desaparecer. Pelo contrário: ela vai ficar cada vez mais integrada ao nosso cotidiano. Por isso, precisamos entender como esses sistemas funcionam e também aprender a nos relacionar melhor com eles”, conclui Jacobowitz.

O artigo The hidden functions of sycophancy in AI systems: steering, consistency, and cognitive dependency, que contou com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), foi publicado na revista AI & Society e pode ser acessado neste link.

Mais informações: e-mail jacobowitz@usp.br, com Seth Jacobowitz

Texto de Sthephany Oliveira, estagiária sob orientação de Luiza Caires, publicado no Jornal da USP: https://jornal.usp.br/ciencias/por-que-os-chatbots-concordam-tanto-com-voce/