Quem diria que de um simples sistema conversacional projetado originalmente para interagir com o usuário, iniciar um bate-papo e simular conversas em tempo real inclusive para distraí-lo e trocar ideias, chatbots mais avançados, agora acoplados de Inteligência Artificial – IA, acabariam virando uma espécie de “confessionário digital” onde se conversa sobre praticamente tudo. Não só a fim de auxiliar tarefas inofensivas como tirar dúvidas, indagar sobre o tempo, sumarizar e auxiliar trabalhos de pesquisa, mas também as de maior complexidade no intuito de namorar, encontrar sua alma gêmea, um parceiro ideal, preencher vazios existenciais, expor planos de vida e até confidenciar detalhes íntimos contendo dezenas de informações privadas, de conteúdo sigiloso, na espera de correspondência amorosa, conexões reais e validação factual.
Como se não bastasse a já massiva extração de dados (consentida ou não) sob o pretexto de incrementar a experiência do usuário (UX). Estimando-se que a maior utilidade da IA é para uso pessoal. Cerca de 84% só no Brasil, segundo a pesquisa TIC Domicílios 2025.
A expressão “confessionário digital” não é minha, e sim do projeto BRIEF a quem confiro o crédito. Porém, que me veio a calhar, no momento em que também perquiro sobre o que as atuais capacidades desses grandes modelos de linguagem – LLMs nos diz sobre o futuro da humanidade, “da democracia e da soberania de dados“.
Pois os usuários vem fazendo uso generalizado desse recurso ou ferramenta virtual para aplacar o tédio ou até mesmo para desabafar e aliviar o peso da solidão. Se de modo indevido da sua parte, inadvertido ou não por quem o desenvolve e opera, isso não importa muito (mas somente por ora), visto que já uma realidade instaurada, a ponto de “toda semana, mais de 1 milhão de pessoas” usarem chatbots não só para expor (gratuitamente) sua vida pessoal e intimidade, como também descrever emoções e sentimentos mais profundos que dificilmente seriam revelados a família e profissionais de carne e osso.
Detalhes que, por outro lado, podem vir a ser sombrios e revelar tendências atentatórias à própria vida, dignidade, autonomia, identidade, segurança, bem-estar, saúde e integridades física e mental. Ou seja, uma extensa lista de riscos que – ao que parece – não é exaustiva, pelo menos tão cedo, enquanto nada for feito a título de estabelecer limites e controles acerca dos desdobramentos que esse tipo de exposição pode vir a causar.
O lance que é a indústria sabe das consequências, pois não só escuta essas confidências todos os dias, mas também se aproveita para minerar dados em busca de padrões, tendências e conhecimentos ocultos. A questão está, então, em como “melhora” ou incrementa essa experiência/interação do usuário: não se esforçando muito em dirimir erros e falhas já detectadas internamente por seus boards e equipes técnicas, e sim em parte minimizando o(s) problema(s) encontrado(s), investindo ainda mais na atualização dos sistemas, na customização e hiperpersonalização dos modelos de linguagem (ou personalização na sua forma mais radical).
Sobre a experiência imersiva e realidade aumentada:
Dentre os problemas que mais preocupam estão a forma artificial (logo, manipulada) e no contexto sensível como a novidade/inovação tecnológica é apresentada ao público. Principalmente na entrega de um serviço ou produto ainda inacabado ou que não está pronto ou devidamente testado, mas que mesmo assim é comercializado. Tudo para não ficar atrás da concorrência! Como parece ser o caso dos companheiros de IA (AI companion), quando “conversas são projetadas para simular cenários de dramatização e interações sociais mais realistas“. Visto que com o aumento da solidão e ausência de maior interação social na era digital, as pessoas estão recorrendo cada vez mais a chatbots em busca de afeto, conforto e companhia.
A indústria, então, sabedora que a inteligência artificial pode aliviar “esse sofrimento”, não diz, entretanto, que esses sistemas conversacionais até servem de alívio imediato, a curto prazo, mas não como solução em definitivo. Sobretudo quando aparenta vir de “um ouvinte atento que está atrás do comando de uma IA à distância”, quando não é esta a realidade, e sim que está sendo manipulado maquinicamente por humanos.
Não digo que, de início, a indústria tenha agido de má-fé ou premeditadamente, mas que ao longo do tempo tenha deixado passar essa falsa impressão de cognição e estados mentais próximos ao humano a medida que essas máquinas “mais inteligentes” passaram a performar como especialistas e gerar engajamento (através do aumento do número de cliques, curtidas e compartilhamentos, principalmente entre os mais jovens, já que experiências mais realistas – quando não erotizadas e mais violentas – engajam muito mais do que conteúdos que estimulam menos emoção). Não por acaso, rage bait foi escolhida uma das expressões da atualidade.
Isso a despeito de artigos acadêmicos que dizem o oposto, afirmando que LLMs “mais responsivos/intuitivos” foram feitos também para se apresentar naturais e assim passar mais realismo para as pessoas. Logo, por que não também enganar e manipular o usuário? Na medida que passa a confundi-lo – ora ganhando sua confiança, ora estabelecendo vínculos emocionais/afetivos de modo artificial – já que aparentam humanidade ou aquilo que nos faz ou nos aproxima do humano, só que sem “julgamento” ou “lição de moral”.
O que a princípio seria uma “vantagem” das máquinas projetadas para sempre nos agradar e bajular, incentivando comportamentos muitas vezes impróprios e perigosos, ao contrário de amigos, a uma rede de apoio de verdade e/ou profissionais do ramo que normalmente nos confrontam ou contradizem, por possuírem senso crítico, quando não o dever administrativo/legal de reportar algo estranho ou incomum às autoridades competentes, inclusive policiais.
Visto que há relatos de algumas empresas de tecnologia que contratam neurolinguistas e neurocientistas (especialmente nas áreas de IA, processamento de linguagem natural – PLN e neuromarketing) para validar seus experimentos. Esperando, assim, se respaldar por meio da Academia e através desses estudos comportamentais, psicológicos e antropológicos na hora de perfilar o algoritmo e desenvolver seus softwares (às vezes de forma declarada, outras nem tanto, não necessariamente de forma eficaz ou satisfatória ao cliente).
Zonas cinzentas quando o usuário contribui para o sistema:
Pouco se fala que o usuário também pode contribuir e estar envolvido nesse processo não exatamente de substituição do humano pela máquina, mas de “cocriação com a IA“. Seja de modo consciente, preferindo moldar a “personalidade” do chatbot a seu gosto, tornando-a mais agradável e menos crítica. Logo, mais permissiva aos seus instintos e pensamentos. Ou não, ao simplesmente “forçar a barra”, testando os limites dos termos de uso e políticas de privacidade aos quais aderiram previamente, seja parafraseando e/ou mesmo refinando os seus prompts (comandos) e in-puts (entradas) até que a máquina “entregue o jogo”.
Não é aleatória, portanto, a preocupação com controle, a exemplo do uso prolongado aos chatbots, limitando-o a faixas etárias determinadas e a horas diárias de exposição, levando-se em conta principalmente os mais vulneráveis como jovens em idade escolar, idosos e pacientes com histórico médico-hospitalar. Visto que a esses pode servir de “gatilho” por estarem mais predispostos a delírios e estados mentais conflitantes. Como no caso de chatbots que acabam ensinando à pessoa qual o melhor método para atentar contra a própria vida ou até mesmo a fórmula para se preparar uma bomba caseira.
Uma visão, certamente, focada nos aspectos negativos da IA, como “desinformação, desigualdades, piora no mercado de trabalho, prejuízos à saúde mental e à cognição do usuário“. O que para muitos não é nada bom, por refletir já uma predisposição ou mesmo “mania ou costume” dos próprios especialistas na área que os vêem apenas da perspectiva “dos riscos e problemas com a tecnologia“. Uma vez que a IA também serve para “facilitar processos, encurtar caminhos e conectar pessoas“.
Remete-se, então, à IA a ideia ambígua/ambivalente/paradoxal de pharmakon, palavra grega para significar tanto remédio quanto veneno, a depender da dosagem. Ou como daimon (“mediador entre mundos, simultaneamente salvador e destrutivo”), conceitos centrais trabalhados dentro da filosofia hermenêutica.
Lembrando que, como a maioria dos chatbots não foi feita para isso (Azimov que o diga, no imperativo de se criar regras e protocolos para estabelecer limites na atuação dos robôs), inexiste para a IA o compromisso de dizer a verdade, e sim o mais provável de ser dito ao usuário. Ou mesmo na hipótese de lhe servir de companhia ou terapeuta, já que dentro dessas interações humano-máquina não existe a relação médico-paciente típica, muito menos sigilo e cláusulas de confidencialidade a que(m) as empresas devam cumprir.
Fora a difícil e complexa prova de causalidade. Em outras palavras, a correlação de causa e efeito de que uma coisa levou a outra (como a de que uma mera consulta ao chatbot induziu alguém a tirar a própria vida). Aliás, tais argumentos têm servido de alegação para aquelas se livrarem de lawsuits (processos judiciais). Exatamente pela “quebra de decoro” e possível violação dos termos de uso e políticas de privacidade pelo cliente/consumidor.
Contudo, não deixar essa advertência muito clara e/ou culpabilizar exclusivamente a vítima quando algo dá errado ou sai do controle, saindo do espectro do que era “previsto” ou “esperado”, são de certa forma maneiras de terceirizar o risco e não de dividir algum tipo de responsabilização (e veja que não me refiro explicitamente a “culpa” e nem a “responsabilidade” civil tipificada nas relações de consumo, por implicar em algum grau de juridiquês que, a meu ver, mais complica do que facilita uma futura resolução do conflito. Visto que há formas extrajudiciais para resolver e/ou pacificar a questão que pode, sim, vir a se transformar em um problema crônico, quando revelado seu vício estrutural).
Sobretudo ao pressupor que todos os usuários estão no mesmo grau de cognição e discernimento para, assim, dar-lhes um tratamento homogêneo característico das automações. Acontece que uns são mais susceptíveis e vulneráveis do que outros, estando mais sugestionáveis a recomendações por algo ou alguém que se arvora dessa autoridade.
Nesses casos, o vício está em reter informações cruciais sobre os seus impactos e mau funcionamento ao mesmo tempo em que inflacionam suas capacidades computacionais e ações no mercado. Sugerindo, assim, que as pessoas podem confiar em chatbots para terapia, que as funções do trabalho podem todas ser automatizadas e, como nada é de graça, omitir que nossas “conversas privadas estão é treinando os modelos (LLMs) do futuro“. Ao contrário de agora, quando tudo indica que modelos mais novos e maiores não necessariamente apresentam desempenho melhor do que os antigos. Visto que já passamos da fase de experimentação para a de obter resultados tangíveis, concretos.
E é por isso que, lá no início, me refiro a um cenário em que reconheço que não dá mais para evitar a exposição total ao risco, dada a escalabilidade de adesão e popularização dos chatbots de IA para propósitos gerais, aplicando-lhe (indiscriminadamente) a todo tipo de contexto, setor e situação. Mas que, todavia, ainda é passível de reversão: ora a posteriori, pela redução de danos, ora pela avaliação prévia de impacto e a devida testagem antes de colocar o serviço e/ou produto digital no mercado, disponibilizando-os ao grande público. Até para que nos beneficiemos do lado bom e não se concentre apenas no que pode dar errado com a IA, já que há uma tendência excessivamente alarmista em alardear sobre os perigos hipotéticos e danos em potencial, mas não se ater aos erros, falhas e problemas já existentes com a tecnologia.
Os fatores influência e concorrência através da “metáfora do telefone sem fio“:
Outra questão a ser abordada é sobre a competição acirrada e a qualquer custo pela disputa da narrativa. Isto é, quando o marketing e a influência nos meios digitais falam mais alto do que a ética nos negócios. Assim, sem qualquer previsão de regras, salvaguardas e guardrails (barreiras de contenção/proteção) também passam a ser um problema de natureza pelo menos moral no campo da IA.
Ou seja, não é pelo simples fato de ser considerada como uma tecnologia onipresente, de propósito geral (inclusive pela errônea interpretação do que significa “propósito geral”) que a IA possa ser aplicada a qualquer tipo de situação ou contexto sem supervisão e as devidas adequação e conformidade a cada caso em concreto.
Assim, quando um CEO de uma pequena ou grande empresa de tecnologia noticia em sua plataforma ou um influencer vem a público indicar determinado produto ou serviço digital anunciando-o como melhor, mais avançado – logo mais competitivo – do que o oferecido pela concorrência, a condução da narrativa deveria ser balizada por algum tipo de escrutínio ou regramento. Só que não é o que vem acontecendo na prática, já que falam o que bem querem, a seu bel-prazer, sem o compromisso com a verdade. Portanto, a (des)informação sai da boca de alguém dotado de alguma autoridade ou influência, mas chega ao usuário (destinatário final) sem contraditório, seja de modo distorcido ou enviesado (assim como acontece na transmissão da mensagem por telefone sem fio).
Visto que sem qualquer filtro, rotulagem, moderação de conteúdo e/ou curadoria a mensagem inicial se perde no meio do caminho. Ou não mais informa o que originalmente deveria comunicar, superestimando as expectativas. Cenário esse que, então, transmite ao indivíduo, embora de forma indevida e artificialmente, uma falsa sensação de confiança e credibilidade no que está se tentando “vender” no lugar do concorrente.
A exemplo do âncora que duvida que os CEOs acreditem realmente no que estão afirmando (ou se trata, na verdade, de um delírio coletivo no atual âmbito corporativo-mercadológico): que seus modelos (LLMs), agora dotados de raciocínio, pensam antes de responder e tomam decisões por conta própria, de forma autônoma, sem a necessidade de supervisão humana, atingindo um grau de cognição e maturidade intelectual equiparável ao de um doutorando ou de um especialista.
E algo como uma inteligência artificial geral – IAG que estaria muito mais próximo do que se imagina, o que destoa da comunidade científica. Ou mesmo tarefas básicas, como a de criar e educar os filhos, sem os quais agora um humano não conseguiria mais sozinho fazer sem depender ou contar com a ajuda de um chatbot assistente e/ou da agência de uma IA.
Não por acaso, cogita-se que a profissão de influencer digital deva agora também se submeter a algum tipo de regulação, dado o atual caos ou desordem informacional provocado por quem não tem conhecimento técnico ou titularidade acadêmica para poder informar em plataformas e redes sociais.
Inclusive pelo fato de o marketing digital diferir da publicidade habitual ao envolver técnicas mais sofisticadas e persuasivas sobre o público consumidor. Exatamente pelas empresas de tecnologia se valerem da mineração daqueles dados sensíveis que hoje são confidenciados às máquinas (auxiliadas por contextos em que hoje não se faz nada sozinho e perguntamos sobre praticamente tudo aos chatbots de IA: da indicação de um restaurante onde jantar até decidir em quem votar nas próximas eleições). Mormente no que dizem respeito aos nossos hábitos, comportamentos, padrões de consumo, crenças, preferências pessoais e visões particulares de mundo. Não é à toa, portanto, o movimento recente para a simplificação do alcance do que hoje pode ser considerado “dado pessoal sensível”, a fim ampliar o acesso e abrir caminho para a mineração, impulsionando a competitividade das empresas. O que, em contrapartida, pode ser considerado um retrocesso em termos de proteção de dados, privacidade e garantias fundamentais.
Há, então, todo um custo embutido em troca de melhor performance, produtividade, eficácia e redução de gastos. Algo a ser questionado se realmente estamos dispostos a arcar. Não ditado por oligarcas, mas por consulta à maioria da sociedade. Aos moldes do que propõe o Future of Life.
Logo, especulações e declarações sensacionalistas como essas preocupam não só porque comunicam o que bem entendem ao superestimarem as habilidades atuais da IA, mas também porque passando dos limites do tolerável são irresponsáveis. Pois à medida que nos convencemos que devemos delegar mais autonomia às máquinas, a fim de nos dedicarmos mais a atividades recreativas do que propriamente ao trabalho, tornando-o “opcional”, consequentemente suprimimos nossa própria autonomia. Algo que deveria ser informado com mais seriedade, visto que fatalmente um dia – uma questão não de “se” e sim de “quando” – irá gerar uma crise de dependência, identidade, autenticidade ou até mesmo existencial para a humanidade. Momento que, ao final, duvidaríamos se iremos servir de qual serventia face ao cenário de automação total por agentes superinteligentes que agem e decidem por nós de ponta a ponta e em tempo real.
Modo adulto e a escalada da hiperpersonalização: a última fronteira com os chatbots
A última fronteira com os chatbots diz mais sobre manipulação e ganância por maior controle e monitoramento de nossa intimidade e vida privada do que propriamente a simples liberação de conteúdo erotizado para adultos, separando-o daquilo que consome o público infanto-juvenil. Até porque se sabe que tais mecanismos de verificação etária e identitária não são suficientes para impedir o acesso mais desejado por menores: o que dizem respeito a conteúdos violentos, pornográficos e que emulem algum conforto emocional. O que, por outro lado, induz à dependência, ao vício e a sintomas semelhantes à abstinência, tais como ansiedade, depressão, distúrbios do sono e dificuldade em manter responsabilidades cotidianas e conexões reais com pessoas.
Provando que o maior risco com a IA hoje é mais emocional do que técnico. Justamente por através dos chats conseguir burlar o olhar de censura e reprovação, sobretudo dos adultos, mas principalmente pela excessiva permissibilidade justificada pelo desejo de usuários e desenvolvedores por mais personalização e conteúdo expandido. Claro, desde que mantidas “estritas proibições sobre usos prejudiciais, como deepfakes sexuais e pornografia de vingança“.
Isto é, supostamente dar ao público – mesmo que adulto – mais proximidade e liberdade intelectual para acessar o que mais quer ver (conteúdos sensíveis e envolvendo temas delicados); quando, na verdade, esse direcionamento algorítmico por recomendação está é progressivamente moldando não apenas o desejo e a liberdade humana, mas a própria dinâmica das relações contemporâneas.
Afinal, quem define o que mais queremos acessar: o conhecimento por inferência ou o de fato vivenciado? Pois as empresas de tecnologia buscam transformar conhecimento tácito (o mais difícil de ser transmitido) em explícito: contudo, através de alegorias, generalizações e simplificações, as chamadas heurísticas (atalhos mentais) e correlações espúrias como as IAs costumam fazer. O que é um erro comum na estatística, visto que associações não implicam necessariamente causalidade (a já mencionada relação de causa e efeito que requer maior investigação e profundidade).
Direcionamentos por mais ética, transparência e mudanças nessa área não envolvem agora, portanto, maior altruísmo ou conscientização moral por parte da indústria, e sim a aversão ao risco e perda do controle. Posto que, na prática, eles “vem em resposta a uma pressão legal e social“. Uma vez que quanto mais se investe em personalização, atribuindo-se maior agência às IAs, mais isso envolve responsabilização por suas eventuais consequências. Pois, já nesse estágio de desenvolvimento tecnológico, a falha humana não contribui mais sozinha para o que possa resultar e/ou dar errado com as IAs.
Como ser menos pessimista: por mais ética, responsabilidade e inteligência na era das IAs
E, veja, não se está aqui falando nada demais ou de novo. Primeiro, já que o que está vindo hoje à tona no campo da inteligência artificial não vem mais da delação de whistleblowers como no passado, e sim de relatórios produzidos internamente pelas próprias empresas a fim de medir seus impactos no mercado e comparar a sua competitividade frente às demais. Trata-se, portanto, de passar maior credibilidade, segurança jurídica e principalmente previsibilidade aos negócios.
Segundo, porque as salvaguardas sobre ética e responsabilidade já fazem parte das políticas de compliance e accountability da maioria das grandes corporações. Sobretudo as de tecnologia, dada a opacidade como ainda operam, com implicações variadas ainda no campo da proteção de dados, da privacidade, das liberdades e garantias fundamentais, assim como dos direitos à intimidade, personalidade e dignidade da pessoa humana como um todo na era da inovação e transformação digital.
O diferencial, agora, é como ser mais otimista diante de tantos ajustes ainda a serem feitos no campo de uma tecnologia ainda imatura e imperfeita concorrendo com declarações inconsequentes por parte de quem tem lugar de fala e deveria ter alteridade, porém ainda é descompromissado em passar confiança, veracidade e autenticidade naquilo que é produzido sinteticamente. Por conseguinte, desumanizando e automatizando ainda mais as relações interpessoais sem uma garantia de como retroceder dignamente ao status quo ante a inteligência artificial.
Anderson Röhe 