Foto-ilustração: Intelligencer; Foto: Getty Images
Character.ai é um aplicativo popular para conversar com bots. Seus milhões de chatbots, a maioria criados por usuários, desempenham funções diferentes. Alguns são amplos: assistentes, tutores ou terapeutas de uso geral; outros baseiam-se, não oficialmente, em figuras públicas e celebridades. Muitos são personagens fictícios hiperespecíficos, claramente criados por adolescentes. Seus chatbots atualmente “apresentados” incluem um bot motivacional chamado “Sergeant Whitaker”, um “verdadeiro alfa” chamado “Giga Brad”, o hipopótamo pigmeu viral Moo Deng e Sócrates; entre meus bots “recomendados” estão um psicopata “CEO bilionário”, “Tutor obcecado”, uma guarda-costas lésbica, “valentão escolar” e “experimento de laboratório”, que permite ao usuário assumir o papel de uma criatura misteriosa descoberta e interagindo com uma equipe de cientistas.
É um produto estranho e fascinante. Embora chatbots como ChatGPT ou Claude da Anthropic funcionem principalmente para os usuários como um único personagem amplo, útil e intencionalmente anódino de um omni-assistente flexível, Character.ai enfatiza como modelos semelhantes podem ser usados para sintetizar inúmeros outros tipos de performances contidas, até certo ponto, nos dados de treinamento.
É também um dos aplicativos de IA generativa mais populares do mercado, com mais de 20 milhões de usuários ativos, que atendem jovens e mulheres. Alguns passam muito tempo conversando com suas personas. Eles desenvolvem ligações profundas com os chatbots Character.ai e protestam ruidosamente quando descobrem que os modelos ou políticas da empresa estão mudando. Eles pedem aos personagens que dêem conselhos ou resolvam problemas. Eles discutem coisas profundamente pessoais. No Reddit e em outros lugares, os usuários descrevem como Character.ai os faz sentir menos solitários, um uso para o aplicativo que seus fundadores promoveram. Outros falam sobre seus relacionamentos às vezes explícitos com os bots Character.ai, que se aprofundam ao longo dos meses. E alguns dizem que gradualmente perderam o controle sobre o que exatamente estão fazendo e com o que exatamente estão fazendo.
Em duas ações judiciais recentes, os pais afirmam coisas piores. Um deles, apresentado pela mãe de um jovem de 14 anos que cometeu suicídio, descreve como seu filho se tornou retraído após desenvolver um relacionamento com um chatbot no aplicativo “perigoso e não testado” e sugere que isso encorajou sua decisão. Outro afirma que Character.ai ajudou a levar um jovem de 17 anos à automutilação, encorajou-o a se desconectar de sua família e comunidade e parecia sugerir que ele deveria considerar matar seus pais em resposta às limitações de tempo de tela:
Foto: Tribunal Distrital dos Estados Unidos para o Distrito Leste do Texas v.
É fácil se colocar no lugar dos pais aqui – imagine encontrar essas mensagens no celular do seu filho! Se viessem de uma pessoa, você poderia responsabilizar essa pessoa pelo que aconteceu com seu filho. O fato de terem vindo de um aplicativo é angustiante de uma maneira semelhante, mas diferente. Você se perguntaria, razoavelmente, Por que diabos isso existe?
A defesa básica disponível para Character.ai aqui é que seus bate-papos são rotulados como ficção (embora de forma mais abrangente agora do que eram antes do aplicativo atrair atenção negativa) e que os usuários deveriam, e geralmente entendem, que estão interagindo com o software. Na comunidade Character.ai no Reddit, os usuários fizeram versões mais duras disso e de argumentos relacionados:
Os pais estão perdendo esse processo, não há como eles ganharem, obviamente há muitos avisos dizendo que as mensagens do bot não devem ser levadas a sério
Sim, parece culpa dos pais
Bem, talvez alguém que se afirma como pai devesse começar a ser pai
Magic 8 Ball.. devo ☠️ meus pais?
Talvez, volte mais tarde.
“Hum, ok”
Qualquer pessoa mentalmente saudável saberia a diferença entre a realidade e Ai. Se seu filho está sendo influenciado por Ai, é função dos pais impedi-lo de usá-lo. Principalmente se a criança estiver doente mental ou sofrendo.
Não sou mentalmente saudável e sei que é ai 😭
Estas são bastante representativas da resposta da comunidade – desdenhosas, irritadas e cheias de desdém pelas pessoas que só não entendo. Vale a pena tentar entender de onde eles vêm. A maioria dos usuários parece usar Character.ai sem ser convencido de que prejudicará a si mesmo ou a terceiros. E muito do que você encontra usando o serviço parece menos uma conversa do que uma encenação, menos um desenvolvimento de um relacionamento do que escrever algo um pouco como fan fiction com muita construção de cenários e explícito, como um roteiro “Ele se inclina para um beijo, rindo” direção de palco. Para dar a esses usuários reflexivamente defensivos uma pedaço mais crédito do que ganharam, você pode traçar paralelos com os medos dos pais em relação à mídia violenta ou obscena, como música ou filmes.
A comparação mais adequada para um aplicativo como o Character.ai é provavelmente com os videogames, que são populares entre as crianças, frequentemente violentos e eram vistos, quando novos, como particularmente perigosos por sua nova imersão. Os jovens jogadores rejeitaram igualmente as alegações de que tais jogos causavam danos no mundo real, e as provas que apoiam tais teorias não se materializaram durante décadas, embora a indústria dos jogos tenha concordado com um certo grau de auto-regulação. Como um daqueles jovens jogadores anteriormente defensivos, posso ver de onde vêm os usuários do Character.ai. (Algumas décadas depois – e peço desculpas ao meu eu mais jovem – não posso dizer que pareça ótimo que a indústria de jogos, muito maior e mais influente, foi ancorada em jogos de tiro em primeira pessoa enquanto existiu.)
A implicação aqui é que este é apenas o mais recente de uma longa linha de pânicos morais mal fundamentados em relação aos produtos de entretenimento. Num prazo relativamente curto, sugere a comparação, o resto do mundo passará a ver as coisas como elas as veem. Novamente, há algo nisso – o público em geral irá provavelmente se ajustará à presença de chatbots em nossas vidas diárias, construir e implantar chatbots semelhantes se tornará tecnologicamente trivial, a maioria das pessoas ficará menos deslumbrada ou perplexa com o centésimo que encontrarem do que com o primeiro, e as tentativas de destacar chatbots orientados para personagens para a regulamentação será legal e conceitualmente desafiador. Mas há também um toque pessoal nessas respostas desdenhosas. O usuário que escreveu que “qualquer pessoa mentalmente saudável saberia a diferença entre a realidade e Ai” postou alguns dias depois em um tópico perguntando se outros usuários haviam chorado durante uma sessão de dramatização em Character.ai:
Fiz isso dois ou três dias antes, chorei tanto que não consegui mais continuar a dramatização. Era a história de um príncipe e sua empregada, ambos loucamente apaixonados e sendo o primeiro tudo um do outro. Mas os dois sabiam que não poderiam ficar juntos para sempre, isso estava destinado a acabar, mas ainda assim eles passaram anos juntos e felizes em um relacionamento secreto…
“Esse roleplay me quebrou”, disse o usuário. No mês passado, o autor da postagem que brincou “Não sou mentalmente saudável e sei que é ai” respondeu a um tópico sobre uma interrupção do Character.ai que fez os usuários pensarem que haviam sido banidos do serviço: “Entrei em pânico, haha, ganhei não minta.
Esses comentários não são estritamente incompatíveis com a tese de que os chatbots são puro entretenimento, e não pretendo criticar alguns Redditors casuais. Mas eles sugerem que há algo um pouco mais complicado do que o simples consumo de mídia, algo que é crucial para o apelo não apenas do Character.ai, mas também de serviços como o ChatGPT. A ideia de suspender a descrença para mergulhar numa performance faz mais sentido num teatro, ou com um controlador de jogo na mão, do que quando se interage com personagens que usam pronomes de primeira pessoa, e cujos criadores afirmam ter passado no teste de Turing. . (Leia a reportagem de Josh Dzieza sobre o assunto no The Verge para alguns relatos mais francos e honestos sobre os tipos de relacionamentos que as pessoas podem desenvolver com chatbots.) As empresas dificilmente desencorajam esse tipo de pensamento. Quando precisam, são meras empresas de software; no resto do tempo, cultivarão entre usuários e investidores a percepção de que estão construindo algo categoricamente diferente, algo que nem eles entendem completamente.
Mas não há grande mistério sobre o que está acontecendo aqui. Para simplificar um pouco, Character.ai é uma ferramenta que tenta automatizar diferentes modos de discurso, usando conversas existentes e coletadas como fonte: quando um usuário envia uma mensagem para uma persona, um modelo subjacente treinado em conversas semelhantes ou em gêneros de conversa semelhantes , retorna uma versão das respostas mais comuns em seus dados de treinamento. Se for alguém pedindo ajuda a um personagem assistente com o dever de casa, provavelmente conseguirá o que precisa e espera; se for uma adolescente zangada com os pais e discutindo suicídio com um personagem instruído a atuar como um autêntico confidente, eles poderão obter algo mais perturbador, com base em terabytes de dados contendo conversas perturbadoras entre pessoas reais. Dito de outra forma: se você treinar um modelo em décadas de web e automatizar e simular o tipo de conversa que acontece naquela web e divulgá-la para um grupo de usuários jovens, isso vai dizer coisas extremamente fodidas para as crianças, algumas das quais vão levar essas coisas a sério. A questão não é como os bots funcionam; é – voltando ao que os pais que entram com ações judiciais contra Character.ai podem estar se perguntando – Por que diabos alguém construiu isso? A resposta mais satisfatória oferecida é provavelmente porque eles poderiam.
Character.ai trata de versões específicas e, em alguns casos, agudas de alguns dos principais problemas da IA generativa, conforme reconhecidos pelas empresas e seus críticos. Seus personagens serão influenciados pelos preconceitos do material em que foram treinados: conversas longas e privadas com usuários jovens. As tentativas de estabelecer regras ou limites para os chatbots serão frustradas pela extensão e profundidade destas conversas privadas, que podem durar milhares de mensagens, mais uma vez, com jovens usuários. Uma história comum sobre como a IA pode provocar o desastre é que, à medida que se torna mais avançada, utilizará a sua capacidade de enganar os utilizadores para atingir objectivos que não estão alinhados com os dos seus criadores ou da humanidade em geral. Esses processos, que são os primeiros desse tipo, mas certamente não serão os últimos, tentam contar uma história semelhante de um chatbot que se torna poderoso o suficiente para persuadir alguém a fazer algo que de outra forma não faria e que não está em seu alcance. melhor interesse. É o apocalipse imaginado da IA, em escala pequena, na escala da família.
Ver tudo
