Um sistema de inteligência artificial da Meta, chamado de BlenderBot 3, está sendo testado publicamente desde o início de agosto, para entender o nível da capacidade de comunicação da tecnologia e aprimorá-la com base no feedback das pessoas.
O BlenderBot 3 combina duas técnicas de aprendizado, as quais foram desenvolvidas recentemente: o SeeKer e o Director. As soluções servem para construir modelos de conversação desenvolvidos a partir de interações e das avaliações dos usuários, diferentemente de outros conjuntos de dados, que se baseiam em informações que não refletem à diversidade do mundo real.
Segundo a Meta, à medida que o sistema interage com mais pessoas, ele acumula mais aprendizado, permitindo que se torne melhor e mais seguro ao longo do tempo. Para que o sistema possa aprender com pessoas bem-intencionadas, foram desenvolvidas novas técnicas para evitar que usuários tentem enganar o chatbot com respostas inúteis ou tóxicas.
A atual versão do BlenderBot foi construída a partir do modelo de linguagem OPT-175B, 58 vezes maior que o tamanho do BlenderBot 2, o que permite um desempenho consideravelmente superior às versões anteriores.
Primeiros resultados dos testes
A demonstração do BlenderBot 3 foi direcionada à adultos residentes nos Estados Unidos. Durante os testes, o sistema pôde aprender com os mais variados tipos de interações, passando por conversas longas e com diferentes tópicos de interesse das pessoas.
A avaliação pode ser feita de diversas formas, como através de reações positivas ou negativas às mensagens de bate-papo, por exemplo. Também é possível especificar se a conversa estava fora do tema, se não fazia sentido ou se respondeu de forma rude, e, ainda, enviar uma mensagem livre pelo próprio chat.
(2/4) A focal point of our research is enhancing safety measures for chatbots. We developed new techniques that enable learning from helpful feedback from people, while ignoring people who are trying to trick the model into unhelpful or toxic responses. pic.twitter.com/KVbgO9aKHr
— Meta AI (@MetaAI) August 5, 2022
Nos primeiros testes com o BlenderBot 3, foram coletadas 70 mil conversas as quais serão usadas para aperfeiçoar a inteligência do sistema. Com base no feedback fornecido por 25% dos participantes, das 260 mil mensagens do bot, 0,11% foram sinalizadas como respostas inadequadas, 1,36% não faziam sentido e 1% estavam fora do tópico.
Para progredir com o novo chatbot, a Meta acredita que as melhores práticas a serem adotadas são as pesquisas abertas, que podem ser reproduzidas em escala. Espera-se, ainda, que a ferramenta possibilite avançar na construção de sistemas de IA, tornando possíveis as interações de maneira segura e útil.
Respostas ofensivas
Uma das principais preocupações da Meta, com relação ao bom desempenho do BlenderBot 3, é a segurança das interações com o público. Ao longo dos testes realizados com a ferramenta, ficou comprovado que, quanto mais pessoas interagem com o modelo, mais ele aprende com essas experiências.
Dessa forma, é imprescindível que as vivências sejam compartilhadas com perfis, que possam agregar de forma positiva ao bot. De acordo com Joelle Pineau, Diretora Administrativa de Pesquisa Fundamental em IA da Meta, à medida que a empresa avança com o projeto, os investimentos em pesquisas de segurança de conversação são ainda mais intensos:
Tomamos medidas para proteger as pessoas que experimentam a demonstração. Exigimos que todos tenham mais de 18 anos, que entendam que é apenas para fins de pesquisa e entretenimento e que concordem em não acionar intencionalmente o bot para fazer declarações falsas ou ofensivas.
Apesar do cuidado com a linguagem usada pelo chatbot, o alvo do sistema da Meta foi o seu próprio chefe, Mark Zuckerberg, que, na semana passada, foi “acusado” pelo BlenderBot 3 de explorar seus usuários por dinheiro, em resposta a uma interação com um repórter de tecnologia da BBC inglesa.
De acordo com a Meta, o BlenderBot 3 pode conversar sobre tudo, com base no que ele aprende com suas experiências, sejam interações por textos ou conteúdo armazenado na internet. Dessa forma, é possível que o bot utilize opiniões alheias depositadas na web para formar suas respostas.
O BlenderBot 3 pode dizer muita coisa errada, imitando uma linguagem insegura, tendenciosa ou ofensiva. Para minimizar esse problema, desenvolvemos salvaguardas e dispositivos de controle, capazes de evitar que o chatbot faça comentários racistas, misóginos ou antissemitas – explicou, em nota, um porta-voz da Meta.
