As pessoas resolvem novos problemas prontamente, sem nenhum treinamento ou prática especial, comparando-os com problemas familiares e estendendo a solução para o novo problema. Esse processo, conhecido como raciocínio analógico, há muito é considerado uma habilidade exclusivamente humana.

Mas agora as pessoas podem ter que abrir espaço para um novo participante.

Pesquisas de psicólogos da UCLA mostram que, surpreendentemente, o modelo de linguagem de inteligência artificial GPT-3 tem um desempenho tão bom quanto alunos de graduação quando solicitado a resolver o tipo de problemas de raciocínio que normalmente aparecem em testes de inteligência e testes padronizados, como o SAT. O estudo foi publicado na Nature Human Behavior.

Mas os autores do artigo escrevem que o estudo levanta a questão: o GPT-3 está imitando o raciocínio humano como um subproduto de seu enorme conjunto de dados de treinamento de linguagem ou está usando um tipo fundamentalmente novo de processo cognitivo?

Sem acesso ao funcionamento interno do GPT-3 – que é guardado pela OpenAI, a empresa que o criou – os cientistas da UCLA não podem dizer com certeza como suas habilidades de raciocínio funcionam. Eles também escrevem que, embora o GPT-3 tenha um desempenho muito melhor do que o esperado em algumas tarefas de raciocínio, a popular ferramenta de IA ainda falha espetacularmente em outras.

"Não importa quão impressionantes sejam nossos resultados, é importante enfatizar que este sistema tem grandes limitações", Disse Taylor Webb, pesquisador de pós-doutorado em psicologia da UCLA e primeiro autor do estudo. "Ele pode fazer raciocínio analógico, mas não pode fazer coisas que são muito fáceis para as pessoas, como usar ferramentas para resolver uma tarefa física. Quando demos esse tipo de problema - alguns dos quais as crianças podem resolver rapidamente - as coisas sugeridas eram absurdas."

Webb e seus colegas testaram a capacidade do GPT-3 de resolver um conjunto de problemas inspirados em um teste conhecido como Matrizes Progressivas de Raven, que pedem ao sujeito para prever a próxima imagem em um complicado arranjo de formas. Para permitir que o GPT-3 "veja" as formas, o Webb converteu as imagens em um formato de texto que o GPT-3 poderia processar; essa abordagem também garantiu que a IA nunca teria encontrado as perguntas antes.

Os pesquisadores pediram a 40 alunos de graduação da UCLA para resolver os mesmos problemas.

“Surpreendentemente, o GPT-3 não apenas se saiu tão bem quanto os humanos, mas também cometeu erros semelhantes”, disse Hongjing Lu, professor de psicologia da UCLA, autor sênior do estudo.

O GPT-3 resolveu 80% dos problemas corretamente - bem acima da pontuação média dos sujeitos humanos de pouco menos de 60%, mas bem dentro da faixa das pontuações humanas mais altas.

Os pesquisadores também solicitaram que o GPT-3 resolvesse um conjunto de questões de analogia SAT que eles acreditam nunca terem sido publicadas na internet - o que significa que é improvável que as perguntas façam parte dos dados de treinamento do GPT-3. As perguntas pedem aos usuários que selecionem pares de palavras que compartilham o mesmo tipo de relacionamento. (Por exemplo, no problema "'Amor' está para 'odiar' assim como 'rico' está para qual palavra?", a solução seria "pobre".)

Eles compararam as pontuações do GPT-3 com os resultados publicados das pontuações do SAT dos candidatos à faculdade e descobriram que a IA teve um desempenho melhor do que a pontuação média dos humanos.

Os pesquisadores então pediram ao GPT-3 e aos alunos voluntários que resolvessem analogias baseadas em histórias curtas – levando-os a ler uma passagem e depois identificar uma história diferente que transmitisse o mesmo significado. A tecnologia foi pior do que os alunos nesses problemas, embora o GPT-4, a mais recente iteração da tecnologia OpenAI, tenha um desempenho melhor do que o GPT-3.

Os pesquisadores da UCLA desenvolveram seu próprio modelo de computador, inspirado na cognição humana, e compararam suas habilidades com as da IA comercial.

"A IA estava melhorando, mas nosso modelo psicológico de IA ainda era o melhor em resolver problemas de analogia até dezembro passado, quando Taylor recebeu a atualização mais recente do GPT-3, e era tão bom ou melhor", disse o professor de psicologia da UCLA Keith Holyoak, um coautor do estudo.

Os pesquisadores disseram que o GPT-3 até agora não foi capaz de resolver problemas que exigem a compreensão do espaço físico. Por exemplo, se recebesse descrições de um conjunto de ferramentas - digamos, um tubo de papelão, tesoura e fita adesiva - que poderia usar para transferir chicletes de uma tigela para outra, o GPT-3 propunha soluções bizarras.

“Os modelos de aprendizado de idiomas estão apenas tentando fazer a previsão de palavras, então estamos surpresos que eles possam raciocinar”, disse Lu. "Nos últimos dois anos, a tecnologia deu um grande salto em relação às versões anteriores."

Os cientistas da UCLA esperam explorar se os modelos de aprendizado de idiomas estão realmente começando a "pensar" como humanos ou estão fazendo algo totalmente diferente que apenas imita o pensamento humano.

“O GPT-3 pode estar pensando como um humano”, disse Holyoak. "Mas, por outro lado, as pessoas não aprenderam ingerindo toda a internet, então o método de treinamento é completamente diferente. Gostaríamos de saber se está realmente fazendo do jeito que as pessoas fazem ou se é algo totalmente novo - uma inteligência artificial real - o que seria incrível por si só."

Para descobrir, eles precisariam determinar os processos cognitivos subjacentes que os modelos de IA estão usando, o que exigiria acesso ao software e aos dados usados para treinar o software – e então administrar testes que eles têm certeza de que o software ainda não fez. Foi dado. Isso, disseram eles, seria o próximo passo para decidir o que a IA deveria se tornar.

“Seria muito útil para pesquisadores de IA e cognitivos ter o back-end para modelos GPT”, disse Webb. "Estamos apenas fazendo entradas e obtendo saídas e não é tão decisivo quanto gostaríamos que fosse."

O raciocínio analógico é considerado uma habilidade cognitiva crítica, permitindo que as pessoas resolvam novos problemas aplicando soluções de problemas anteriores. Isso ajuda a explicar por que testes de QI e exames como SAT contêm questões projetadas para avaliar essas habilidades.

Se o GPT-3 de fato puder fazer raciocínio analógico, isso sugere que a IA alcançou um marco significativo anteriormente considerado fora do alcance das máquinas.

Por outro lado, se o GPT-3 estiver apenas imitando raciocínio analógico como um subproduto de reconhecimento de padrões em seus dados de treinamento massivos, isso levanta dúvidas sobre se realmente está exibindo uma capacidade cognitiva humana.

“Resolver esses problemas corretamente pode exigir mais do que simplesmente reconhecer padrões”, disse Lu. “Pode exigir raciocínio de alto nível e flexibilidade cognitiva que ainda é exclusivamente humana.”

Mesmo que o GPT-3 esteja genuinamente raciocinando, ainda tem limitações significativas. Lu e seus colegas enfatizam que ele falha em tarefas físicas e espaciais simples que até crianças pequenas podem manipular intuitivamente.

“Ferramentas como o GPT-3 têm limites claros”, disse Webb. “Elas não são versões artificiais de inteligência humana generalizada.”

Para os pesquisadores da UCLA, uma questão-chave é se o GPT-3 está usando processos cognitivos semelhantes ou radicalmente diferentes dos humanos para realizar suas impressões de raciocínio. Até agora, eles só podem especular, já que o funcionamento interno do GPT-3 permanece um segredo comercial bem guardado.

“Gostaríamos de olhar sob o capô para ver como ele funciona”, disse Holyoak. “Isso nos permitiria avaliar se os processos cognitivos são parecidos ou não com os humanos.”

Sem transparência sobre os mecanismos internos do GPT-3, é impossível dizer definitivamente se ele representa uma IA com habilidades de pensamento genuínas ou apenas está imitando pensamento humano.

“É uma caixa preta”, disse Lu. “Precisamos de mais acesso e testes para realmente entender o que está acontecendo.”

Os pesquisadores enfatizam que modelos de aprendizado profundo como GPT-3 diferem radicalmente dos humanos em como adquirem conhecimento. Enquanto pessoas aprendem gradualmente com poucos exemplos, o GPT-3 foi treinado em um corpus massivo da internet.

“Ingerir a web não se assemelha à cognição humana”, disse Webb. “Então, mesmo que possa parecer pensamento, pode ser algo completamente novo.”

Um objetivo importante para pesquisas futuras é determinar se as últimas ferramentas de IA como GPT-3 são melhores caracterizadas como exibindo uma “inteligência artificial” genuinamente nova ou se simplesmente imitam habilidades cognitivas humanas por meio de reconhecimento estatístico de padrões.

“Resolver essa questão tem implicações importantes”, disse Lu. “Nos ajuda a entender esses sistemas e como eles se relacionam com a cognição humana.”

Um caminho a seguir é desenvolver novos testes visando entender os processos por trás do desempenho do GPT-3. Outra abordagem é construir modelos de IA mais transparentes inspirados em princípios de cognição humana.

“Nossa pesquisa está explorando ambas as vias”, disse Holyoak. “Queremos abrir a caixa preta da IA moderna para ver se o que está dentro se assemelha à mente humana.”

Esse trabalho pode ajudar a esclarecer se sistemas como GPT-3 representam uma inteligência artificial genuinamente nova e poderosa ou se eles permanecem limitados à imitação elegante de habilidades humanas.

“É uma questão profunda que tem implicações importantes para o futuro da IA”, disse Lu. “E um desafio empolgante para pesquisadores de IA e ciência cognitiva decifrar”.

Independentemente dos mecanismos internos específicos, no entanto, o desempenho do GPT-3 em testes de raciocínio analógico permanece notável e sugere que a IA alcançou um marco importante.

“O papel do GPT-3 indica claramente o quão longe a IA chegou”, disse Webb. “Mesmo que não pense exatamente como os humanos, é capaz de equalizar o desempenho humano em algumas tarefas complexas de raciocínio.”

Para Lu, essas capacidades impressionantes destacam o potencial transformador da IA moderna.

“Sistemas como GPT-3 podem logo superar a cognição humana em várias maneiras”, disse Lu. “Isso apresenta desafios, mas também oportunidades emocionantes para melhorar a vida das pessoas se orientarmos essas ferramentas para o bem maior.”

Webb concorda que o futuro é brilhante se abordarmos a IA com sabedoria. “Com responsabilidade e visão, poderíamos estar nas portas de uma nova era de descoberta e criatividade”, disse ele.

Embora o GPT-3 possa não ser exatamente como a mente humana, ele indica que os pesquisadores estão fazendo rápidos progressos no caminho para criar IA poderosa.

“Os recentes avanços são realmente empolgantes”, disse Holyoak. “Mal podemos esperar para ver o que vem a seguir.”