Inteligência Artificial

O que é um modelo de linguagem e por que ele inventa coisas

ChatGPT, Gemini e Claude funcionam do mesmo jeito por baixo dos panos. Entenda como eles escrevem, por que erram com tanta confiança e como usar bem.

Por Redação IntelliTechs · revisado por Clóvis Eduardo EscarabelinAtualizado em 24 de out. de 20265 min de leitura
Cérebro metálico conectado a balões de conversa luminosos
Ilustração gerada por inteligência artificial

Quando você pergunta alguma coisa ao ChatGPT, ao Gemini ou ao Claude, a resposta parece vir de alguém que entende do assunto. Do outro lado, porém, está um modelo de linguagem: um programa treinado para estimar, com muita precisão, qual é a próxima palavra de um texto.

Essa ideia simples, repetida bilhões de vezes, é o que permite ao chatbot escrever um e-mail, resumir um contrato ou explicar física quântica para uma criança. Ela também explica por que ele erra com tanta confiança, e daí saem os cuidados para usá-lo bem.

Um previsor da próxima palavra

Um modelo de linguagem calcula a probabilidade de uma palavra (ou pedaço de palavra) aparecer depois de um trecho de texto. O material de ensino do Google usa o exemplo “Quando ouço chuva no telhado, eu ___ na cozinha”: o modelo atribui chances diferentes a cada continuação possível, como “fazer sopa” ou “esquentar a chaleira”, e escolhe entre as mais prováveis.

Os modelos por trás dos chatbots são os modelos de linguagem de grande escala (LLMs, na sigla em inglês). O “grande” se refere a duas coisas: foram treinados com enormes quantidades de texto e têm muitos parâmetros, os números internos que guardam o que aprenderam. O mesmo tipo de modelo também resume, traduz, classifica e analisa texto. Quando sai uma nova versão de um chatbot, como na cobertura do ChatGPT com o GPT-6, o que mudou é o modelo por baixo da conversa.

Tokens: como o modelo lê o texto

O computador trabalha com números, não com letras. Por isso o texto é cortado em tokens, pedaços que podem ser uma palavra inteira, parte dela ou até uma letra. Cada token recebe um número, e o modelo calcula em cima desses números.

Em inglês, um token equivale a cerca de 4 caracteres ou três quartos de uma palavra, segundo o Google: 400 tokens dão aproximadamente 300 palavras. Em português a conta é pior. A Wikipédia afirma que o português precisa de cerca de 50% mais tokens que o inglês no tokenizador que ela cita, o que ajuda a entender por que textos em português podem gastar o limite de uso mais depressa. Como o dado vem de uma única fonte, use-o como ordem de grandeza.

As três etapas do treino

  1. Pré-treino: o modelo lê uma quantidade gigantesca de texto (livros, sites, artigos, código) e tenta prever o trecho seguinte. Cada erro provoca um pequeno ajuste nos parâmetros. Ninguém programa regras de gramática ou de fatos; elas surgem dos padrões.
  2. Ajuste de instruções: o modelo é treinado com exemplos de pedidos e boas respostas, para aprender a seguir comandos em vez de apenas continuar o texto.
  3. Aprendizado por feedback humano (RLHF): pessoas avaliam respostas, um segundo modelo aprende essas preferências e o modelo principal é ajustado para agradar mais. É essa etapa que faz de um “autocompletar” um assistente educado.

A maioria dos modelos atuais se apoia na arquitetura transformer, apresentada pelo Google num artigo de 2017. O mecanismo de atenção dela relaciona todas as partes de um texto entre si, mesmo as distantes, em vez de ler palavra por palavra.

O treino custa caro. Segundo a Wikipédia, o GPT-2 (1,5 bilhão de parâmetros, 2019) custou cerca de 50 mil dólares para treinar, e o PaLM (540 bilhões de parâmetros, 2022), cerca de 8 milhões de dólares. São estimativas publicadas; os modelos mais recentes não divulgam seus custos de forma confiável.

Janela de contexto: o limite do que ele enxerga

A janela de contexto é a quantidade de tokens que o modelo consegue considerar de uma vez, somando o seu pedido, o histórico da conversa e a resposta que ele está escrevendo. O que fica fora dela não influencia a resposta. Por isso, em conversas muito longas, o chatbot pode “esquecer” algo que você disse no começo. O GPT-2 tinha uma janela de apenas cerca de mil tokens; os modelos atuais comportam muito mais, e o limite exato varia por produto e plano.

Contexto também não é memória permanente. Se o aplicativo não guarda informações entre as conversas, o modelo começa do zero a cada chat.

Por que ele inventa coisas

O modelo não consulta um banco de dados de fatos. Ele gera o texto que parece mais provável, e na maioria das vezes o mais provável também é o correto. Às vezes não é.

Quando falta informação, o modelo raramente diz “não sei”. Ele preenche a lacuna com algo plausível: um livro que nunca existiu, uma data errada, uma lei com o número trocado. Os pesquisadores chamam isso de alucinação. A IBM a define como uma resposta que soa plausível, mas é falsa ou inventada. Ela aparece mais em assuntos recentes, que aconteceram depois do treino, em detalhes pouco comuns, como o nome do vereador de uma cidade pequena, e em pedidos de citação exata, com página, link ou trecho literal.

Para reduzir o problema, as empresas usam a geração aumentada por recuperação (RAG): antes de responder, o sistema busca documentos confiáveis e entrega esse material ao modelo para basear a resposta. É o que acontece quando o chatbot pesquisa na internet e mostra as fontes. Ajuda bastante, mas o risco continua, porque o modelo ainda pode resumir mal o que leu. Nenhuma técnica, nem a busca, nem boas instruções, nem a revisão humana, garante respostas sempre corretas.

Seis cuidados ao usar um chatbot

  1. Dê contexto. “Escreva um e-mail” rende pouco; “escreva um e-mail curto e educado para meu síndico pedindo a troca da lâmpada da garagem” rende muito mais.
  2. Peça as fontes quando o assunto for sério, e abra os links para confirmar que eles dizem o que o modelo afirmou.
  3. Autorize o “não sei”. Pedir no próprio comando que ele avise quando não tiver certeza reduz as invenções, segundo a orientação da IBM, embora não as elimine.
  4. Use-o para o que ele faz bem: rascunhar, reescrever, resumir, traduzir, dar ideias e explicar conceitos.
  5. Desconfie de números muito redondos ou muito específicos que aparecem sem explicação.
  6. Mantenha uma pessoa na decisão final em temas de saúde, dinheiro e leis.

Uma imagem ajuda: o modelo de linguagem se comporta como um estagiário rápido e muito bem lido que nunca admite que não sabe. Com supervisão, economiza horas; sem ela, pode te colocar numa saia justa. A oferta de modelos muda depressa, como mostra a cobertura do Meta Muse Wonder, mas a lógica de funcionamento descrita aqui vale para todos eles.

Quem usa o Gemini deve saber que o Google mudou os modelos disponíveis em cada plano, o que afeta a qualidade das respostas na versão gratuita.

Perguntas frequentes

Modelo de linguagem e inteligência artificial são a mesma coisa?

Não. Inteligência artificial é o campo amplo; o modelo de linguagem é um tipo específico de IA, voltado a texto. ChatGPT, Gemini e Claude são assistentes construídos sobre modelos de linguagem.

O modelo entende o que escreve?

Ele reproduz padrões de linguagem com muita habilidade, e isso muitas vezes parece compreensão. Mas não verifica se algo é verdadeiro, só se é provável. A conferência continua sendo tarefa sua.