Você já ouviu falar do meme do monstro Shoggoth?

Source: Dev.to

O que é o meme do monstro Shoggoth?

O Shoggoth é um monstro cheio de tentáculos e diversos olhos (quem curte literatura de terror vai identificar de onde ele vem). Na comunidade de IA, ele é usado como metáfora para o modelo “cru”, treinado com uma quantidade absurda de dados da internet, sem nenhum filtro nem curadoria.

Pré‑treino dos grandes modelos de linguagem

Durante o pré‑treino, o modelo recebe textos de todos os cantos da internet. Como consequência, ele herda também os piores comportamentos presentes nesses dados. Os LLMs são feitos para completar texto, não para ter diálogos, ou seja, não entendem o que faz uma resposta parecer humana.

Fine‑tuning supervisionado (SFT)

No Supervised Finetuning (SFT), o modelo começa a aprender a conversar. Humanos altamente qualificados criam exemplos de conversas que servem como demonstração, permitindo que o modelo aprenda padrões de diálogo mais adequados.

Reinforcement Learning from Human Feedback (RLHF)

Após o SFT, aplica‑se o Reinforcement Learning from Human Feedback (RLHF) para alinhar o comportamento da IA com as preferências humanas. Esse processo coloca o “rostinho sorridente” no monstro, tornando as respostas mais agradáveis e úteis.

Problemas de alinhamento

• Moralidade não universal: Não existe uma moral única; o que é considerado correto pode variar (por exemplo, em questões de desarmamento).
• Descompasso entre conhecimento interno e feedback: O modelo pode confirmar visões do usuário mesmo que sejam falsas ou inventar fatos para parecer prestativo.

Conclusão

Transformar esse “monstrinho” em um produto confiável é um desafio contínuo. Tenho estudado essas questões de arquitetura e segurança no livro AI Engineering, da Chip Huyen, e estou gostando bastante!