No treinamento de grandes modelos de linguagem (LLMs), como o GPT-4, uma técnica importante, utilizada para estabilizar o treinamento e favorecer a convergência - especialmente ao lidar com camadas profundas -, é a normalização por camada, conhecida como Layer Normalization, que consiste em: A) normalizar as ativações ao longo dos canais de entrada, reduzindo o desvio padrão espacial, ideal para modelos CNN. B) realizar a normalização entre exemplos de treinamento, reduzindo a variação das ativações dentro de um mesmo lote. C) normalizar as ativações individualmente para cada exemplo, considerando todos os neurônios da mesma camada. D) aplicar uma normalização nas ativações por meio de uma média móvel das ativações das camadas anteriores. E) realizar uma normalização baseada em gradientes acumulados, diretamente no passo de retropropagação ( backpropagation ).

C) normalizar as ativações individualmente para cada exemplo, considerando todos os neurônios da mesma camada.

Questões Noções de Informática Inteligência Artificial e Automação

No treinamento de grandes modelos de linguagem (LLMs), como o GPT-4, uma técnica import...

Responda: No treinamento de grandes modelos de linguagem (LLMs), como o GPT-4, uma técnica importante, utilizada para estabilizar o treinamento e favorecer a convergência - especialmente ao lidar com camadas...

1Q1039877 | Noções de Informática, Inteligência Artificial e Automação, Auditor de Controle Externo Tecnologia da Informação, TCE PE, FGV, 2025

No treinamento de grandes modelos de linguagem (LLMs), como o GPT-4, uma técnica importante, utilizada para estabilizar o treinamento e favorecer a convergência - especialmente ao lidar com camadas profundas -, é a normalização por camada, conhecida como Layer Normalization, que consiste em:

✂️ a) normalizar as ativações ao longo dos canais de entrada, reduzindo o desvio padrão espacial, ideal para modelos CNN.
✂️ b) realizar a normalização entre exemplos de treinamento, reduzindo a variação das ativações dentro de um mesmo lote.
✂️ c) normalizar as ativações individualmente para cada exemplo, considerando todos os neurônios da mesma camada.
✂️ d) aplicar uma normalização nas ativações por meio de uma média móvel das ativações das camadas anteriores.
✂️ e) realizar uma normalização baseada em gradientes acumulados, diretamente no passo de retropropagação (backpropagation).