Pular para o conteúdo principal

17. Residual e LayerNorm

Para um modelo de vários blocos treinar bem, precisamos de duas peças de apoio.

Conexão residual. Em vez de o bloco substituir o vetor do token, ele soma o que aprendeu ao vetor original: saída = x + f(x). Isso cria um atalho que preserva a informação ao longo dos blocos e ajuda o treino. O bloco aprende só o "ajuste".

Conexão residual

LayerNorm. Ajeita os números de cada vetor para uma escala padrão (subtrai a média, divide pelo desvio padrão). Assim os valores não explodem nem somem ao passar pela rede — o treino fica estável.

LayerNorm