# Blok Transformer: Residual, LayerNorm, MLP, dan GELU

Canonical: https://llm-explained.vicoworks.com/id/belajar/blok-transformer/
Language: id
Publisher: Vicoworks (https://vicoworks.com)
Updated: 2026-10-25

Setiap blok memiliki attention dan MLP. Dua residual mempertahankan jalur input. LayerNorm bekerja sepanjang dimensi fitur setiap token.

Hasil attention ditambahkan ke residual stream. LayerNorm kedua dan MLP dengan GELU mengolah fitur per token, lalu residual kedua ditambahkan. Blok ini diulang 96 kali dengan bobot berbeda.

## Cara kerjanya
### Residual attention
Residual menambahkan representasi awal ke keluaran attention. Input tidak dibuang.

### Pre-norm MLP
LayerNorm kedua bekerja pada keluaran residual, per token sepanjang fitur.

### Perluas 8 → 32
MLP memperluas dimensi fitur empat kali. Operasinya tetap dilakukan terpisah di setiap token.

### Aktivasi GELU
GELU adalah kurva halus; nilai negatif tidak seluruhnya diubah menjadi nol.

### Kembali 32 → 8
Proyeksi kedua mengembalikan dimensi agar penjumlahan residual memiliki shape yang sama.

### Residual MLP
Setiap blok memiliki dua residual dan kedua sublayer. Skala referensi GPT-3: 96 blok; hitungan fixture: 2 blok.

## Apa yang dapat kamu amati di lab?
Jalur luar melewati cabang attention dan MLP: inilah residual. 96 pelat di belakang mewakili kedalaman model, bukan 96 langkah decoding.

## Skala referensi dan batas simulasi
Visualisasi memakai aliran dan fixture ilustratif. Referensi GPT-3 175B memiliki 96 blok, 96 head per blok, lebar 12.288, dan konteks 2.048 token. Paper GPT-3 memakai attention dense dan locally banded sparse bergantian; lab ini membedah causal dense attention. Workbench angka memakai model mainan dua blok, dua head, lebar 8, dan vocabulary 16. Bobot GPT-3 tidak dimuat, dan preset tidak menghasilkan jawaban dari model bahasa terlatih.

## Sumber primer
- [GPT-3 · Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165)
- [GPT-2 · implementasi referensi](https://github.com/openai/gpt-2/blob/master/src/model.py)
- [Attention Is All You Need](https://arxiv.org/abs/1706.03762)
- [Word representations · Mikolov et al.](https://arxiv.org/abs/1301.3781)
- [KV cache · Hugging Face](https://huggingface.co/docs/transformers/main/cache_explanation)