NEUROLAB / Dibuat oleh VICOWORKS · 2026-10-25
Blok Transformer: Residual, LayerNorm, MLP, dan GELU
Setiap blok memiliki attention dan MLP. Dua residual mempertahankan jalur input. LayerNorm bekerja sepanjang dimensi fitur setiap token.
Coba di lab 3D →Cara kerjanya
Hasil attention ditambahkan ke residual stream. LayerNorm kedua dan MLP dengan GELU mengolah fitur per token, lalu residual kedua ditambahkan. Blok ini diulang 96 kali dengan bobot berbeda.
Residual attention
Residual menambahkan representasi awal ke keluaran attention. Input tidak dibuang.
Pre-norm MLP
LayerNorm kedua bekerja pada keluaran residual, per token sepanjang fitur.
Perluas 8 → 32
MLP memperluas dimensi fitur empat kali. Operasinya tetap dilakukan terpisah di setiap token.
Aktivasi GELU
GELU adalah kurva halus; nilai negatif tidak seluruhnya diubah menjadi nol.
Kembali 32 → 8
Proyeksi kedua mengembalikan dimensi agar penjumlahan residual memiliki shape yang sama.
Residual MLP
Setiap blok memiliki dua residual dan kedua sublayer. Skala referensi GPT-3: 96 blok; hitungan fixture: 2 blok.
Apa yang dapat kamu amati di lab?
Jalur luar melewati cabang attention dan MLP: inilah residual. 96 pelat di belakang mewakili kedalaman model, bukan 96 langkah decoding.
Pemindai membuka catatan. Pelacak token memilih posisi token. Lensa head membandingkan dua head demo. Pengendali waktu menjeda sinyal. Kalibrator mengubah kondisi eksperimen sebelum kamu memprediksi dan menguji hasilnya.
Hal yang perlu diingat
Visualisasi memakai aliran dan fixture ilustratif. Referensi GPT-3 175B memiliki 96 blok, 96 head per blok, lebar 12.288, dan konteks 2.048 token. Paper GPT-3 memakai attention dense dan locally banded sparse bergantian; lab ini membedah causal dense attention. Workbench angka memakai model mainan dua blok, dua head, lebar 8, dan vocabulary 16. Bobot GPT-3 tidak dimuat, dan preset tidak menghasilkan jawaban dari model bahasa terlatih.
Sumber primer
- GPT-3 · Language Models are Few-Shot Learners
Skala 175B: 96 blok, lebar 12.288, 96 head, konteks 2.048; attention dense dan locally banded sparse bergantian.
- GPT-2 · implementasi referensi
Pre-norm, learned position, GELU, residual, dan tied embedding.
- Attention Is All You Need
Dasar scaled dot-product dan multi-head attention.
- Word representations · Mikolov et al.
Latar word embeddings statis dan hubungan geometris.
- KV cache · Hugging Face
Perbedaan prefill, decode, dan pemakaian ulang K/V.