# Causal Attention dan Mask pada Transformer

Canonical: https://llm-explained.vicoworks.com/id/belajar/causal-attention/
Language: id
Publisher: Vicoworks (https://vicoworks.com)
Updated: 2026-10-25

Skor Query–Key dibagi akar dimensi head. Posisi masa depan ditutup, lalu softmax membentuk bobot yang mencampurkan Value.

QKᵀ menghasilkan skor pasangan token. Skor dibagi √128, posisi masa depan ditutup, lalu softmax menghasilkan bobot untuk mencampurkan Value.

## Cara kerjanya
### Kalikan Q × K
Setiap sel membandingkan satu baris Query dan satu baris Key. Klik sel untuk melihat semua perkalian.

### Jumlahkan dot product
Empat hasil perkalian dijumlahkan menjadi satu skor. Skor belum merupakan probabilitas.

### Scale
Pembagian oleh √d_head menjaga skala skor. Dalam demonstrasi ini √4 = 2.

### Causal mask
Posisi masa depan belum tersedia. −∞ menjadi bobot nol tepat sesudah softmax.

### Softmax per baris
Normalisasi dilakukan sepanjang kolom Key, bukan seluruh matriks. Jumlah setiap baris adalah 1.

### Campurkan Value
Bobot attention dan kontribusi Value adalah dua hal berbeda. Klik output untuk melihat weighted sum.

### Gabungkan head
Dua output dengan lebar 4 digabung kembali menjadi lebar 8.

### Proyeksi output
Proyeksi output terlatih mencampurkan fitur antarhead sebelum residual add.

## Apa yang dapat kamu amati di lab?
Garis hanya menuju posisi saat ini dan sebelumnya. Ketebalan menunjukkan bobot contoh; head lain dapat memiliki pola berbeda.

## Skala referensi dan batas simulasi
Visualisasi memakai aliran dan fixture ilustratif. Referensi GPT-3 175B memiliki 96 blok, 96 head per blok, lebar 12.288, dan konteks 2.048 token. Paper GPT-3 memakai attention dense dan locally banded sparse bergantian; lab ini membedah causal dense attention. Workbench angka memakai model mainan dua blok, dua head, lebar 8, dan vocabulary 16. Bobot GPT-3 tidak dimuat, dan preset tidak menghasilkan jawaban dari model bahasa terlatih.

## Sumber primer
- [GPT-3 · Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165)
- [GPT-2 · implementasi referensi](https://github.com/openai/gpt-2/blob/master/src/model.py)
- [Attention Is All You Need](https://arxiv.org/abs/1706.03762)
- [Word representations · Mikolov et al.](https://arxiv.org/abs/1301.3781)
- [KV cache · Hugging Face](https://huggingface.co/docs/transformers/main/cache_explanation)