# Query, Key, Value: Cara Kerja Attention LLM

Canonical: https://llm-explained.vicoworks.com/id/belajar/query-key-value/
Language: id
Publisher: Vicoworks (https://vicoworks.com)
Updated: 2026-10-25

Query mencocokkan pola, Key menawarkan pola untuk dicocokkan, dan Value membawa informasi yang akan dicampurkan. Ketiganya proyeksi terlatih dari representasi yang sama.

Di dalam setiap blok, LayerNorm menormalkan fitur per token. Tiga proyeksi terlatih menghasilkan Query, Key, dan Value, lalu fitur dibagi menjadi beberapa head. Stasiun Q/K/V, attention, dan residual/MLP membedah bagian dari blok yang sama.

## Cara kerjanya
### Pre-normalization
Hitung mean dan variance delapan fitur setiap token. Demo memakai gamma=1 dan beta=0.

### Proyeksi Query
Klik angka hasil untuk menelusuri delapan pasangan perkalian antara baris input dan kolom bobot.

### Proyeksi Key
Key membentuk pola yang dicocokkan oleh Query. Bobot model tetap; aktivasi bergantung pada input.

### Proyeksi Value
Value adalah informasi yang dicampurkan setelah bobot attention tersedia.

### Pisahkan dua head
Lebar 8 dibagi menjadi 2 head × 4 fitur. Mengganti head juga mengganti K, V, skor, dan hasilnya.

## Apa yang dapat kamu amati di lab?
Satu aliran bercabang tiga: Query mencari kecocokan, Key dicocokkan, Value membawa informasi.

## Skala referensi dan batas simulasi
Visualisasi memakai aliran dan fixture ilustratif. Referensi GPT-3 175B memiliki 96 blok, 96 head per blok, lebar 12.288, dan konteks 2.048 token. Paper GPT-3 memakai attention dense dan locally banded sparse bergantian; lab ini membedah causal dense attention. Workbench angka memakai model mainan dua blok, dua head, lebar 8, dan vocabulary 16. Bobot GPT-3 tidak dimuat, dan preset tidak menghasilkan jawaban dari model bahasa terlatih.

## Sumber primer
- [GPT-3 · Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165)
- [GPT-2 · implementasi referensi](https://github.com/openai/gpt-2/blob/master/src/model.py)
- [Attention Is All You Need](https://arxiv.org/abs/1706.03762)
- [Word representations · Mikolov et al.](https://arxiv.org/abs/1301.3781)
- [KV cache · Hugging Face](https://huggingface.co/docs/transformers/main/cache_explanation)