Query, Key, Value: Cara Kerja Attention LLM

Cara kerjanya

Di dalam setiap blok, LayerNorm menormalkan fitur per token. Tiga proyeksi terlatih menghasilkan Query, Key, dan Value, lalu fitur dibagi menjadi beberapa head. Stasiun Q/K/V, attention, dan residual/MLP membedah bagian dari blok yang sama.

1. Pre-normalization

   Hitung mean dan variance delapan fitur setiap token. Demo memakai gamma=1 dan beta=0.

2. Proyeksi Query

   Klik angka hasil untuk menelusuri delapan pasangan perkalian antara baris input dan kolom bobot.

3. Proyeksi Key

   Key membentuk pola yang dicocokkan oleh Query. Bobot model tetap; aktivasi bergantung pada input.

4. Proyeksi Value

   Value adalah informasi yang dicampurkan setelah bobot attention tersedia.

5. Pisahkan dua head

   Lebar 8 dibagi menjadi 2 head × 4 fitur. Mengganti head juga mengganti K, V, skor, dan hasilnya.

Apa yang dapat kamu amati di lab?

Satu aliran bercabang tiga: Query mencari kecocokan, Key dicocokkan, Value membawa informasi.

Pemindai membuka catatan. Pelacak token memilih posisi token. Lensa head membandingkan dua head demo. Pengendali waktu menjeda sinyal. Kalibrator mengubah kondisi eksperimen sebelum kamu memprediksi dan menguji hasilnya.

Hal yang perlu diingat

Visualisasi memakai aliran dan fixture ilustratif. Referensi GPT-3 175B memiliki 96 blok, 96 head per blok, lebar 12.288, dan konteks 2.048 token. Paper GPT-3 memakai attention dense dan locally banded sparse bergantian; lab ini membedah causal dense attention. Workbench angka memakai model mainan dua blok, dua head, lebar 8, dan vocabulary 16. Bobot GPT-3 tidak dimuat, dan preset tidak menghasilkan jawaban dari model bahasa terlatih.

Sumber primer

• GPT-3 · Language Models are Few-Shot Learners

  Skala 175B: 96 blok, lebar 12.288, 96 head, konteks 2.048; attention dense dan locally banded sparse bergantian.

• GPT-2 · implementasi referensi

  Pre-norm, learned position, GELU, residual, dan tied embedding.

• Attention Is All You Need

  Dasar scaled dot-product dan multi-head attention.

• Word representations · Mikolov et al.

  Latar word embeddings statis dan hubungan geometris.

• KV cache · Hugging Face

  Perbedaan prefill, decode, dan pemakaian ulang K/V.