Causal Attention dan Mask pada Transformer

Cara kerjanya

QKᵀ menghasilkan skor pasangan token. Skor dibagi √128, posisi masa depan ditutup, lalu softmax menghasilkan bobot untuk mencampurkan Value.

1. Kalikan Q × K

   Setiap sel membandingkan satu baris Query dan satu baris Key. Klik sel untuk melihat semua perkalian.

2. Jumlahkan dot product

   Empat hasil perkalian dijumlahkan menjadi satu skor. Skor belum merupakan probabilitas.

3. Scale

   Pembagian oleh √d_head menjaga skala skor. Dalam demonstrasi ini √4 = 2.

4. Causal mask

   Posisi masa depan belum tersedia. −∞ menjadi bobot nol tepat sesudah softmax.

5. Softmax per baris

   Normalisasi dilakukan sepanjang kolom Key, bukan seluruh matriks. Jumlah setiap baris adalah 1.

6. Campurkan Value

   Bobot attention dan kontribusi Value adalah dua hal berbeda. Klik output untuk melihat weighted sum.

7. Gabungkan head

   Dua output dengan lebar 4 digabung kembali menjadi lebar 8.

8. Proyeksi output

   Proyeksi output terlatih mencampurkan fitur antarhead sebelum residual add.

Apa yang dapat kamu amati di lab?

Garis hanya menuju posisi saat ini dan sebelumnya. Ketebalan menunjukkan bobot contoh; head lain dapat memiliki pola berbeda.

Pemindai membuka catatan. Pelacak token memilih posisi token. Lensa head membandingkan dua head demo. Pengendali waktu menjeda sinyal. Kalibrator mengubah kondisi eksperimen sebelum kamu memprediksi dan menguji hasilnya.

Hal yang perlu diingat

Visualisasi memakai aliran dan fixture ilustratif. Referensi GPT-3 175B memiliki 96 blok, 96 head per blok, lebar 12.288, dan konteks 2.048 token. Paper GPT-3 memakai attention dense dan locally banded sparse bergantian; lab ini membedah causal dense attention. Workbench angka memakai model mainan dua blok, dua head, lebar 8, dan vocabulary 16. Bobot GPT-3 tidak dimuat, dan preset tidak menghasilkan jawaban dari model bahasa terlatih.

Sumber primer

• GPT-3 · Language Models are Few-Shot Learners

  Skala 175B: 96 blok, lebar 12.288, 96 head, konteks 2.048; attention dense dan locally banded sparse bergantian.

• GPT-2 · implementasi referensi

  Pre-norm, learned position, GELU, residual, dan tied embedding.

• Attention Is All You Need

  Dasar scaled dot-product dan multi-head attention.

• Word representations · Mikolov et al.

  Latar word embeddings statis dan hubungan geometris.

• KV cache · Hugging Face

  Perbedaan prefill, decode, dan pemakaian ulang K/V.