Analogi Vektor dan Embedding Statis

Cara kerjanya

Vektor membantu membayangkan relasi antarrepresentasi. Aritmetika Tokyo − Jepang + Prancis merupakan contoh embedding statis, terpisah dari jalur inferensi Transformer.

1. Vektor sumber

   Ini word vectors mainan statis empat dimensi, terpisah dari pipeline Transformer.

2. Aritmetika vektor

   Penjumlahan dan pengurangan berlangsung pada vektor sumber. Lab menampilkan proyeksi dua dimensi; ranking memakai empat dimensi sumber.

3. Ranking cosine

   Hasil mendekati target contoh terpilih pada fixture ini. Tidak identik tepat dan tidak berlaku universal.

Apa yang dapat kamu amati di lab?

Tiga sumbu hanya proyeksi ilustratif. Model sebenarnya memiliki ribuan fitur, dan representasi berubah mengikuti konteks.

Pemindai membuka catatan. Pelacak token memilih posisi token. Lensa head membandingkan dua head demo. Pengendali waktu menjeda sinyal. Kalibrator mengubah kondisi eksperimen sebelum kamu memprediksi dan menguji hasilnya.

Hal yang perlu diingat

Visualisasi memakai aliran dan fixture ilustratif. Referensi GPT-3 175B memiliki 96 blok, 96 head per blok, lebar 12.288, dan konteks 2.048 token. Paper GPT-3 memakai attention dense dan locally banded sparse bergantian; lab ini membedah causal dense attention. Workbench angka memakai model mainan dua blok, dua head, lebar 8, dan vocabulary 16. Bobot GPT-3 tidak dimuat, dan preset tidak menghasilkan jawaban dari model bahasa terlatih.

Sumber primer

• GPT-3 · Language Models are Few-Shot Learners

  Skala 175B: 96 blok, lebar 12.288, 96 head, konteks 2.048; attention dense dan locally banded sparse bergantian.

• GPT-2 · implementasi referensi

  Pre-norm, learned position, GELU, residual, dan tied embedding.

• Attention Is All You Need

  Dasar scaled dot-product dan multi-head attention.

• Word representations · Mikolov et al.

  Latar word embeddings statis dan hubungan geometris.

• KV cache · Hugging Face

  Perbedaan prefill, decode, dan pemakaian ulang K/V.