Apa Itu Tokenisasi LLM? Belajar dengan Visualisasi Interaktif

Cara kerjanya

Kalimat masuk sebagai potongan teks. Tokenizer mengubah setiap potongan menjadi ID vocabulary; satu token tidak selalu satu kata.

1. Teks masukan

   Teks adalah titik awal. Profil ini memakai vocabulary mainan, bukan tokenizer GPT-2.

2. Pisahkan token

   Spasi awal termasuk isi token. Preset menyimpan potongan dan offsets yang dapat direkonstruksi.

3. Lookup ID

   Posisi 0, 1, 2, … berbeda dari ID vocabulary. ID tidak menunjukkan besar atau kecilnya makna.

Apa yang dapat kamu amati di lab?

Kapsul terpisah menunjukkan batas token. Warnanya mengikuti posisi token sepanjang perjalanan.

Pemindai membuka catatan. Pelacak token memilih posisi token. Lensa head membandingkan dua head demo. Pengendali waktu menjeda sinyal. Kalibrator mengubah kondisi eksperimen sebelum kamu memprediksi dan menguji hasilnya.

Hal yang perlu diingat

Visualisasi memakai aliran dan fixture ilustratif. Referensi GPT-3 175B memiliki 96 blok, 96 head per blok, lebar 12.288, dan konteks 2.048 token. Paper GPT-3 memakai attention dense dan locally banded sparse bergantian; lab ini membedah causal dense attention. Workbench angka memakai model mainan dua blok, dua head, lebar 8, dan vocabulary 16. Bobot GPT-3 tidak dimuat, dan preset tidak menghasilkan jawaban dari model bahasa terlatih.

Sumber primer

• GPT-3 · Language Models are Few-Shot Learners

  Skala 175B: 96 blok, lebar 12.288, 96 head, konteks 2.048; attention dense dan locally banded sparse bergantian.

• GPT-2 · implementasi referensi

  Pre-norm, learned position, GELU, residual, dan tied embedding.

• Attention Is All You Need

  Dasar scaled dot-product dan multi-head attention.

• Word representations · Mikolov et al.

  Latar word embeddings statis dan hubungan geometris.

• KV cache · Hugging Face

  Perbedaan prefill, decode, dan pemakaian ulang K/V.