NEUROLAB / Dibuat oleh VICOWORKS · 2026-10-25
Sampling LLM: Temperature, Top-k, dan Top-p
Representasi posisi terakhir melewati final LayerNorm dan proyeksi vocabulary yang berbagi embedding. Greedy memilih logit terbesar; sampling mengambil satu pilihan dari distribusi.
Coba di lab 3D →Cara kerjanya
Setelah blok terakhir, final LayerNorm dan LM head memetakan representasi posisi terakhir ke logits vocabulary. Temperature dan filter mengubah distribusi sebelum satu token dipilih.
Final LayerNorm
Normalisasi final mengikuti dua blok demo. Hanya posisi terakhir yang dipakai untuk token berikutnya.
Proyeksi vocabulary
Bobot output berbagi matriks embedding. Logits adalah skor mentah 16 token, bukan persentase.
Distribusi probabilitas
Temperature positif mengubah bentuk distribusi. Temperature 0 memakai argmax tanpa membagi nol.
Pilih satu token
Greedy deterministik; sampling dapat memilih hasil berbeda. Probabilitas tinggi tidak menjamin fakta benar.
Apa yang dapat kamu amati di lab?
Batang adalah kandidat token. Pilihan menambah satu token ke konteks; model tidak menghasilkan satu kalimat sekaligus.
Pemindai membuka catatan. Pelacak token memilih posisi token. Lensa head membandingkan dua head demo. Pengendali waktu menjeda sinyal. Kalibrator mengubah kondisi eksperimen sebelum kamu memprediksi dan menguji hasilnya.
Hal yang perlu diingat
Visualisasi memakai aliran dan fixture ilustratif. Referensi GPT-3 175B memiliki 96 blok, 96 head per blok, lebar 12.288, dan konteks 2.048 token. Paper GPT-3 memakai attention dense dan locally banded sparse bergantian; lab ini membedah causal dense attention. Workbench angka memakai model mainan dua blok, dua head, lebar 8, dan vocabulary 16. Bobot GPT-3 tidak dimuat, dan preset tidak menghasilkan jawaban dari model bahasa terlatih.
Sumber primer
- GPT-3 · Language Models are Few-Shot Learners
Skala 175B: 96 blok, lebar 12.288, 96 head, konteks 2.048; attention dense dan locally banded sparse bergantian.
- GPT-2 · implementasi referensi
Pre-norm, learned position, GELU, residual, dan tied embedding.
- Attention Is All You Need
Dasar scaled dot-product dan multi-head attention.
- Word representations · Mikolov et al.
Latar word embeddings statis dan hubungan geometris.
- KV cache · Hugging Face
Perbedaan prefill, decode, dan pemakaian ulang K/V.