# Sampling LLM: Temperature, Top-k, dan Top-p

Canonical: https://llm-explained.vicoworks.com/id/belajar/sampling-temperature/
Language: id
Publisher: Vicoworks (https://vicoworks.com)
Updated: 2026-10-25

Representasi posisi terakhir melewati final LayerNorm dan proyeksi vocabulary yang berbagi embedding. Greedy memilih logit terbesar; sampling mengambil satu pilihan dari distribusi.

Setelah blok terakhir, final LayerNorm dan LM head memetakan representasi posisi terakhir ke logits vocabulary. Temperature dan filter mengubah distribusi sebelum satu token dipilih.

## Cara kerjanya
### Final LayerNorm
Normalisasi final mengikuti dua blok demo. Hanya posisi terakhir yang dipakai untuk token berikutnya.

### Proyeksi vocabulary
Bobot output berbagi matriks embedding. Logits adalah skor mentah 16 token, bukan persentase.

### Distribusi probabilitas
Temperature positif mengubah bentuk distribusi. Temperature 0 memakai argmax tanpa membagi nol.

### Pilih satu token
Greedy deterministik; sampling dapat memilih hasil berbeda. Probabilitas tinggi tidak menjamin fakta benar.

## Apa yang dapat kamu amati di lab?
Batang adalah kandidat token. Pilihan menambah satu token ke konteks; model tidak menghasilkan satu kalimat sekaligus.

## Skala referensi dan batas simulasi
Visualisasi memakai aliran dan fixture ilustratif. Referensi GPT-3 175B memiliki 96 blok, 96 head per blok, lebar 12.288, dan konteks 2.048 token. Paper GPT-3 memakai attention dense dan locally banded sparse bergantian; lab ini membedah causal dense attention. Workbench angka memakai model mainan dua blok, dua head, lebar 8, dan vocabulary 16. Bobot GPT-3 tidak dimuat, dan preset tidak menghasilkan jawaban dari model bahasa terlatih.

## Sumber primer
- [GPT-3 · Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165)
- [GPT-2 · implementasi referensi](https://github.com/openai/gpt-2/blob/master/src/model.py)
- [Attention Is All You Need](https://arxiv.org/abs/1706.03762)
- [Word representations · Mikolov et al.](https://arxiv.org/abs/1301.3781)
- [KV cache · Hugging Face](https://huggingface.co/docs/transformers/main/cache_explanation)