# Apa Itu Tokenisasi LLM? Belajar dengan Visualisasi Interaktif

Canonical: https://llm-explained.vicoworks.com/id/belajar/tokenisasi/
Language: id
Publisher: Vicoworks (https://vicoworks.com)
Updated: 2026-10-25

Model melihat ID token. Satu token dapat berupa kata, potongan kata, tanda baca, atau karakter dengan spasi awal.

Kalimat masuk sebagai potongan teks. Tokenizer mengubah setiap potongan menjadi ID vocabulary; satu token tidak selalu satu kata.

## Cara kerjanya
### Teks masukan
Teks adalah titik awal. Profil ini memakai vocabulary mainan, bukan tokenizer GPT-2.

### Pisahkan token
Spasi awal termasuk isi token. Preset menyimpan potongan dan offsets yang dapat direkonstruksi.

### Lookup ID
Posisi 0, 1, 2, … berbeda dari ID vocabulary. ID tidak menunjukkan besar atau kecilnya makna.

## Apa yang dapat kamu amati di lab?
Kapsul terpisah menunjukkan batas token. Warnanya mengikuti posisi token sepanjang perjalanan.

## Skala referensi dan batas simulasi
Visualisasi memakai aliran dan fixture ilustratif. Referensi GPT-3 175B memiliki 96 blok, 96 head per blok, lebar 12.288, dan konteks 2.048 token. Paper GPT-3 memakai attention dense dan locally banded sparse bergantian; lab ini membedah causal dense attention. Workbench angka memakai model mainan dua blok, dua head, lebar 8, dan vocabulary 16. Bobot GPT-3 tidak dimuat, dan preset tidak menghasilkan jawaban dari model bahasa terlatih.

## Sumber primer
- [GPT-3 · Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165)
- [GPT-2 · implementasi referensi](https://github.com/openai/gpt-2/blob/master/src/model.py)
- [Attention Is All You Need](https://arxiv.org/abs/1706.03762)
- [Word representations · Mikolov et al.](https://arxiv.org/abs/1301.3781)
- [KV cache · Hugging Face](https://huggingface.co/docs/transformers/main/cache_explanation)