# Embedding dan Posisi Token dalam LLM

Canonical: https://llm-explained.vicoworks.com/id/belajar/embedding-posisi/
Language: id
Publisher: Vicoworks (https://vicoworks.com)
Updated: 2026-10-25

ID memilih satu baris embedding. Vektor posisi terlatih ditambahkan agar model mengetahui urutan. ID itu sendiri bukan angka makna.

Setiap ID mengambil satu vektor dari tabel embedding. Tambahkan embedding posisi, sehingga token yang sama di posisi berbeda memiliki representasi masukan berbeda.

## Cara kerjanya
### Lookup embedding
Satu ID memilih satu baris dari matriks embedding terlatih; fixture ini memiliki 16 baris.

### Lookup posisi
GPT-2 memakai learned position embeddings. Angka posisi di sini juga lookup, bukan sinusoidal.

### Tambahkan posisi
Penjumlahan dilakukan elemen demi elemen. Menukar urutan mempertahankan embedding token, tetapi mengganti kontribusi posisinya.

## Apa yang dapat kamu amati di lab?
Kolom cahaya adalah fitur vektor. Warna merupakan ilustrasi nilai, bukan sumbu makna yang dapat diberi nama.

## Skala referensi dan batas simulasi
Visualisasi memakai aliran dan fixture ilustratif. Referensi GPT-3 175B memiliki 96 blok, 96 head per blok, lebar 12.288, dan konteks 2.048 token. Paper GPT-3 memakai attention dense dan locally banded sparse bergantian; lab ini membedah causal dense attention. Workbench angka memakai model mainan dua blok, dua head, lebar 8, dan vocabulary 16. Bobot GPT-3 tidak dimuat, dan preset tidak menghasilkan jawaban dari model bahasa terlatih.

## Sumber primer
- [GPT-3 · Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165)
- [GPT-2 · implementasi referensi](https://github.com/openai/gpt-2/blob/master/src/model.py)
- [Attention Is All You Need](https://arxiv.org/abs/1706.03762)
- [Word representations · Mikolov et al.](https://arxiv.org/abs/1301.3781)
- [KV cache · Hugging Face](https://huggingface.co/docs/transformers/main/cache_explanation)