# Apa Itu KV Cache? Memahami Prefill dan Decode LLM

Canonical: https://llm-explained.vicoworks.com/id/belajar/kv-cache/
Language: id
Publisher: Vicoworks (https://vicoworks.com)
Updated: 2026-10-25

K/V lama pada setiap layer dapat dipakai kembali. Hanya token baru yang menghasilkan Query, Key, dan Value baru. Cache adalah aktivasi urutan ini, bukan bobot atau memori lintas pengguna.

Prefill memproses prompt. Ketika decode, K dan V token lama disimpan per layer; Query token baru membaca cache itu. Token terpilih ditambahkan ke input dan proses berulang hingga batas atau token akhir.

## Cara kerjanya
### Simpan prefix K/V
Prefill menghitung prompt dengan causal mask, lalu menyimpan aktivasi K/V pada setiap layer.

### Decode token baru
Query baru melihat seluruh Key yang tersedia. K/V prefix tidak diproyeksikan ulang.

### Ulangi autoregresi
Token baru menjadi bagian input berikutnya. Edit prefix membatalkan cache yang bergantung padanya.

## Apa yang dapat kamu amati di lab?
Rak menyimpan dua aliran: K dan V. Jalur balik membawa token baru ke model. Cache tidak menyimpan seluruh jawaban yang sudah disiapkan.

## Skala referensi dan batas simulasi
Visualisasi memakai aliran dan fixture ilustratif. Referensi GPT-3 175B memiliki 96 blok, 96 head per blok, lebar 12.288, dan konteks 2.048 token. Paper GPT-3 memakai attention dense dan locally banded sparse bergantian; lab ini membedah causal dense attention. Workbench angka memakai model mainan dua blok, dua head, lebar 8, dan vocabulary 16. Bobot GPT-3 tidak dimuat, dan preset tidak menghasilkan jawaban dari model bahasa terlatih.

## Sumber primer
- [GPT-3 · Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165)
- [GPT-2 · implementasi referensi](https://github.com/openai/gpt-2/blob/master/src/model.py)
- [Attention Is All You Need](https://arxiv.org/abs/1706.03762)
- [Word representations · Mikolov et al.](https://arxiv.org/abs/1301.3781)
- [KV cache · Hugging Face](https://huggingface.co/docs/transformers/main/cache_explanation)