Menyiapkan dunia 3D…

Baca panduan sambil menunggu

NEUROLAB / VICOWORKS

Belajar LLM secara interaktif, dari token hingga jawaban

NeuroLab adalah laboratorium pembelajaran LLM berbasis browser dari Vicoworks. Jelajahi dunia 3D orang pertama, gunakan lima alat, dan uji pemahaman melalui enam misi. Panduan ini membantu praktisi IT dan data memahami cara kerja large language model, termasuk mekanisme decoder Transformer yang menjadi dasar keluarga GPT.

Kembali ke lab ↑

Pelajari mekanismenya

  1. Apa Itu Tokenisasi LLM? Belajar dengan Visualisasi Interaktif

    Model melihat ID token. Satu token dapat berupa kata, potongan kata, tanda baca, atau karakter dengan spasi awal.

  2. Embedding dan Posisi Token dalam LLM

    ID memilih satu baris embedding. Vektor posisi terlatih ditambahkan agar model mengetahui urutan. ID itu sendiri bukan angka makna.

  3. Query, Key, Value: Cara Kerja Attention LLM

    Query mencocokkan pola, Key menawarkan pola untuk dicocokkan, dan Value membawa informasi yang akan dicampurkan. Ketiganya proyeksi terlatih dari representasi yang sama.

  4. Causal Attention dan Mask pada Transformer

    Skor Query–Key dibagi akar dimensi head. Posisi masa depan ditutup, lalu softmax membentuk bobot yang mencampurkan Value.

  5. Blok Transformer: Residual, LayerNorm, MLP, dan GELU

    Setiap blok memiliki attention dan MLP. Dua residual mempertahankan jalur input. LayerNorm bekerja sepanjang dimensi fitur setiap token.

  6. Sampling LLM: Temperature, Top-k, dan Top-p

    Representasi posisi terakhir melewati final LayerNorm dan proyeksi vocabulary yang berbagi embedding. Greedy memilih logit terbesar; sampling mengambil satu pilihan dari distribusi.

  7. Apa Itu KV Cache? Memahami Prefill dan Decode LLM

    K/V lama pada setiap layer dapat dipakai kembali. Hanya token baru yang menghasilkan Query, Key, dan Value baru. Cache adalah aktivasi urutan ini, bukan bobot atau memori lintas pengguna.

  8. Analogi Vektor dan Embedding Statis

    Aritmetika vektor dapat memperlihatkan relasi pada word embeddings statis. Contoh lokal ini bukan mekanisme literal GPT menjawab dan bukan hubungan universal.

Cara menggunakan lab interaktif

Klik dunia untuk melihat sekitar, gunakan WASD untuk berjalan, pilih alat 1–5, lalu tekan E. H membuka Hint dan F membuka misi. Pada ponsel, gunakan joystick, seret untuk melihat, lalu ketuk Gunakan. Catatan menyediakan tab Makna, Angka, dan Kode. Mode 2D tersedia jika WebGL tidak didukung.

Pemindai membuka catatan. Pelacak token memilih posisi token. Lensa head membandingkan dua head demo. Pengendali waktu menjeda sinyal. Kalibrator mengubah kondisi eksperimen sebelum kamu memprediksi dan menguji hasilnya.

Panduan ini dapat dibaca tanpa JavaScript. Dunia 3D dan eksperimen memerlukan JavaScript; seluruh proses berjalan di browser.

Skala referensi dan batas simulasi

Visualisasi memakai aliran dan fixture ilustratif. Referensi GPT-3 175B memiliki 96 blok, 96 head per blok, lebar 12.288, dan konteks 2.048 token. Paper GPT-3 memakai attention dense dan locally banded sparse bergantian; lab ini membedah causal dense attention. Workbench angka memakai model mainan dua blok, dua head, lebar 8, dan vocabulary 16. Bobot GPT-3 tidak dimuat, dan preset tidak menghasilkan jawaban dari model bahasa terlatih.

Pertanyaan yang sering diajukan

Apa itu LLM?

Large language model adalah model yang mempelajari pola bahasa dari data. Decoder autoregresif memprediksi distribusi token berikutnya berdasarkan konteks, memilih satu token, lalu mengulang proses.

Apakah lab ini gratis dan membutuhkan API key?

Lab ini gratis dan berjalan di sisi client. Tidak diperlukan API key, akun, atau server inference. Preset lokal dan model mainan dipakai untuk pembelajaran.

Apakah nilai attention menunjukkan alasan pasti sebuah jawaban?

Bobot attention menunjukkan campuran Value pada satu head dan satu langkah. Itu bukan penjelasan lengkap atas keputusan model atau jaminan kebenaran jawaban.

Apa bedanya training dan inference?

Training memperbarui bobot melalui loss, backpropagation, dan optimizer. Inference memakai bobot yang tetap untuk menghasilkan aktivasi dan memprediksi token berikutnya.

Sumber primer