Small Language Models (SLM) adalah model AI yang memiliki parameter jauh lebih sedikit (seratus juta hingga beberapa miliar) dibandingkan LLM besar, namun tetap mampu menjalankan tugas NLP yang berguna di perangkat dengan sumber daya terbatas. Artikel ini membandingkan tiga model terbaru—Phi‑3 (Microsoft), Gemma‑2 (Google), dan Qwen2.5 (Alibaba)—melalui benchmark on-device, teknik kuantisasi (INT4/INT8), dan kasus penggunaan praktis.
Arsitektur & Parameter
- Phi‑3: 3.8B parameter, training data 3T token, fokus pada kode & reasoning.
- Gemma‑2: 2.6B parameter, training data 2T token, optimized for latency.
- Qwen2.5: 7B parameter, training data 15T token, multilingual strength.
Kuantisasi & Memory Footprint
| Model | FP16 Size | INT8 Size | INT4 Size |
|---|---|---|---|
| Phi‑3 | 7.5 GB | 3.8 GB | 1.9 GB |
| Gemma‑2 | 5.2 GB | 2.6 GB | 1.3 GB |
| Qwen2.5 | 14 GB | 7 GB | 3.5 GB |
Benchmark On‑Device (Contoh)
Latency (ms) per prompt:
Phi‑3 INT4: 120
Gemma‑2 INT4: 150
Qwen2.5 INT4: 210
Use Case
- Asisten voice lokal tanpa internet.
- Analisis log lokal di kantor.
- Generasi konten di hp tanpa kirim data ke cloud.
Kesimpulan
SLM menawarkan trade-off antara akurasi dan sumber daya. Untuk kebanyakan aplikasi di‑edge, Phi‑3 INT8 menawarkan keseimbangan terbaik. Gunakan kuantisasi INT4 hanya jika memory strict.
Small Language Models (SLM) untuk Edge: Phi‑3, Gemma‑2, Qwen2.5 – Benchmark On‑Device, Kuantisasi INT4/INT8, & Use Case
Eksplorasi konten lain dari Oentoro
Berlangganan untuk dapatkan pos terbaru lewat email.