AI Pocket Lab, Superkomputer Mini Seukuran Powerbank dengan Kemampuan Setara PhD

Pematangsiantar, Sinata.id – Sebuah perangkat kecerdasan buatan berukuran mini menarik perhatian dunia teknologi.

Perangkat bernama AI Pocket Lab ini dikembangkan oleh startup asal Amerika Serikat, Tiiny AI, dan diklaim memiliki kemampuan setara level doktor (PhD).

Meski berukuran ringkas dan dapat dimasukkan ke dalam saku, AI Pocket Lab disebut sebagai superkomputer AI terkecil di dunia. Dimensinya hanya sekitar 14,2 × 8 × 2,53 cm, setara dengan ukuran powerbank kecil.

Mampu Jalankan Model AI Tanpa Internet

Keunggulan utama AI Pocket Lab terletak pada kemampuannya menjalankan model bahasa besar (large language model/LLM) secara lokal tanpa koneksi internet. Perangkat ini mampu memproses model AI kompleks hingga 120 miliar parameter.

Dengan kemampuan menangani beban kerja lebih dari 100 miliar parameter, AI Pocket Lab dinilai memenuhi kategori superkomputer, melampaui perangkat mini-PC atau workstation konvensional.

Kemampuan tersebut memungkinkan perangkat ini:

Memecahkan masalah secara mandiri

Melakukan penalaran abstrak

Menyusun perencanaan strategis

Konsep ini dinilai lebih praktis dibandingkan sistem AI konvensional yang bergantung pada infrastruktur pusat data (data center).

Spesifikasi dan Teknologi Pendukung

AI Pocket Lab dibekali prosesor ARM 12 inti, serupa dengan yang digunakan pada smartphone, laptop, dan tablet.

Selain itu, perangkat ini memiliki:

RAM LPDDR5X sebesar 80 GB

Alokasi 48 GB khusus untuk Neural Processing Unit (NPU)

Dukungan komputasi hingga 190 triliun operasi per detik (TOPS)

Saat ini, perangkat tersebut mampu menjalankan model AI seperti GPT-OSS 120B.

Teknologi Optimasi untuk Performa Maksimal

Untuk menjalankan model AI besar pada perangkat kecil, Tiiny AI menggunakan sejumlah teknologi optimasi, di antaranya:

TurboSparse Teknologi ini memungkinkan model berjalan lebih cepat dengan hanya memproses parameter yang dibutuhkan dalam setiap komputasi.

PowerInfer Sistem ini mengatur pembagian tugas antara CPU, GPU, dan NPU secara efisien. Selain itu, PowerInfer juga mengelola konsumsi daya dengan menyesuaikan performa sesuai kebutuhan.

Dukung Tren Edge Computing

Pengembangan AI Pocket Lab merupakan bagian dari tren edge computing, yaitu pemrosesan AI yang dilakukan langsung di perangkat, bukan di server pusat.