Ternyata "Otak" GPT-3 Bisa Ngabisin Miliaran Konsep di Ruang Kecil? Rahasianya Lemma Johnson-Lindenstrauss!
Bayangin deh, kamu punya koleksi lagu kesukaan yang jumlahnya miliaran. Terus kamu mau nyimpen semua lagu itu di satu flashdisk kecil, tapi tetep bisa nyari lagu mana aja dengan gampang. Kedengeran mustahil, kan? Nah, kira-kira gitu deh yang lagi terjadi sama model bahasa super canggih kayak GPT-3. Si "otak" digital ini ternyata punya kemampuan keren buat nyimpen miliaran konsep, bahkan miliaran ide dan informasi, tapi "ruang penyimpanannya" nggak segede yang kita bayangin. Malah, ukurannya relatif kecil banget, sekitar 12.000 dimensi.
Kok bisa? Ternyata, kuncinya ada di pemahaman matematika yang keren dan sebuah teorema yang mungkin nggak pernah kita denger sebelumnya: Lemma Johnson-Lindenstrauss (JL).
Apa Sih Lemma Johnson-Lindenstrauss Itu?
Singkatnya, Lemma JL ini kayak "sulap" matematika. Dia bilang gini, kalau kita punya sekumpulan titik data di ruang yang super duper luas (bayangin aja dimensi angkanya sampai jutaan), kita bisa memproyeksikan titik-titik itu ke ruang yang dimensinya jauh lebih kecil. Ajaibnya, jarak antar titik-titik itu, yang nunjukkin seberapa mirip atau bedanya konsep-konsep itu, bakal tetap terjaga dengan probabilitas tinggi.
Jadi, bayangin aja kita punya banyak banget data yang "berat" dan "luas". Lemma JL ini kayak alat bantu biar data-data itu bisa "dipadetin" tanpa kehilangan esensinya. Yang lebih keren lagi, dimensi yang dibutuhkan buat "memadetin" ini naiknya nggak seberapa, cuma bertambah sedikit aja seiring nambahnya jumlah titik data. Logaritma, istilahnya.
Dampaknya Buat Teknologi Kita
Nah, apa artinya Lemma JL ini buat kita sehari-hari, terutama di dunia teknologi kayak GPT-3? Ada dua poin penting banget nih:
-
Efisiensi Komputasi: Data berdimensi tinggi itu bisa jadi "boros" banget kalau mau diproses. Coba aja bayangin data preferensi pelanggan yang super detail. Nah, dengan Lemma JL, data-data "berat" ini bisa kita "ringkas" dimensinya biar komputasi jadi lebih gampang dan cepet. Ini yang bikin AI bisa kerja lebih efisien.
-
Kapasitas Luar Biasa Ruang Embedding: Di dalam model bahasa kayak GPT-3, ada yang namanya "ruang embedding". Ini adalah tempat di mana semua konsep dan makna direpresentasikan dalam bentuk angka-angka (vektor). Lemma JL menunjukkan kalau ruang embedding ini, meskipun ukurannya "terbatas", punya kapasitas yang luar biasa besar untuk menyimpan miliaran konsep. Nggak cuma itu, konsep-konsep yang punya makna mirip tapi sedikit beda pun bisa disimpan dengan baik, menunjukkan kedalaman pemahaman model.
Tantangan dan Solusi Cerdas
Tentu aja, nggak semuanya mulus. Salah satu tantangan di sini adalah gimana cara kita menempatkan vektor-vektor (representasi konsep) ini di dalam ruang embedding biar optimal. Ibaratnya, gimana cara nyusun barang di lemari biar semuanya muat dan gampang dicari. Nah, para ilmuwan nggak tinggal diam. Mereka mengembangkan solusi cerdas, salah satunya dengan memodifikasi fungsi loss (fungsi yang ngasih tahu model seberapa bagus performanya). Dengan penyesuaian ini, masalah penempatan vektor bisa diatasi.
Intinya, ruang embedding yang ada sekarang ini ternyata udah lebih dari cukup, bahkan overkill, buat nampung semua kekayaan pengetahuan dan nuansa bahasa manusia. Lemma Johnson-Lindenstrauss ini kayak bukti matematis kalau "otak" digital kita punya potensi yang jauh lebih besar dari yang kita duga, dan para ilmuwan terus menemukan cara buat ngebiarin potensi itu berkembang. Keren banget, kan?