Daftar Isi
Apa itu model distillation?
Kenapa teknik ini penting?
Peran jejak penalaran
Bukan teknik terlarang
Jakarta, Chief Tablet Indonesia
—
Persaingan kecerdasan artifisial (
AI
) antara
Amerika Serikat
(AS) dan
China
belakangan menyebut teknik pelatihan model bernama model distillation. AS menuding perusahaan China menggunakan teknik ini untuk “mencuri” dari model-model AI perusahaan AS.
Teknik tersebut memungkinkan pengembang memindahkan sebagian kemampuan model AI berukuran besar ke sistem yang lebih kecil, murah, dan efisien.
Distillation sebenarnya telah lama digunakan dalam penelitian AI dan bukan praktik yang secara otomatis melanggar aturan. Perselisihan muncul ketika teknik itu diduga digunakan untuk mengambil kemampuan model tertutup tanpa izin perusahaan pembuatnya.
ADVERTISEMENT
SCROLL TO CONTINUE WITH CONTENT
Pemerintah AS serta sejumlah perusahaan AI Amerika menuduh perusahaan China menggunakan keluaran model milik mereka untuk melatih sistem pesaing.
Anthropic antara lain menuding entitas China, termasuk DeepSeek, Moonshot, dan MiniMax, menjalankan kampanye berskala besar untuk memperoleh kemampuan dari model Claude.
OpenAI juga mengaku mendeteksi upaya sejumlah aktor China menggunakan modelnya untuk keperluan distillation.
Berikut penjelasan mengenai teknik yang menjadi medan persaingan baru AI AS dan China tersebut.
Apa itu model distillation?
Model AI paling canggih atau frontier model membutuhkan data, investasi, dan daya komputasi dalam jumlah besar untuk dilatih.
Model distillation menawarkan cara membuat sistem lebih kecil dengan menggunakan model besar sebagai “guru” dan model kecil sebagai “murid”.
Model guru menghasilkan berbagai contoh, seperti jawaban, penjelasan, atau kode komputer. Hasil tersebut kemudian digunakan sebagai materi pelatihan bagi model murid.
Namun, model kecil itu bukan salinan utuh dari model guru.
Model tersebut tidak mewarisi bobot, arsitektur, maupun seluruh kemampuan sistem asalnya. Model murid hanya mempelajari perilaku tertentu agar dapat mengerjakan tugas secara lebih efisien.
Kenapa teknik ini penting?
Daya tarik utama distillation adalah kemampuannya membuat sistem AI lebih murah dan mudah digunakan.
Model terdepan biasanya membutuhkan pusat data besar dan cip mahal untuk beroperasi. Sebaliknya, model hasil distillation dapat dijalankan menggunakan perangkat yang lebih sederhana.
Model tersebut juga dapat disesuaikan untuk kebutuhan tertentu.
Oleh karena itu, teknik ini menarik bagi perusahaan dan pemerintah yang ingin menerapkan AI pada perangkat, pabrik, kendaraan, maupun jaringan privat.
Peran jejak penalaran
Model AI terbaru tidak hanya menghasilkan jawaban akhir, tetapi juga dapat menunjukkan tahapan yang digunakan untuk menyelesaikan suatu persoalan.
Tahapan tersebut dikenal sebagai reasoning traces atau jejak penalaran.
Jejak itu dapat membantu model kecil mempelajari cara menghadapi masalah sulit, bukan sekadar menghafal jawaban akhirnya.
Asisten profesor ETH Zurich yang meneliti keamanan pembelajaran mesin, Florian Tramèr, membandingkannya dengan proses belajar manusia.
“Jika saya memberi Anda buku berisi soal matematika rumit dengan jawaban akhir, Anda akan jauh lebih kesulitan mempelajari cara menyelesaikannya dibandingkan jika saya memberikan solusi terperinci yang menjelaskan seluruh langkahnya,” kata Tramèr, dikutip dari
Reuters
, Jumat (31/7).
Dikarenakan jejak penalaran semakin bernilai, akses terhadap keluaran model AI juga menjadi lebih sensitif. Keluaran tersebut dapat mengungkap cara sistem canggih menangani persoalan kompleks.
Bukan teknik terlarang
Distillation digunakan secara luas oleh peneliti dan perusahaan AI di berbagai negara.
Proyek Alpaca dari Stanford University dan riset Orca milik Microsoft pernah menggunakan keluaran model yang lebih canggih untuk meningkatkan kemampuan sistem yang lebih kecil.
Peneliti China juga pernah menggunakan keluaran model AS dalam proyek penelitian publik, termasuk untuk mengembangkan model instruksi berbahasa Mandarin.
Perbedaan utamanya terletak pada cara mengakses model.
Model berbobot terbuka atau open weight memungkinkan peneliti memeriksa dan memodifikasi parameter dasarnya.
Sementara model tertutup seperti ChatGPT dari OpenAI dan Claude dari Anthropic tetap berada di bawah kendali perusahaan serta hanya dapat diakses melalui layanan atau antarmuka pemrograman aplikasi mereka.
Dengan demikian, kontroversi yang muncul bukan terletak pada teknik distillation itu sendiri, melainkan dugaan pengambilan keluaran model secara sistematis tanpa izin.
Perusahaan AI AS menilai terdapat perbedaan antara penelitian yang sah dan upaya memanen keluaran model tertutup untuk meniru kemampuan yang memiliki nilai komersial.
Anthropic menyebut upaya yang diduga dilakukan entitas China menyasar kemampuan seperti rekayasa perangkat lunak dan penalaran tingkat lanjut.
Moonshot sebelumnya membantah tuduhan bahwa model Kimi K3 dikembangkan dengan mengambil kemampuan model AS melalui teknik tersebut.
(lom)
[Gambas:Video Chief Tablet]
Baca lagi: Pansus 17 Perdalam Pembahasan Raperda Pembangunan RSUD Kota Bandung
Baca lagi: Sid Wilson Dikabarkan Didepak dari Slipknot Setelah 27 Tahun
Baca lagi: Daftar Lengkap Harga BBM Pertamina usai Pertamax Turun 1 Agustus