Model Bahasa Kecil Baru Buatan Microsoft Mampu Ungguli ChatGPT

Dalam pengujian perbandingan, Phi-1 mencapai skor akurasi 50,6%, melampaui performa GPT-3.5 sebesar 47%.

Cesar Uji Tawakal
Selasa, 27 Juni 2023 | 14:19 WIB
Microsoft Office. (Microsoft)

Microsoft Office. (Microsoft)

Hitekno.com - Dalam terobosan yang mengejutkan, Microsoft telah meluncurkan model bahasa terbaru mereka, Phi-1, dengan 1,3 miliar parameter.

Berbeda dengan kepercayaan konvensional bahwa model yang lebih besar memiliki performa lebih baik, pendekatan Microsoft berfokus pada kualitas data pelatihan.

Dilansir dari Gizmochina, Phi-1, dilatih dengan dataset "tingkat buku teks" yang disusun dengan cermat, telah mengungguli GPT-3.5 dengan 100 miliar parameter.

Baca Juga: Coach Bren Esports Nantikan Match Lawan ONIC, Mau Balas Dendam di Snapdragon ESL?

Model bahasa Phi-1 dari Microsoft, yang dibangun dengan arsitektur Transformer, telah menarik perhatian karena performanya yang mengesankan.

Tim di balik Phi-1 menekankan kualitas data pelatihan, yang berbeda dari tren umum dalam meningkatkan ukuran model.

Dengan menggunakan dataset berkualitas tinggi yang terdiri dari konten "tingkat buku teks" yang diperoleh dari internet, tim Microsoft memproses informasi tersebut menggunakan GPT-3.5. Dengan bantuan 8 GPU Nvidia A100, proses pelatihan selesai dalam waktu empat hari.

Baca Juga: Kabar Duka, Penemu Baterai Lithium Ion Meninggal Dunia

Menurut Microsoft, fokus pada peningkatan kualitas data pelatihan, bukan peningkatan jumlah parameter, telah menghasilkan hasil yang menjanjikan.

Dalam pengujian perbandingan, Phi-1 mencapai skor akurasi 50,6%, melampaui performa GPT-3.5 sebesar 47% dengan total 175 miliar parameter yang mencengangkan.

Microsoft berencana untuk membuka sumber daya Phi-1 di HuggingFace, yang akan memperkuat aksesibilitas dan potensi kolaboratif model bahasa ini.

Baca Juga: Viral Abizar Nyanyi Lagu dengan Suara Mirip Uje, Umi Pipik Doakan Ini

Ini bukanlah kali pertama Microsoft mengembangkan model bahasa yang lebih kecil; sebelumnya, mereka memperkenalkan Orca, model 13 miliar parameter yang dilatih dengan data sintetis menggunakan GPT-4.

Bahkan Orca terbukti mengungguli ChatGPT. Makalah penelitian tentang Phi-1 telah dipublikasikan di arXiv, yang memberikan wawasan detail tentang arsitektur dan metodologi pelatihannya.

Bagi mereka yang tertarik untuk menjelajahi aspek teknis, makalah ini menawarkan gambaran komprehensif tentang perkembangan Phi-1.

Model bahasa Phi-1 dari Microsoft menantang pandangan bahwa peningkatan ukuran model diperlukan untuk performa yang lebih baik.

Dengan berfokus pada data pelatihan berkualitas tinggi, Phi-1 telah menunjukkan akurasi yang luar biasa, bahkan melampaui model yang lebih besar.

Pembukaan sumber daya Phi-1 juga menunjukkan komitmen Microsoft dalam memajukan bidang pemrosesan bahasa alami.

Berita Terkait
TERKINI

Seluruh transaksi di acara JakCloth Ramadan 2024 akan menggunakan QRIS dan transfer bank melalui BI FAST....

internet | 14:12 WIB

PointStar menyatakan dukungannya terhadap misi pemerintah dengan memungkinkan integrasi seluruh proses bisnis organisasi...

internet | 17:09 WIB

Grab menjadi perusahaan teknologi pertama yang menerima Sertifikat Penetapan Program Kepatuhan Persaingan Usaha dari KPP...

internet | 17:15 WIB

Seminar di UI memfokuskan pada perkembangan terkini dalam ilmu data, komputasi super, AI generatif, dan etika AI....

internet | 21:26 WIB

Dalam acara ini, peserta bertukar pendapat mengenai tren saat ini dan prospek masa depan AI dalam pendidikan....

internet | 16:31 WIB

Aplikasi Merchant BCA ini didesain sebagai solusi untuk memberdayakan bisnis dari berbagai skala....

internet | 09:36 WIB

Keberadaan CCTV selama ini nyatanya tak cukup mencegah aksi kejahatan....

internet | 12:24 WIB

Berdasarkan feedback pengguna, Samsung akan menyediakan opsi dan pengalaman yang semakin ditingkatkan melalui SamsungGal...

internet | 20:46 WIB

Nuon Digital Indonesia menjajakibisnis baru dan melakukan inovasi pada produk-produk andalannya....

internet | 17:48 WIB

Perubahan nama ini merupakan langkah strategis Google untuk menggabungkan chatbot Bard dan layanan AI lainnya di bawah s...

internet | 18:15 WIB

Program AI TEACH for Indonesia merupakan program pengembangan kapasitas yang bertujuan untuk mengembangkan lanskap pendi...

internet | 17:14 WIB

Pinhome mengumumkan kerja sama dengan BPJS Ketenagakerjaan dalam pengadaan proteksi keselamatan kerja bagi seluruh Rekan...

internet | 09:56 WIB

Didukung Kominfo dan universitas-universitas setempat, kampanye ini bertujuan mengeksplorasi lanskap AI dan mendiskusika...

internet | 11:44 WIB

Di 14 kota, ribuan driver Grab bersama keluarga nonton bareng film Srimulat: Hidup Memang Komedi...

internet | 08:56 WIB

Mengakses konten Premier League melalui situs web atau perangkat streaming tidak resmi akan membuat diri mereka rentan t...

internet | 08:46 WIB

Dell Technologies menyoroti tren-tren baru yang akan membentuk industri teknologi pada tahun 2024 dan di masa depan....

internet | 12:06 WIB

Meningkatkan sistem keamanan menjadi langkah yang baik, tetapi upaya tersebut hanya menjangkau permukaan penyalahgunaan ...

internet | 07:24 WIB
Tampilkan lebih banyak