ruangdeveloper.com - Halo Talenta Digital, selamat datang di Ruang Developer Blog. Tidak terasa perkembangan generative AI saat ini sudah sangat pesat ya. Tentu Kamu sudah mengenal beberapa generative AI, salah satunya adalah ChatGPT. Nah, tahukah Kamu bahwa saat ini banyak sekali model generative AI yang open source yang bisa kita manfaatkan untuk membuat ChatGPT di komputer kita sendiri. Bagaimana caranya? Yuk kita simak!
Apa itu GPT?
Sebelum mulai, ada baiknya kita mengetahui dahulu apa itu GPT. Berdasarkan penjelasan pada website AWS, Generative Pre-trained Transformers, yang umumnya dikenal sebagai GPT, adalah keluarga model jaringan neural yang menggunakan arsitektur transformator dan merupakan sebuah kemajuan penting dalam kecerdasan buatan (AI) yang mendukung aplikasi AI generatif seperti ChatGPT. Model GPT memberi aplikasi kemampuan untuk membuat teks dan konten yang menyerupai buatan manusia (gambar, musik, dan lainnya), serta menjawab pertanyaan dalam percakapan.
Bisakah Kita Menjalankan GPT di Komputer Lokal?
Model GPT umumnya berukuran sangat besar dan perlu dijalankan pada server dengan spesifikasi yang tinggi, hal ini dikarenakan model GPT dilatih menggunakan dataset yang sangat besar agar memiliki pengetahuan yang luas, sehingga proses yang dilakukan oleh model ini memerlukan resource yang sangat tinggi. Namun, dengan maraknya perkembangan AI, saat ini banyak model GPT yang dibuat dengan ukuran kecil dan dapat dijalankan menggunakan komputer local dengan spesifikasi standar. Selain itu, saat ini juga sudah banyak proyek-proyek open source yang dapat digunakan untuk menjalankan model ini, salah satunya adalah LM Studio.
LM studio adalah aplikasi yang dapat Anda gunakan untuk bereksperimen dengan LLM lokal. Kita dapat menjalankan LLM ini di laptop Kita, sepenuhnya offline (perlu jaringan internet untuk mendownload model pertama kali).
Menginstall LM Studio
LM Studio dapat diinstall dengan mudah di sistem operasi Linux, Windows dan Mac. Kamu bisa mengunjungi website resminya di sini kemudian download sesuai dengan sistem operasi komputer Kamu.
Setelah selesai download, Kamu bisa menginstall aplikasinya seperti biasa. Berikut ini adalah tampilan awal LM Studio.
Mendownload Model
Setelah berhasil menginstall LM Studio, langkah selanjutnya kita akan mendownload model yang akan kita gunakan. Kamu bisa mendapatkan banyak sekali model melalui pencarian yang ada dalam aplikasi LM Studio. Sebagai contoh, di sini kita coba mendownload model TheBloke/phi-2-GGUF
Klik tombol download dan tunggu proses download hingga selesai.
TheBloke/phi-2-GGUF adalah model dengan ukuran parameter yang kecil sehingga mungkin kita akan mendapatkan hasil yang kurang maksimal. Jika ingin mendapatkan hasil yang maksimal, Kamu bisa menggunakan model yang cukup besar seperti Llama 3 - 8B Instruct
Menggunakan Chat
Setelah download model selesai, kita bisa menggunakannya untuk chatting dengan AI. Silahkan pergi ke halaman chat dengan meng-klik icon chat di sebelah kiri.
Kemudian pada bagian atas pilih model yang telah didownload.
Setelah itu LM Studio akan memuat model dan kita bisa mulai chat.
Gagal Load Model?
Jika kamu mengalami kendala saat load model, kamu bisa pergi ke pengaturan dengan klik icon gear di samping kanan atas, scroll ingga menemukan GPU Settings, kemudian hilangkan centang pada bagian GPU Offload.
Kesimpulan
Yups, begitulah bagaimana cara kita menginstall GPT di komputer. Sangat mudah bukan? Sekarang Kamu juga sudah bisa menggunakan GPT AI tanpa perlu koneksi internet.
Hal yang harus Kamu perhatikan adalah pemilihan model berdasarkan spesifikasi komputer Kamu. Jangan paksakan menjalankan model yang memerlukan resource tinggi karena nantinya tidak akan bekerja dengan baik.
Ohiya, Kamu juga bisa memanfaatkan CUDA GPU jika komputer Kamu menggunakan GPU NVIDIA.