Insinyur yang mengerjakan ‘pembelajaran mendalam analog’ telah menemukan cara

Ketika para ilmuwan mendorong batas-batas pembelajaran mesin, jumlah waktu, energi, dan uang yang dibutuhkan untuk melatih model jaringan saraf yang semakin kompleks semakin meroket. Area baru kecerdasan buatan yang disebut pembelajaran mendalam analog menjanjikan komputasi yang lebih cepat dengan sebagian kecil penggunaan energi.

Resistor yang dapat diprogram adalah blok bangunan utama dalam pembelajaran mendalam analog, sama seperti transistor adalah elemen inti untuk prosesor digital. Dengan mengulangi susunan resistor yang dapat diprogram dalam lapisan yang kompleks, peneliti dapat membuat jaringan “neuron” dan “sinapsis” buatan analog yang mengeksekusi komputasi seperti jaringan saraf digital. Jaringan ini kemudian dapat dilatih untuk mencapai tugas AI yang kompleks seperti pengenalan gambar dan pemrosesan bahasa alami.

Sebuah tim multidisiplin peneliti MIT berangkat untuk mendorong batas kecepatan dari jenis sinapsis analog buatan manusia yang sebelumnya telah mereka kembangkan. Mereka menggunakan bahan anorganik praktis dalam proses fabrikasi yang memungkinkan perangkat mereka berjalan 1 juta kali lebih cepat dari versi sebelumnya, yang juga sekitar 1 juta kali lebih cepat daripada sinapsis di otak manusia.

Selain itu, bahan anorganik ini juga membuat resistor sangat hemat energi. Tidak seperti bahan yang digunakan dalam versi perangkat mereka sebelumnya, bahan baru ini kompatibel dengan teknik fabrikasi silikon. Perubahan ini telah memungkinkan fabrikasi perangkat pada skala nanometer dan dapat membuka jalan untuk integrasi ke perangkat keras komputasi komersial untuk aplikasi pembelajaran mendalam.

“Dengan wawasan kunci itu, dan teknik fabrikasi nano yang sangat kuat yang kami miliki di MIT.nano, kami telah mampu menyatukan bagian-bagian ini dan menunjukkan bahwa perangkat ini secara intrinsik sangat cepat dan beroperasi dengan voltase yang wajar,” kata penulis senior Jesús A. del Alamo, Profesor Donner di Departemen Teknik Elektro dan Ilmu Komputer (EECS) MIT. “Pekerjaan ini benar-benar menempatkan perangkat ini pada titik di mana mereka sekarang terlihat sangat menjanjikan untuk aplikasi masa depan.”

“Mekanisme kerja perangkat ini adalah penyisipan elektrokimia dari ion terkecil, proton, ke dalam oksida isolasi untuk memodulasi konduktivitas elektroniknya. Karena kami bekerja dengan perangkat yang sangat tipis, kami dapat mempercepat gerakan ion ini dengan menggunakan listrik yang kuat. lapangan, dan mendorong perangkat ionik ini ke rezim operasi nanodetik,” jelas penulis senior Bilge Yildiz, Profesor Breene M. Kerr di departemen Ilmu dan Teknik Nuklir dan Ilmu dan Teknik Material.

“Potensial aksi dalam sel biologis naik dan turun dengan skala waktu milidetik, karena perbedaan tegangan sekitar 0,1 volt dibatasi oleh stabilitas air,” kata penulis senior Ju Li, Profesor Ilmu dan Teknik Nuklir Aliansi Energi Battelle dan profesor ilmu dan teknik material, “Di sini kami menerapkan hingga 10 volt melintasi film kaca padat khusus dengan ketebalan skala nano yang menghantarkan proton, tanpa merusaknya secara permanen. Dan semakin kuat medannya, semakin cepat perangkat ioniknya.”

Resistor yang dapat diprogram ini sangat meningkatkan kecepatan pelatihan jaringan saraf, sekaligus secara drastis mengurangi biaya dan energi untuk melakukan pelatihan itu. Ini dapat membantu para ilmuwan mengembangkan model pembelajaran mendalam lebih cepat, yang kemudian dapat diterapkan dalam penggunaan seperti mobil yang dapat mengemudi sendiri, deteksi penipuan, atau analisis citra medis.

“Begitu Anda memiliki prosesor analog, Anda tidak akan lagi melatih jaringan yang sedang dikerjakan orang lain. Anda akan melatih jaringan dengan kompleksitas yang belum pernah ada sebelumnya yang tidak dapat dilakukan oleh orang lain, dan oleh karena itu kinerjanya jauh lebih baik daripada semuanya. Dengan kata lain, ini adalah bukan mobil yang lebih cepat, ini adalah pesawat ruang angkasa,” tambah penulis utama dan postdoc MIT Murat Onen.

Rekan penulis termasuk Frances M. Ross, Profesor Ellen Swallow Richards di Departemen Ilmu dan Teknik Material; postdocs Nicolas Emond dan Baoming Wang; dan Difei Zhang, seorang mahasiswa pascasarjana EECS. Penelitian ini diterbitkan hari ini di Sains.

Mempercepat pembelajaran yang mendalam

Pembelajaran mendalam analog lebih cepat dan lebih hemat energi daripada rekan digitalnya karena dua alasan utama. “Pertama, komputasi dilakukan dalam memori, sehingga banyak data yang tidak ditransfer bolak-balik dari memori ke prosesor.” Prosesor analog juga melakukan operasi secara paralel. Jika ukuran matriks membesar, prosesor analog tidak memerlukan lebih banyak waktu untuk menyelesaikan operasi baru karena semua komputasi terjadi secara bersamaan.

Elemen kunci dari teknologi prosesor analog baru MIT dikenal sebagai resistor yang dapat diprogram proton. Resistor ini, yang diukur dalam nanometer (satu nanometer adalah sepersejuta meter), disusun dalam susunan, seperti papan catur.

Di otak manusia, pembelajaran terjadi karena penguatan dan melemahnya koneksi antar neuron, yang disebut sinapsis. Jaringan saraf dalam telah lama mengadopsi strategi ini, di mana bobot jaringan diprogram melalui algoritma pelatihan. Dalam kasus prosesor baru ini, peningkatan dan penurunan konduktansi listrik resistor proton memungkinkan pembelajaran mesin analog.

Konduktansi dikendalikan oleh pergerakan proton. Untuk meningkatkan konduktansi, lebih banyak proton didorong ke dalam saluran di resistor, sedangkan untuk mengurangi konduktansi, proton dikeluarkan. Ini dilakukan dengan menggunakan elektrolit (mirip dengan baterai) yang menghantarkan proton tetapi memblokir elektron.

Untuk mengembangkan resistor proton yang dapat diprogram super cepat dan sangat hemat energi, para peneliti mencari bahan yang berbeda untuk elektrolit. Sementara perangkat lain menggunakan senyawa organik, Onen berfokus pada kaca fosfosilikat anorganik (PSG).

PSG pada dasarnya adalah silikon dioksida, yang merupakan bahan pengering tepung yang ditemukan dalam tas kecil yang disertakan dalam kotak dengan perabotan baru untuk menghilangkan kelembapan. Ini juga merupakan oksida paling terkenal yang digunakan dalam pemrosesan silikon. Untuk membuat PSG, sedikit fosfor ditambahkan ke silikon untuk memberikan karakteristik khusus untuk konduksi proton.

Onen berhipotesis bahwa PSG yang dioptimalkan dapat memiliki konduktivitas proton yang tinggi pada suhu kamar tanpa memerlukan air, yang akan menjadikannya elektrolit padat yang ideal untuk aplikasi ini. Dia benar.

Kecepatan yang mengejutkan

PSG memungkinkan pergerakan proton yang sangat cepat karena mengandung banyak pori berukuran nanometer yang permukaannya menyediakan jalur untuk difusi proton. Itu juga dapat menahan medan listrik berdenyut yang sangat kuat. Ini sangat penting, Onen menjelaskan, karena menerapkan lebih banyak tegangan ke perangkat memungkinkan proton bergerak dengan kecepatan yang menyilaukan.

“Kecepatannya tentu mengejutkan. Biasanya, kami tidak akan menerapkan medan ekstrem seperti itu di seluruh perangkat, agar tidak mengubahnya menjadi abu. Tapi sebaliknya, proton akhirnya bergerak dengan kecepatan luar biasa di seluruh perangkat, khususnya satu juta kali lebih cepat dibandingkan dengan apa yang kita miliki sebelumnya. Dan gerakan ini tidak merusak apa pun, berkat ukurannya yang kecil dan massa proton yang rendah. Ini hampir seperti teleportasi,” katanya.

“Skala waktu nanodetik berarti kita dekat dengan rezim balistik atau bahkan terowongan kuantum untuk proton, di bawah medan ekstrem seperti itu,” tambah Li.

Karena proton tidak merusak material, resistor dapat bekerja selama jutaan siklus tanpa rusak. Elektrolit baru ini memungkinkan resistor proton yang dapat diprogram satu juta kali lebih cepat dari perangkat mereka sebelumnya dan dapat beroperasi secara efektif pada suhu kamar, yang penting untuk memasukkannya ke dalam perangkat keras komputasi.

Berkat sifat isolasi PSG, hampir tidak ada arus listrik yang melewati material saat proton bergerak. Ini membuat perangkat ini sangat hemat energi, tambah Onen.

Sekarang setelah mereka menunjukkan keefektifan resistor yang dapat diprogram ini, para peneliti berencana untuk merekayasa ulang mereka untuk pembuatan volume tinggi, kata del Alamo. Kemudian mereka dapat mempelajari sifat-sifat array resistor dan meningkatkannya sehingga dapat disematkan ke dalam sistem.

Pada saat yang sama, mereka berencana untuk mempelajari bahan untuk menghilangkan hambatan yang membatasi tegangan yang diperlukan untuk mentransfer proton secara efisien ke, melalui, dan dari elektrolit.

“Arah menarik lainnya yang dapat diaktifkan oleh perangkat ionik ini adalah perangkat keras hemat energi untuk meniru sirkuit saraf dan aturan plastisitas sinaptik yang disimpulkan dalam ilmu saraf, di luar jaringan saraf dalam analog,” tambah Yildiz.

“Kolaborasi yang kami miliki akan menjadi penting untuk berinovasi di masa depan. Jalan ke depan masih akan sangat menantang, tetapi pada saat yang sama sangat menarik,” kata del Alamo.

Penelitian ini didanai, sebagian, oleh MIT-IBM Watson AI Lab.

Komputasi Seluler