Perangkat mempercepat, menyederhanakan pemrosesan gambar untuk otonom

Seperti yang diketahui pengemudi mana pun, kecelakaan bisa terjadi dalam sekejap mata — jadi ketika menyangkut sistem kamera di kendaraan otonom, waktu pemrosesan sangat penting. Waktu yang diperlukan sistem untuk mengambil gambar dan mengirimkan data ke mikroprosesor untuk pemrosesan gambar dapat berarti perbedaan antara menghindari rintangan atau mengalami kecelakaan besar.

Pemrosesan gambar dalam sensor, di mana fitur penting diekstraksi dari data mentah oleh sensor gambar itu sendiri, bukan oleh mikroprosesor terpisah, dapat mempercepat pemrosesan visual. Sampai saat ini, demonstrasi pemrosesan in-sensor terbatas pada bahan penelitian yang muncul, setidaknya untuk saat ini, sulit untuk dimasukkan ke dalam sistem komersial.

Sekarang, para peneliti dari Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS) telah mengembangkan prosesor in-sensor pertama yang dapat diintegrasikan ke dalam chip sensor pencitraan silikon komersial — yang dikenal sebagai komplementer metal-oksida-semikonduktor (CMOS) sensor gambar — yang digunakan di hampir semua perangkat komersial yang perlu menangkap informasi visual, termasuk ponsel cerdas.

Penelitian ini dipublikasikan di Elektronik Alam.

“Pekerjaan kami dapat memanfaatkan industri elektronik semikonduktor arus utama untuk secara cepat membawa komputasi sensor ke berbagai aplikasi dunia nyata,” kata Donhee Ham, Profesor Teknik Elektro dan Fisika Terapan Gordon McKay di SEAS dan penulis senior makalah ini. .

Ham dan timnya mengembangkan array fotodioda silikon. Chip penginderaan gambar yang tersedia secara komersial juga memiliki susunan fotodioda silikon untuk menangkap gambar, tetapi fotodioda tim didoping secara elektrostatis, artinya sensitivitas fotodioda individu, atau piksel, terhadap cahaya yang masuk dapat disetel oleh voltase. Array yang menghubungkan beberapa fotodioda yang dapat disetel tegangan bersama-sama dapat melakukan operasi perkalian dan penambahan versi analog yang menjadi pusat banyak jalur pemrosesan gambar, mengekstrak informasi visual yang relevan segera setelah gambar diambil.

“Fotodioda dinamis ini dapat secara bersamaan memfilter gambar saat diambil, memungkinkan tahap pertama pemrosesan penglihatan dipindahkan dari mikroprosesor ke sensor itu sendiri,” kata Houk Jang, rekan pascadoktoral di SEAS dan penulis pertama makalah ini.

Array fotodioda silikon dapat diprogram ke dalam filter gambar yang berbeda untuk menghilangkan detail atau noise yang tidak perlu untuk berbagai aplikasi. Sistem pencitraan dalam kendaraan otonom, misalnya, mungkin memerlukan filter high-pass untuk melacak marka jalur, sementara aplikasi lain mungkin membutuhkan filter yang kabur untuk pengurangan kebisingan.

“Ke depan, kami memperkirakan penggunaan prosesor in-sensor berbasis silikon ini tidak hanya dalam aplikasi visi mesin, tetapi juga dalam aplikasi yang terinspirasi oleh bio, di mana pemrosesan informasi awal memungkinkan lokasi bersama sensor dan unit komputasi, seperti di otak,” kata Henry Hinton, seorang mahasiswa pascasarjana di SEAS dan salah satu penulis makalah ini.

Selanjutnya, tim bertujuan untuk meningkatkan kepadatan fotodioda dan mengintegrasikannya dengan sirkuit terintegrasi silikon.

“Dengan mengganti piksel standar yang tidak dapat diprogram dalam sensor gambar silikon komersial dengan yang dapat diprogram yang dikembangkan di sini, perangkat pencitraan dapat secara cerdas memangkas data yang tidak dibutuhkan, sehingga dapat dibuat lebih efisien baik dalam energi maupun bandwidth untuk memenuhi tuntutan generasi berikutnya. aplikasi sensorik,” kata Jang.

Penelitian ini ditulis bersama oleh Woo-Bin Jung, Min-Hyun Lee, Changhyun Kim, Min Park, Seoung-Ki Lee dan Seongjun Park. Itu didukung oleh Samsung Advanced Institute of Technology di bawah Contract A30216 dan oleh National Science Foundation Science and Technology Center for Integrated Quantum Materials di bawah Kontrak DMR-1231319.

Komputasi Seluler