Inovasi Terbaru: Nvidia Memanfaatkan Apple Vision Pro untuk Mengendalikan Robot Humanoid
Nvidia telah mengenalkan layanan kontrol baru yang memungkinkan pengembang untuk bekerja pada proyek robot humanoid yang dikendalikan dan dipantau menggunakan Apple Vision Pro. Pengembangan robot humanoid sendiri memiliki berbagai tantangan, salah satunya adalah mengendalikan perangkat yang sangat teknis ini. Untuk membantu dalam hal ini, Nvidia menyediakan sejumlah alat untuk simulasi robotik, termasuk beberapa yang membantu dalam kontrol.
Alat-alat ini disediakan oleh Nvidia untuk produsen robot utama dan pengembang perangkat lunak. Suite model dan platform ini bertujuan untuk melatih generasi baru robot humanoid. Koleksi alat dan layanan Nvidia mencakup layanan mikro NIM dan kerangka kerja yang dimaksudkan untuk simulasi dan pembelajaran. Ada juga layanan orkestrasi Nvidia OSMO untuk menangani beban kerja robotik multi-tahap, serta alur kerja teleoperasi yang didukung oleh AI dan simulasi.
Sebagai bagian dari alur kerja ini, headset dan perangkat komputasi spasial seperti Apple Vision Pro dapat digunakan tidak hanya untuk melihat data tetapi juga untuk mengendalikan perangkat keras. “Gelombang berikutnya dari AI adalah robotika dan salah satu perkembangan paling menarik adalah robot humanoid,” kata CEO dan pendiri Nvidia, Jensen Huang. “Kami mengembangkan seluruh tumpukan robotika NVIDIA, membuka akses bagi pengembang dan perusahaan humanoid di seluruh dunia untuk menggunakan platform, perpustakaan akselerasi, dan model AI yang paling sesuai dengan kebutuhan mereka.”
Layanan mikro NIM adalah kontainer pra-bangun yang menggunakan perangkat lunak inferensi Nvidia, yang bertujuan untuk mengurangi waktu penerapan. Dua layanan mikro ini dirancang untuk membantu pengembang dengan alur kerja simulasi untuk AI fisik generatif dalam Nvidia Isaac SIM, sebuah aplikasi referensi. Salah satunya, MimicGen NIM, digunakan untuk membantu pengguna mengontrol perangkat keras menggunakan Apple Vision Pro atau perangkat komputasi spasial lainnya. Layanan ini menghasilkan data gerakan sintetis untuk robot berdasarkan “data teleoperasi yang direkam.”
Video dan gambar menunjukkan bahwa ini lebih dari sekadar menggerakkan kamera berdasarkan gerakan headset. Gerakan tangan dan isyarat juga direkam dan digunakan, berdasarkan sensor Apple Vision Pro. Dengan demikian, pengguna dapat melihat gerakan robot dan mengendalikan tangan dan lengan secara langsung menggunakan Apple Vision Pro.
Meskipun robot humanoid seperti itu dapat mencoba meniru gerakan secara tepat, sistem seperti milik Nvidia dapat mengartikan apa yang ingin dilakukan pengguna. Karena pengguna tidak memiliki umpan balik taktil untuk apa yang dipegang robot, hal ini dapat terlalu berbahaya untuk meniru gerakan tangan secara langsung.
Alur kerja teleoperasi lain yang didemonstrasikan di Siggraph juga memungkinkan pengembang untuk membuat sejumlah besar data gerakan dan persepsi dari sejumlah kecil demonstrasi yang ditangkap dari jarak jauh oleh manusia. Apple Vision Pro digunakan untuk menangkap gerakan tangan seseorang, yang kemudian digunakan untuk mensimulasikan rekaman menggunakan layanan mikro MimicGen NIM dan Nvidia Isaac Sim, yang menghasilkan dataset sintetis.
Pengembang dapat melatih model humanoid Project Groot dengan kombinasi data nyata dan sintetis, membantu mengurangi biaya dan waktu yang dihabiskan untuk membuat data sejak awal. “Pengembangan robot humanoid sangat kompleks — membutuhkan jumlah data nyata yang luar biasa, yang ditangkap dengan susah payah dari dunia nyata,” kata CEO pembuat platform robotik Fourier, Alex Gu. “Alat pengembangan AI generatif dan simulasi baru Nvidia akan membantu mempercepat alur kerja pengembangan model kami.”
Layanan mikro, akses ke model, layanan robotik terkelola OSMO, dan kerangka kerja lainnya, semuanya ditawarkan di bawah Program Pengembang Robot Humanoid Nvidia. Akses diberikan oleh perusahaan hanya kepada pengembang perangkat lunak, perangkat keras, atau produsen robot humanoid.