奧比中光官網(wǎng)消息,近期,奧比中光研發(fā)團隊結(jié)合機械臂與大模型,利用語音、語言、視覺-語言大模型,輔以O(shè)rbbec Gemini 2系列深度相機的數(shù)據(jù)輸入,打造出一個能夠理解、執(zhí)行語音任務(wù)的機械臂。該項目將基于多模態(tài)大模型的機械臂從仿真環(huán)境落地到現(xiàn)實世界,拓展智能機械臂應(yīng)用潛能。
目前,該項目在1.0階段打通了多模態(tài)大模型在機械臂上的應(yīng)用部署baseline。奧比中光正在進一步優(yōu)化多模態(tài)指令理解、多傳感器融合感知、機械臂軌跡規(guī)劃控制、末端抓取控制等方面,未來將推出大模型機器人控制系統(tǒng),讓機器人更加智能、靈活,適應(yīng)更加復(fù)雜的操作場景。