Facebook 于今日宣布開源旗下 Droidlet 機(jī)器人開發(fā)平臺(tái)，特點(diǎn)是能夠利用自然語(yǔ)言處理（NLP）和計(jì)算機(jī)視覺(jué)（CV）技術(shù)來(lái)感知周圍世界。其宣稱能夠簡(jiǎn)化機(jī)器學(xué)習(xí)算法在機(jī)器人項(xiàng)目中的集成，并促進(jìn)快速的軟件原型設(shè)計(jì)。盡管當(dāng)前機(jī)器人已能夠通過(guò)編程來(lái)執(zhí)行舞蹈等特定應(yīng)用，但還是缺乏可在更深層次上處理信息的能力。

　　當(dāng)然，Droidlet 并不是所有問(wèn)題的萬(wàn)能解決方案，而是一種測(cè)試不同 NLP 和 CV 處理模型的方法。

　　其允許開發(fā)者構(gòu)建能夠在現(xiàn)實(shí)世界中、或《我的世界》和 Facebook 的 Habitat 等模擬環(huán)境里完成相關(guān)任務(wù)的系統(tǒng)。開發(fā)者可按需更換組件，來(lái)支持可在不同機(jī)器人上使用的相同系統(tǒng)。

　　此外 Droidlet 平臺(tái)提供了一個(gè)儀表板，方便開發(fā)者添加調(diào)試與可視化小部件和相關(guān)工具，以及一個(gè)用于糾錯(cuò)和注釋的界面。

　　除了用于測(cè)試針對(duì)機(jī)器人設(shè)置進(jìn)行微調(diào)的視覺(jué)模型的環(huán)境之外，Droidlet 還附帶了用于將機(jī)器學(xué)習(xí)模型連接到機(jī)器人的封包器。

　　Droidlet 有一系列組件構(gòu)成，其中某些為啟發(fā)式的、另一些則是學(xué)習(xí)向的，開發(fā)者可在方便時(shí)調(diào)用靜態(tài)數(shù)據(jù)、然后適當(dāng)調(diào)用動(dòng)態(tài)數(shù)據(jù)開展訓(xùn)練。其設(shè)計(jì)由以下幾個(gè)模塊到模塊的接口組成：

　　● 一個(gè)存儲(chǔ)系統(tǒng)，用于跨各種模塊的信息存儲(chǔ)。

　　● 一組能夠處理來(lái)自外界信息、并將之存儲(chǔ)與內(nèi)存中的感知模塊。

　　● 可讓機(jī)器人適應(yīng)環(huán)境變化的一組較低級(jí)別的任務(wù)支持，比如‘向前移動(dòng)三英尺’和‘將物品放在給定坐標(biāo)處’。

　　● 一個(gè)控制器，可決定執(zhí)行哪些基于存儲(chǔ)系統(tǒng)狀態(tài)的任務(wù)。

　　Facebook 指出，這些模塊中的每一個(gè)，都可進(jìn)一步分解為可訓(xùn)練或啟發(fā)式的組件，且相關(guān)模塊與儀表板支持在 Droidlet 之外的生態(tài)系統(tǒng)中使用。

　　對(duì)于研究人員和愛(ài)好者，Droidlet 還提供了對(duì)“內(nèi)置電池”系統(tǒng)的支持，可通過(guò)預(yù)訓(xùn)練的物體檢測(cè)和姿態(tài)預(yù)估模型來(lái)感知環(huán)境，并將觀察結(jié)果存儲(chǔ)在機(jī)器人的內(nèi)存中。

　　通過(guò)這種表示，系統(tǒng)可響應(yīng)諸如“前往紅椅子處”之類的語(yǔ)音命令，利用預(yù)訓(xùn)練的神經(jīng)語(yǔ)義解析器，將自然語(yǔ)言轉(zhuǎn)換為可由機(jī)器人執(zhí)行的程序。