AI先驅(qū)Andrew Ng正在呼吁全球向更加以數(shù)據(jù)為中心的機(jī)器學(xué)習(xí)（ML）方法轉(zhuǎn)變。他最近舉辦了首屆以數(shù)據(jù)為中心的AI數(shù)據(jù)質(zhì)量競(jìng)賽。許多人認(rèn)為數(shù)據(jù)質(zhì)量占AI工作的80%。

Andrew Ng在他的新聞通訊文章The Batch中寫(xiě)道：“我相信AI社區(qū)很快就會(huì)像對(duì)待構(gòu)建模型一樣，對(duì)系統(tǒng)性地改善數(shù)據(jù)產(chǎn)生興趣。”

通過(guò)合成數(shù)據(jù)采取以數(shù)據(jù)為中心的方法

通過(guò)合成數(shù)據(jù)采取以數(shù)據(jù)為中心的方法來(lái)開(kāi)發(fā)模型是一個(gè)迭代的流程。工程師對(duì)完成訓(xùn)練的模型進(jìn)行評(píng)估并確定數(shù)據(jù)集的改進(jìn)，然后他們將生成新的數(shù)據(jù)集并啟動(dòng)新的訓(xùn)練周期。這個(gè)產(chǎn)生數(shù)據(jù)、訓(xùn)練模型、評(píng)估模型并產(chǎn)生更多數(shù)據(jù)的流程會(huì)一直持續(xù)到模型性能符合要求為止。

由于每次迭代中的數(shù)據(jù)都是在模擬中生成，而不是在現(xiàn)實(shí)世界中收集然后標(biāo)記，因此大大加快了模型訓(xùn)練的速度。這些可以大規(guī)模生成的數(shù)據(jù)集以訓(xùn)練工具可以直接使用的格式輸出。此功能無(wú)需再對(duì)數(shù)據(jù)進(jìn)行額外的預(yù)處理。

合成數(shù)據(jù)生成流程的參數(shù)化增進(jìn)了ML工程師對(duì)每次迭代的控制并提高了對(duì)數(shù)據(jù)集中現(xiàn)有內(nèi)容的可追溯性。由于能夠通過(guò)合成數(shù)據(jù)改進(jìn)數(shù)據(jù)集、大規(guī)模生成合成數(shù)據(jù)、了解數(shù)據(jù)集的現(xiàn)有內(nèi)容及其生成方式，開(kāi)發(fā)者實(shí)現(xiàn)成果的時(shí)間被大大縮短。

用于Isaac Sim的NVIDIA Omniverse Replicator

隨著對(duì)數(shù)據(jù)質(zhì)量的日益關(guān)注，NVIDIA正在發(fā)布新的用于Isaac Sim的NVIDIA Omniverse Replicator，該應(yīng)用程序基于最近發(fā)布的Omniverse Replicator 合成數(shù)據(jù)生成引擎。Isaac Sim中的這些新功能使ML工程師能夠構(gòu)建生產(chǎn)級(jí)的合成數(shù)據(jù)集，以訓(xùn)練強(qiáng)大的深度學(xué)習(xí)感知模型。“復(fù)制”模型目標(biāo)域的固有分布是最大化模型性能的關(guān)鍵。

用于Isaac Sim的NVIDIAOmniverse Replicator的優(yōu)點(diǎn)：

●生成數(shù)據(jù)集，將它們用于實(shí)現(xiàn)開(kāi)發(fā)者設(shè)定的隨機(jī)、受控和有界分布目標(biāo)

●確保數(shù)據(jù)集包含有針對(duì)性的象限檢驗(yàn)和測(cè)試案例

●包含物體、照明和場(chǎng)景的相機(jī)相對(duì)視野放置

●在基于邊緣和云的系統(tǒng)上開(kāi)展大規(guī)模工作

●追蹤每個(gè)數(shù)據(jù)集所使用的工具和參數(shù)，以推動(dòng)迭代流程并支持生產(chǎn)級(jí)數(shù)據(jù)集的質(zhì)量審核

圖1.在IsaacSim中合成數(shù)據(jù)生成工作流的示例 
補(bǔ)充說(shuō)明：圖中所示的是軟件模塊圖

Replicator演示：使用自主移動(dòng)機(jī)器人（AMR）避開(kāi)叉車(chē)叉齒

目前許多部署在工廠的AMR都是基于平面激光雷達(dá)。該激光雷達(dá)足以探測(cè)到許多物體的存在并進(jìn)行導(dǎo)航。而許多工廠和倉(cāng)庫(kù)中常見(jiàn)的叉車(chē)對(duì)激光雷達(dá)來(lái)說(shuō)是一項(xiàng)獨(dú)特的挑戰(zhàn)：激光雷達(dá)可以探測(cè)到叉車(chē)底盤(pán)，但無(wú)法探測(cè)到叉齒，這導(dǎo)致機(jī)器人雖然能夠避免與叉車(chē)車(chē)身發(fā)生碰撞，但卻因?yàn)槠矫婕す饫走_(dá)無(wú)法探測(cè)到叉齒而碾壓到它們。

解決這個(gè)問(wèn)題的方法之一是讓機(jī)器人“感知”到在它的路徑上有一輛叉車(chē)，并利用這一識(shí)別功能來(lái)改善導(dǎo)航以避開(kāi)叉齒。

本部分中的演示說(shuō)明了使用IsaacSim Data Replicator來(lái)訓(xùn)練DNN以解決AMR/叉車(chē)問(wèn)題的整個(gè)工作流程。

叉車(chē)演示中的關(guān)鍵步驟：

●在Omniverse的Isaac Sim中建立倉(cāng)庫(kù)場(chǎng)景

●在倉(cāng)庫(kù)中放置一個(gè)AMR并重新創(chuàng)建故障場(chǎng)景

●獲取叉車(chē)模型并使用Isaac Sim 生成合成數(shù)據(jù)

●使用合成數(shù)據(jù)，使用TAO工具套件訓(xùn)練現(xiàn)有的預(yù)訓(xùn)練模型

●使用DNN Inference Isaac ROS GEM部署該模型

●在模擬中測(cè)試Isaac ROS GEM

●最后一步：在NVIDIA Jetson平臺(tái)上的機(jī)器人軟件棧中部署Isaac GEM

圖2.Replicator叉車(chē)演示的全部工作流程
補(bǔ)充說(shuō)明：圖中所示的是軟件模塊圖使用IsaacSim Data Replicator生成數(shù)據(jù)集

用于Isaac Sim的NVIDIA Omniverse Replicator生成數(shù)據(jù)集

在這個(gè)演示中，我們獲得了八個(gè)不同的三維叉車(chē)通用場(chǎng)景描述（USD）模型來(lái)訓(xùn)練DNN，然后使用Isaac Sim Data Replicator來(lái)描述影響物體（叉車(chē)）的眾多參數(shù)，包括燈光、攝像機(jī)和場(chǎng)景本身。應(yīng)特別注意域隨機(jī)化，以便深度學(xué)習(xí)模型能夠泛化其對(duì)叉車(chē)的理解。該模型通過(guò)改變顏色、紋理、照明、叉車(chē)相對(duì)于攝像機(jī)的位置、叉車(chē)的橫擺、俯仰、側(cè)傾以及在場(chǎng)景中添加額外的非叉車(chē)物體學(xué)會(huì)泛化叉車(chē)。

圖3.用于訓(xùn)練的叉車(chē)模型示例
補(bǔ)充說(shuō)明：圖中所示的是兩臺(tái)叉車(chē)

最終，我們?yōu)檫@個(gè)演示生成了超過(guò)90000張圖像。我們使用新的Omniverse Farm(多GPU、多代理、模擬的系統(tǒng)層）來(lái)管理創(chuàng)建數(shù)據(jù)集的GPU計(jì)算資源。

圖4.使用Replicator生成的圖像訓(xùn)練示例
補(bǔ)充說(shuō)明：圖中所示的是不同場(chǎng)景中的叉車(chē)

這些圖像表示實(shí)現(xiàn)強(qiáng)大性能所需的數(shù)據(jù)多樣性類型。

圖5.叉車(chē)圖像與用于深度和語(yǔ)義分割的地面實(shí)況數(shù)據(jù)
補(bǔ)充說(shuō)明：三個(gè)圖像表示不同場(chǎng)景中的叉車(chē)

訓(xùn)練和部署叉車(chē)檢測(cè)器DNN

我們從NVIDIA TAO工具套件中選擇了一個(gè)預(yù)訓(xùn)練模型來(lái)執(zhí)行識(shí)別叉車(chē)所需的分割任務(wù)。該模型經(jīng)過(guò)預(yù)訓(xùn)練，可以對(duì)人、車(chē)和背景類進(jìn)行語(yǔ)義分割。當(dāng)該模型被調(diào)整為使用Isaac Sim Data Replicator中生成的合成數(shù)據(jù)對(duì)叉車(chē)進(jìn)行語(yǔ)義分割時(shí)，我們使用了遷移學(xué)習(xí)。

下一步是將叉車(chē)模型添加到DNN Inference Isaac ROS GEM中。你可以通過(guò)該流程將推理快速添加到基于ROS的機(jī)器人應(yīng)用中，例如本博客中描述的AMR用例。

圖6.Forklift Isaac ROS GEM上的圖像分割
補(bǔ)充說(shuō)明：圖中所示的是倉(cāng)庫(kù)場(chǎng)景中的叉車(chē)

總結(jié)

如要提高具有挑戰(zhàn)性的AI計(jì)算機(jī)視覺(jué)應(yīng)用的性能，就需要使用大型、多樣化的數(shù)據(jù)集來(lái)復(fù)制目標(biāo)域的內(nèi)在分布。全新的用于Isaac Sim的NVIDIA Omniverse Replicator是一個(gè)可以生成生產(chǎn)級(jí)數(shù)據(jù)集的強(qiáng)大應(yīng)用。

我們演示了如何使用合成數(shù)據(jù)來(lái)訓(xùn)練在AMR上運(yùn)行的DNN，以避免發(fā)生常見(jiàn)的叉車(chē)叉齒碾壓事故。

企業(yè)可以在許多其他場(chǎng)景使用這個(gè)流程，通過(guò)合成數(shù)據(jù)來(lái)增進(jìn)機(jī)器人對(duì)其環(huán)境和應(yīng)該如何行動(dòng)的理解，最終減少機(jī)器人事故和人類干預(yù)。

https://drive.google.com/file/d/1KpHTGvrb_quffCzYgZGht6jVSeR3f8-q/view?usp=sharing

視頻1.Data Replicator功能概述
補(bǔ)充說(shuō)明：圖中所示的是各種合成數(shù)據(jù)圖像

即刻啟程

NVIDIA Isaac Sim的新版本將于11月中旬上市，包括新的合成數(shù)據(jù)生成功能以及專為開(kāi)發(fā)者和機(jī)器人專家開(kāi)發(fā)的眾多增強(qiáng)功能。

微星（MSI）魔龍Z GeForce RTX 3060 GAMING Z TRIO 12G 超頻版 旗艦款 電競(jìng)游戲設(shè)計(jì)專業(yè)電腦顯卡

[經(jīng)銷商]京東商城

[產(chǎn)品售價(jià)]4599元

進(jìn)入購(gòu)買(mǎi)