原標(biāo)題：TI - 嵌入式邊緣AI應(yīng)用開發(fā)簡化指南

《TI-嵌入式邊緣AI應(yīng)用開發(fā)簡化指南》主要介紹了在沒有嵌入式處理器供應(yīng)商提供的合適工具和軟件的支持下，如何設(shè)計(jì)高能效的邊緣人工智能（AI）系統(tǒng)，并加快產(chǎn)品上市時(shí)間。以下是對(duì)該指南的詳細(xì)解讀：

一、面臨的挑戰(zhàn)

在嵌入式邊緣AI應(yīng)用開發(fā)中，主要面臨以下挑戰(zhàn)：

1. 選擇恰當(dāng)?shù)纳疃葘W(xué)習(xí)模型。

2. 針對(duì)性能和精度目標(biāo)對(duì)模型進(jìn)行訓(xùn)練和優(yōu)化。

3. 學(xué)習(xí)使用在嵌入式邊緣處理器上部署模型的專用工具。

二、TI提供的解決方案

為了簡化嵌入式邊緣AI應(yīng)用的開發(fā)流程，TI提供了以下工具、軟件和服務(wù)：

1. Model Zoo：

• Model Zoo是TensorFlow、PyTorch和MXNet框架中常用的開源深度學(xué)習(xí)模型的大型集合。

• 這些模型在公共數(shù)據(jù)集上經(jīng)過預(yù)訓(xùn)練和優(yōu)化，可以在TI適用于邊緣AI的處理器上高效運(yùn)行。

• TI會(huì)定期使用開源社區(qū)中的新模型以及TI設(shè)計(jì)的模型對(duì)Model Zoo進(jìn)行更新，提供性能和精度經(jīng)過優(yōu)化的廣泛模型選擇。

• Model Zoo囊括數(shù)百個(gè)模型，TI模型選擇工具可以幫助開發(fā)者在不編寫任何代碼的情況下，通過查看和比較性能統(tǒng)計(jì)數(shù)據(jù)（如推理吞吐量、延遲、精度和雙倍數(shù)據(jù)速率帶寬），快速比較和找到適合AI任務(wù)的模型。

2. 訓(xùn)練與優(yōu)化：

• 憑借TI的軟件架構(gòu)和開發(fā)環(huán)境，開發(fā)者可以隨時(shí)隨地訓(xùn)練模型。

• 從TI Model Zoo中選擇模型時(shí)，借助訓(xùn)練腳本可以讓開發(fā)者在自定義數(shù)據(jù)集上為特定任務(wù)快速傳輸和訓(xùn)練模型，而無需花費(fèi)較長時(shí)間從頭開始訓(xùn)練或使用手動(dòng)工具。

• 訓(xùn)練腳本、框架擴(kuò)展和量化感知培訓(xùn)工具可以幫助開發(fā)者優(yōu)化自己的DNN模型。

3. 模型評(píng)估與部署：

• 在開發(fā)邊緣AI應(yīng)用之前，需要在實(shí)際硬件上評(píng)估模型性能。

• TI提供靈活的軟件架構(gòu)和開發(fā)環(huán)境，開發(fā)者可以在TensorFlow Lite、ONNX RunTime或TVM以及支持Neo AI DLR的SageMaker Neo運(yùn)行環(huán)境引擎中選擇習(xí)慣的業(yè)界標(biāo)準(zhǔn)Python或C++應(yīng)用編程接口（API），只需編寫幾行代碼，即可隨時(shí)隨地訓(xùn)練自己的模型，并將模型編譯和部署到TI硬件上。

• 在這些業(yè)界通用運(yùn)行環(huán)境引擎的后端，TI深度學(xué)習(xí)（TIDL）模型編譯和運(yùn)行環(huán)境工具可以讓開發(fā)者針對(duì)TI的硬件編譯模型，將編譯后的圖或子圖部署到深度學(xué)習(xí)硬件加速器上，并在無需任何手動(dòng)工具的情況下實(shí)現(xiàn)卓越的處理器推理性能。

• 在編譯步驟中，訓(xùn)練后量化工具可以自動(dòng)將浮點(diǎn)模型轉(zhuǎn)換為定點(diǎn)模型。該工具可通過配置文件實(shí)現(xiàn)層級(jí)混合精度量化（8位和16位），從而能夠足夠靈活地調(diào)整模型編譯，以獲得出色的性能和精度。

1. 基準(zhǔn)測(cè)試與性能評(píng)估：

• 同樣位于GitHub上的TI邊緣AI基準(zhǔn)工具可以幫助開發(fā)者為TI Model Zoo中的模型無縫匹配DNN模型功能，并作為自定義模型的參考。

• 評(píng)估TI處理器模型性能的方式有兩種：TDA4VM入門套件評(píng)估模塊（EVM）或TI Edge AI Cloud。后者是一項(xiàng)免費(fèi)在線服務(wù)，可支持遠(yuǎn)程訪問TDA4VM EVM，以評(píng)估深度學(xué)習(xí)推理性能。

• 借助針對(duì)不同任務(wù)和運(yùn)行時(shí)引擎組合的數(shù)個(gè)示例腳本，五分鐘之內(nèi)便可在TI硬件上編程、部署和運(yùn)行加速推理，同時(shí)收集基準(zhǔn)測(cè)試數(shù)據(jù)。

2. GStreamer框架：

• 為了協(xié)助快速構(gòu)建高效率的邊緣AI應(yīng)用，TI采用了GStreamer框架。

• 借助在主機(jī)Arm內(nèi)核上運(yùn)行的GStreamer插件，開發(fā)者可以自動(dòng)將計(jì)算密集型任務(wù)的端到端信號(hào)鏈加速部署到硬件加速器和數(shù)字信號(hào)處理內(nèi)核上。

三、學(xué)習(xí)資源與支持

1. TI Edge AI Academy：

• 即使不是AI專家，亦可開發(fā)和部署AI模型或構(gòu)建AI應(yīng)用。

• TI Edge AI Academy有助于開發(fā)者在自學(xué)、課堂環(huán)境中通過測(cè)驗(yàn)學(xué)習(xí)AI基礎(chǔ)知識(shí)，并深入了解AI系統(tǒng)和軟件編程。

• 實(shí)驗(yàn)室提供了構(gòu)建“Hello World”AI應(yīng)用的分步代碼，而帶有攝像頭捕獲和顯示功能的端到端高級(jí)應(yīng)用使開發(fā)者能夠按照自己的節(jié)奏順利開發(fā)AI應(yīng)用。

2. 開源項(xiàng)目與工具：

• EdgeAI TIDL Tools：該工具集由德州儀器（TI）開發(fā)，旨在加速深度神經(jīng)網(wǎng)絡(luò)（DNN）在TI嵌入式設(shè)備上的執(zhí)行。它支持跨Cortex-A系列MPU、TI最新一代C7x DSP以及TI的DNN加速器（MMA）的異構(gòu)執(zhí)行。作為TI軟件開發(fā)套件（SDK）的一部分，TIDL還提供額外的計(jì)算機(jī)視覺功能及優(yōu)化庫，包括OpenCV。適用于多種TI嵌入式設(shè)備，是TI邊緣AI解決方案的核心部分，旨在簡化DNN開發(fā)與部署的整個(gè)生命周期。

綜上所述，《TI-嵌入式邊緣AI應(yīng)用開發(fā)簡化指南》為開發(fā)者提供了從模型選擇、訓(xùn)練優(yōu)化到部署評(píng)估的全方位解決方案和支持。通過遵循該指南并利用TI提供的工具和資源，開發(fā)者可以更加高效地開發(fā)嵌入式邊緣AI應(yīng)用并應(yīng)對(duì)未來的挑戰(zhàn)。