教學優勢
曙海教育的課程培養了大批受企業歡迎的工程師。大批企業和曙海
建立了良好的合作關系。曙海集團的課程在業內有著廣泛的美譽度和響亮的知名度。
秉承二十幾年積累的教學品質，本課程以真實項目實戰為導向,授課工程師將會與您分享設計的全流程及工具的綜合使用技巧、經驗。
課程簡介：
課程目標：
課程大綱：
Xilinx-FPGA人工智能設計與實現技術培訓
1.?演示FPGA?AI項目視頻文件，讓學員對FPGA AI項目的應用范圍和實現方法有一個直觀的認識。
2.?FPGA AI環境搭建。介紹虛擬機VMware、Ubuntu、Vitis、docker、Vitis AI、CMake、Opencv、XRT和Model Zoo的安裝和環境變量設置。
3.?FPGA?AI開發原理和流程。介紹深度學習處理單元DPU、AI優化器、AI量化器、AI編譯器、運行時XRT、DPU指令集等Vitis AI主要概念、開發流程、專有命令和API接口。
4.?FPGA AI開發板介紹和使用。Alveo系列、Versal系列、ZynqMP系列，重點介紹本課程所用開發板Kria KV260、Ultra96、ZCU104，內容包括開發板硬件接口和連接、鏡像燒錄、網絡配置、通訊軟件和例程演示。
5.?Kria KV260 AI開發板加速原理和自帶例程詳解。介紹開發板自帶的兩種加速核Smartcam、Aibox-reid實現原理、C++、Python和GStreamer VVAS三種語言例程演示和程序解析，其中包含VART調用DPU流程和命令，比特流和kernel載入、輸入預處理、模型運行和輸出參數后處理全過程。
1.?KV260 Smartcam硬件平臺制作。全制作過程采用非項目開發形式Vitis、Vivado設計與編譯，介紹makefile、Vitis、Vivado、Tcl批處理文件，其中對于涉及到Vitis開發軟件亦做了簡單介紹,也可以用Vitis或Vivado Gui界面打開分析編譯。
2.?口罩識別yolov3和yolov3-tiny模型訓練、PC驗證和移植KV260全流程。這是一個包括模型修改、數據集訓練、模型轉化與固化、量化與編譯、鏡像生成，其訓練模型首先在PC機上使用Keras框架上進行驗證，再將鏡像放到KV260上進行實操驗證。并對其中用到的命令、PC機程序和FPGA上程序進行講解。
3.?KV260 Vitis AI 1.4 yolov4-tiny模型編譯生成xmodel，開發板后處理程序解讀，開發板實操x11和hdmi顯示和影響時延因素分析，本節生成的模型也在下面的Gstreamer編程中使用。
4.?Ultra96 yolov2-tiny Vitis AI 1.3模型轉換與固化、量化與編譯、開發板圖像預處理程序、DPU AI調用命令集和DPU輸出后處理程序（包括目標閾值篩選、非最大值抑制 NMS和目標框繪制）和目標跟蹤算法程序，掌握yolo模型目標識別后處理程序和用戶算法程序的編寫。
1.?介紹多媒體GStreamer框架和插件，包括Element、Queue、Tee、Pad、Bin等基本元素，filesrc、v4l2src、kmssink、h264parse、x264enc等主要模塊，和qp、leaky、control-rate、target-bitrate、periodicity-idr、gop-length等主要參數，并在PC虛擬機上進行pipeline編程練習。
2.?介紹Xilinx基于Gstreamer框架的視頻開發套件Vitis Video Analytics SDK?(VVAS)，包括硬件與軟件對應的層次結構，主要組件omxh264enc、omxh264dec、ivas_xfilter、ivas_xmetaaffixer等的作用與命令格式，并以框圖上逐次增加功能模塊的方式講解VVAS pipeline語言如何編寫，掌握用這種高度集成和方便的工具實現FPGA?AI視覺應用編程。
3.?利用在前面的課程中編譯得到的yolov2-tiny xmodel模型，使用VVAS編程語言講解編寫目標識別pipeline, 實現在KV260上的視頻文件讀取、圖像預處理、DPU運行、后處理、視頻輸出和存盤的所有功能。
4.?基于KV260的自帶人臉識別模型和人物跟蹤模型，分別講解編寫VVAS pipeline人臉識別和人物跟蹤,輸出顯示在HDMI上，同時改變Gstreamer VVAS參數直觀感受不同的參數對視頻帶來的影響，講解如何正確設置Gstreamer VVAS參數。
練習
答疑
