
CUDA培訓(xùn)
CUDA入門
1. CUDA 簡(jiǎn)介
2. CUDA kernel函數(shù),warp,線程組織
3. 系統(tǒng)架構(gòu)
4. 內(nèi)存映射
5. CUDA三步式編程結(jié)構(gòu)
在CUDA-GDB中理解CUDA
1. CUDA-GDB 基本用法
2. 觀察GPU寄存器
3. 觀察錯(cuò)誤信息
4. 從GPU上打印信息
5. 試驗(yàn):編譯和調(diào)試向量乘法程序
使用NSight調(diào)試CUDA程序
1. NSight簡(jiǎn)介,安裝和設(shè)置環(huán)境信息
2. 在CUDA info窗口觀察計(jì)算狀態(tài)
3. 試驗(yàn):編譯和調(diào)試矩陣向量乘法程序
4. 試驗(yàn):使用Nsight調(diào)試CUDA程序
使用CUDA profiler 優(yōu)化CUDA程序
1. 測(cè)量GPU時(shí)間,nvprof,命令行選項(xiàng)
2. 分析熱點(diǎn),采樣視圖
3. 內(nèi)存優(yōu)化,共享內(nèi)存
4. 試驗(yàn):使用nvprof優(yōu)化CUDA程序
GPU深度學(xué)習(xí)的應(yīng)用
深度學(xué)習(xí)GPU解決方案:
基于GPU的交互式深度學(xué)習(xí)訓(xùn)練平臺(tái):DIGITS;
深度學(xué)習(xí)框架的GPU加速:TensorFlow,Caffe等;
NVIDIA深度學(xué)習(xí)SDK:cuDNN,TensorRT,NCCL;
深度學(xué)習(xí)顯卡選擇;
OpenACC并行編程
OpenACC上機(jī)實(shí)戰(zhàn):Helloworld
OpenACC四步開(kāi)發(fā)流程:判斷并行性,并行化表達(dá),顯式數(shù)據(jù)傳遞,優(yōu)化
判斷并行性:Profile工具pgprof
并行化表達(dá):引導(dǎo)關(guān)鍵字Kernerls和Parallel Loop
顯式管理數(shù)據(jù)的拷貝:引導(dǎo)關(guān)鍵字Data
OpenCL并行編程
OpenCL:編程模型,存儲(chǔ)模型
生態(tài)(覆蓋intel,amd,nvidia,移動(dòng)端arm)
CUDA vs OpenCL
OpenCL向哪里走
AMD ROCM HC/HIP編程
AMD并行編程
AMD生態(tài)
hipify轉(zhuǎn)換
HC/HIP編程
HIP vs OpenCL