計(jì)算機(jī)視覺(jué)的深度學(xué)習(xí)實(shí)踐

【課程時(shí)長(zhǎng)】

3天（6小時(shí)/天）

【課程簡(jiǎn)介】

在所有人工智能的應(yīng)用方向上，計(jì)算機(jī)視覺(jué)/機(jī)器視覺(jué)圖像處理的落地應(yīng)用最為成熟，近兩年的技術(shù)發(fā)展是最為迅猛。

以互聯(lián)網(wǎng)巨頭為代表的企業(yè)正在開(kāi)展如：基于識(shí)別的智能機(jī)器人，無(wú)人駕駛，人臉識(shí)別、圖像搜索，圖像處理，游戲界面等；專(zhuān)門(mén)從事視覺(jué)、圖像處理的新興公司正在發(fā)力于人臉識(shí)別，檢測(cè)，跟蹤，安防等領(lǐng)域。只有對(duì)計(jì)算機(jī)視覺(jué)這個(gè)領(lǐng)域有了一個(gè)初步的全面了解才能在這些領(lǐng)域進(jìn)行研究，一步步深入下去。

【課程目標(biāo)】

l 計(jì)算機(jī)視覺(jué)領(lǐng)域的重點(diǎn)研究問(wèn)題。由淺入深得 講解數(shù)字圖像的存儲(chǔ)、預(yù)處理、特征提取，以及在深度學(xué)習(xí)興起之前計(jì)算機(jī)視覺(jué)領(lǐng)域所取得的成就。

l 專(zhuān)門(mén)介紹深度學(xué)習(xí)的基礎(chǔ)理論知識(shí)，包括神經(jīng) 網(wǎng)絡(luò)的基本原理，以及深度學(xué)習(xí)對(duì)于傳統(tǒng)神經(jīng) 網(wǎng)絡(luò)的關(guān)鍵改進(jìn)。

l 重點(diǎn)介紹深度學(xué)習(xí)模型在計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用。具體涉及在計(jì)算機(jī)視覺(jué)領(lǐng)域如何應(yīng)用卷積 神經(jīng)網(wǎng)絡(luò)（CNN)、區(qū)域卷積網(wǎng)絡(luò)（R-CNN) 全卷積網(wǎng)絡(luò)（FCN)、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN)、 長(zhǎng)短時(shí)記憶單元（LSTM)、生成對(duì)抗網(wǎng)絡(luò) (GAN)等解決圖像應(yīng)用的難點(diǎn) 課程將使用Python語(yǔ)言及Tensorflow、Keras 深度學(xué)習(xí)框架等進(jìn)行案例實(shí)踐教學(xué)。

【講師介紹】

葉梓，博士、高級(jí)工程師。2005年上海交通大學(xué)計(jì)算機(jī)專(zhuān)業(yè)博士畢業(yè)，主研方向?yàn)閿?shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能等。現(xiàn)為某大型上市軟件企業(yè)的人工智能團(tuán)隊(duì)技術(shù)負(fù)責(zé)人。曾主持多項(xiàng)國(guó)家戰(zhàn)略級(jí)人工智能項(xiàng)目，主持設(shè)計(jì)并搭建多個(gè)市級(jí)大數(shù)據(jù)平臺(tái)，在大數(shù)據(jù)、人工智能應(yīng)用等方面有著豐富的工程實(shí)踐經(jīng)驗(yàn)。先后在SCI或EI期刊上發(fā)表論文4篇，在中文核心期刊上發(fā)表論文近20篇，并被百度學(xué)術(shù)收錄。2011年獲中國(guó)行業(yè)協(xié)會(huì)科技創(chuàng)新一等獎(jiǎng)。

第一講 課程概述

1、計(jì)算機(jī)視覺(jué)的研究意義

2、計(jì)算機(jī)視覺(jué)的難點(diǎn)

3、當(dāng)前研究的主要熱點(diǎn)問(wèn)題（分類(lèi)、目標(biāo)檢測(cè)、實(shí)例分割、圖說(shuō)等）

4、本課程的主要內(nèi)容介紹

5、相關(guān)開(kāi)源庫(kù)介紹（OpenCV、Tensorflow、Keras、pyTorch等）

6、應(yīng)用案例：搭建tensorflow+opencv的環(huán)境

第二講 圖像預(yù)處理

1、圖像平滑與去噪（高斯濾波、中值濾波等）

2、基于直方圖的對(duì)比度增強(qiáng):CLAHE

3、邊緣檢測(cè)算子（Sobel、拉普拉斯等）

4、形態(tài)學(xué)處理（腐蝕、膨脹、開(kāi)閉運(yùn)算等）

5、高斯金字塔與拉普拉斯金字塔

6、頻域分析及變換（卷積計(jì)算、傅里葉變換、小波變換）

7、應(yīng)用案例：平滑、邊緣檢測(cè)、CLAHE、FFT等

第三講 圖像特征提取

1、顏色特征（量化直方圖、聚類(lèi)直方圖）

2、幾何特征（Edge、Corner、Blob等）

3、Harris角點(diǎn)與FAST角點(diǎn)

4、基于關(guān)鍵點(diǎn)的特征描述子（SIFT、SURF、ORB）

5、其他特征提取（LBP、Gabor）

6、應(yīng)用案例：SIFT、圖像拼接等

第四講 未有深度學(xué)習(xí)之前

1、基于灰度的圖像分割（閾值分割、區(qū)域生長(zhǎng)、分水嶺等）

2、基于圖論：graph-cut與grab-cut

3、用于人臉檢測(cè)的Haar-like特征與級(jí)聯(lián)分類(lèi)器

4、用于行人檢測(cè)的HOG+SVM

5、用于行人檢測(cè)的多尺度形變部件模型（DPM）

6、應(yīng)用案例：人臉識(shí)別、行人識(shí)別

第五講 神經(jīng)網(wǎng)絡(luò)與誤差反向傳播算法

1、人工神經(jīng)元及感知機(jī)模型

2、目標(biāo)函數(shù)（MSE）

3、激勵(lì)函數(shù)（sigmoid、tanh）

4、誤差反向傳播算法的推導(dǎo)

5、應(yīng)用案例：可以手算的BP神經(jīng)網(wǎng)絡(luò)

6、深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的區(qū)別與聯(lián)系

第六講 深度學(xué)習(xí)基礎(chǔ)

1、深度學(xué)習(xí)中的目標(biāo)函數(shù)與激勵(lì)函數(shù)

2、深度學(xué)習(xí)中的求解方法（Adagrad、RMSprop、Adam等）

3、深度學(xué)習(xí)中的技巧（dropout、BN、weights decay等）

4、應(yīng)用案例：利用tensorflow實(shí)現(xiàn)的手寫(xiě)數(shù)字識(shí)別

5、卷積神經(jīng)網(wǎng)絡(luò)介紹

6、卷積層的誤差反向傳播

7、池化層的誤差反向傳播

第七講 圖像分類(lèi)

1、競(jìng)賽中的分類(lèi)問(wèn)題

2、CNN的發(fā)展概述

3、開(kāi)山之作：AlexNet

4、5層變?yōu)?組：VGG

5、組合所有可能的模型：GoogLeNet

6、殘差網(wǎng)絡(luò)：ResNet

7、深與寬之外的改進(jìn)方向：ResNext

6、應(yīng)用案例：VGG、ResNet

第八講 圖像檢索

1、檢索特征（基于顏色，紋理，形狀，局部特征）

2、特征相似度度量（EMD）

3、建立基于深度學(xué)習(xí)的檢索索引

4、知識(shí)點(diǎn)：遷移學(xué)習(xí)的一種實(shí)現(xiàn)（fine-tune）

5、索引加速：KD-tree

6、大數(shù)據(jù)條件下的索引加速：Locality Sensitive Hash

7、應(yīng)用案例：CBIR的應(yīng)用

第九講 目標(biāo)檢測(cè)（上）

1、目標(biāo)檢測(cè)任務(wù)概述

2、區(qū)域卷積神經(jīng)網(wǎng)絡(luò)：R-CNN

3、共享卷積層與多尺度：SPP-Net

4、多任務(wù)的目標(biāo)函數(shù)：Fast R-CNN

5、SS改成RPN：Faster R-CNN

6、其他數(shù)據(jù)集介紹：行人檢測(cè)、人臉檢測(cè)

7、應(yīng)用案例：Faster R-CNN

第十講 目標(biāo)檢測(cè)（下）

1、之前方法的總結(jié)

2、ROI-wise子網(wǎng)繼續(xù)共享：R-FCN

3、回歸解決一切：YOLO v1

4、八大改進(jìn)：YOLO v2

5、構(gòu)建語(yǔ)義樹(shù)：YOLO 9000

6、多尺度預(yù)測(cè)：YOLO v3

7、應(yīng)用案例：Darknet實(shí)現(xiàn)的YOLO

第十一講 通用場(chǎng)景下的圖像分割

1、語(yǔ)義分割

2、全卷積網(wǎng)絡(luò)語(yǔ)義分割：FCN

3、知識(shí)點(diǎn)：反卷積、轉(zhuǎn)置卷積與空洞（膨脹）卷積

4、DeepLab v1（含CRF）

5、DeepLab v2（多尺度）

6、DeepLab v3與v3+(多尺度級(jí)聯(lián))

7、PASCAL VOC、MS COCO、Cityscapes等數(shù)據(jù)集介紹

8、應(yīng)用案例：DeepLab、denseCRF

第十二講 醫(yī)療影像分割

1、醫(yī)學(xué)影像分析任務(wù)概述與數(shù)據(jù)集

2、U-Net

3、3D U-NET與V-Net

4、FC-DenseNet

5、病理切片分析任務(wù)概述與數(shù)據(jù)集6、病理切片分析的實(shí)現(xiàn)

7、應(yīng)用案例：利用U-Net實(shí)現(xiàn)的器官分割

第十三講 圖像描述（圖說(shuō)）

1、深度學(xué)習(xí)的語(yǔ)言模型（RNN）

2、知識(shí)點(diǎn)介紹；LSTM與GRU

3、圖說(shuō)模型原理與結(jié)構(gòu)

4、模型增強(qiáng)：注意力機(jī)制

5、圖說(shuō)效果的評(píng)判標(biāo)準(zhǔn)

6、數(shù)據(jù)集介紹（MS COCO， Flickr等）

7、應(yīng)用案例：RNN簡(jiǎn)單示例，圖像描述：show and Tell

第十四講 圖像生成

1、變分自編碼器（VAE）

2、生成對(duì)抗網(wǎng)絡(luò)（GAN）

3、知識(shí)點(diǎn)：KL散度與JS散度

4、改進(jìn)的GAN：DCGAN

5、從根本上解決訓(xùn)練的困難：Wasserstein GAN

6、超分辨率問(wèn)題：SRGAN

7、應(yīng)用案例：GAN與DCGAN等