1、ReID技術(shù)概述

1.1 基本原理

ReID，全稱Re-identification，目的是利用各種智能算法在圖像數(shù)據(jù)庫中找到與要搜索的目標(biāo)相似的對象。ReID是圖像檢索的一個子任務(wù)，本質(zhì)上是圖像檢索而不是圖像分類。給定一個監(jiān)控行人圖像，檢索跨設(shè)備下的該行人圖像。
行人重識別（Person re-identification）主要目的是針對出現(xiàn)在監(jiān)控攝像頭內(nèi)的某個目標(biāo)行人，準(zhǔn)確快速地從監(jiān)控網(wǎng)絡(luò)其他攝像頭內(nèi)的大量行人中將這個目標(biāo)行人標(biāo)識出來。如圖所示一個區(qū)域有多個攝像頭拍攝視頻序列，ReID的要求對一個攝像頭下感興趣的行人，檢索到該行人在其他攝像頭下出現(xiàn)的所有圖片。

人臉識別目前相對來說準(zhǔn)確率是非常高的，但在這些場景中人臉識別可能會失效，不再適用，尤其是遠距離監(jiān)控，就算是拍到人臉，可能也是一張模糊的人臉，ReID看的是一個人的整體特征，包括衣著、配飾、體態(tài)等等一些特征，就好像是用我們自己的眼睛看一樣。
行人重識別技術(shù)可以彌補目前固定攝像頭的視覺局限，并可與行人檢測、行人跟蹤技術(shù)相結(jié)合。工程上，最簡單的行人重識別的技術(shù)流程如下所示。

上面這張圖展示了ReID的一個任務(wù)過程，首先要做的是Detection，也就是檢測出行人。剩下的部分，就是要去訓(xùn)練一個特征提取網(wǎng)絡(luò)，根據(jù)特征所計算的度量距離得到損失值，選用一個優(yōu)化器去迭代找到loss最小值，并不斷更新網(wǎng)絡(luò)的參數(shù)達到學(xué)習(xí)的效果。在測試的時候，用將要檢索的圖片（稱為query或者probe），在底庫gallery中，根據(jù)計算出的特征距離進行排序，選出最TOP的幾張圖片，來達到目標(biāo)檢索的目的。下面兩張圖分別是訓(xùn)練階段和測試階段的示意圖：

1.2 實現(xiàn)流程

1.行人檢測：通過目標(biāo)檢測模型提取當(dāng)前幀的行人圖像。
2.特征提取：基于特征提取模型，項目中現(xiàn)使用預(yù)訓(xùn)練的特征提取模型提取行人區(qū)域圖片的特征向量。
3.單鏡頭行人跟蹤：結(jié)合行人區(qū)域特征，通過deepsort等算法進行行人跟蹤。
4.跨鏡頭行人跟蹤：基于深度學(xué)習(xí)的全局特征和數(shù)據(jù)關(guān)聯(lián)實現(xiàn)跨鏡頭行人目標(biāo)跟蹤。
5.向量存儲與檢索：對于給定的行人查詢向量，與行人特征庫中所有的待查詢向量進行向量檢索，即計算特征向量間的相似度（計算余弦距離等方法）。

在以上步驟中，特征提取是最關(guān)鍵的一環(huán)，它的作用是將輸入的行人圖片轉(zhuǎn)化為固定維度的特征向量，以用于后續(xù)的目標(biāo)跟蹤和向量檢索。好的特征需要具備良好的相似度保持性，即在特征空間中，相似度高的圖片之間的向量距離比較近，而相似度低的圖片對的向量距離比較遠。通常用于訓(xùn)練這種模型的方式叫做度量學(xué)習(xí)。
注解：

• 全局特征：每一張圖片的全局信息進行一個特征抽取，全局特征沒有任何的空間信息。
• 局部特征：對圖像的某一個區(qū)域進行特征提取，最后將多個局部特征融合起來作為最終特征。
• 度量學(xué)習(xí)：將學(xué)習(xí)到的特征映射到新的空間，表現(xiàn)為同一行人的不同圖片間的相似度大于不同行人的不同圖片（即相同的人更近，不同的人更遠）。
• 圖像檢索：根據(jù)圖片特征之間的距離進行排序，返回檢索結(jié)果。

1.3 重識別存在的技術(shù)挑戰(zhàn)

ReID 在實際應(yīng)用場景下的數(shù)據(jù)非常復(fù)雜，由于不同攝像設(shè)備之間的差異，同時行人兼具剛性和柔性的特性 ，外觀易受穿著、尺度、遮擋、姿態(tài)和視角等影響，所以，對跨鏡追蹤(ReID)算法的要求也更高。
實際應(yīng)用中常常出現(xiàn):

1. 無正面照；
2. 服裝更換；
3. 遮擋；
4. 圖像分辨率低；
5. 光線差異；
6. 室內(nèi)室外場景變化
   

2、訓(xùn)練數(shù)據(jù)格式介紹

• 通過人工標(biāo)注或者檢測算法得到的行人圖片
• 數(shù)據(jù)集分為訓(xùn)練集，驗證集，query以及gallery
• 在訓(xùn)練集上進行模型的訓(xùn)練，得到模型后對query與gallery中的圖片特征提取特征計算相似度，對于每個query在gallery中找出前N個與其相似的圖片
• 訓(xùn)練，測試中人物身份不重復(fù)

常用的幾種數(shù)據(jù)集：
1)Market-1501：Person Re-Identification Meets Image Search
鏈接：https://pan.baidu.com/s/1ntIi2Op

2015年，論文 Person Re-Identification Meets Image Search 提出了 Market 1501 數(shù)據(jù)集，現(xiàn)在 Market 1501 數(shù)據(jù)集已經(jīng)成為行人重識別領(lǐng)域最常用的數(shù)據(jù)集之一。 Market 1501 的行人圖片采集自清華大學(xué)校園的 6 個攝像頭，一共標(biāo)注了 1501 個行人。其中，751 個行人標(biāo)注用于訓(xùn)練集，750個行人標(biāo)注用于測試集，訓(xùn)練集和測試集中沒有重復(fù)的行人 ID，也就是說出現(xiàn)在訓(xùn)練集中的 751 個行人均未出現(xiàn)在測試集中。

訓(xùn)練集：751 個行人，12936 張圖片
測試集：750 個行人，19732 張圖片
query 集：750 個行人，3368 張圖片

query 集的行人圖片都是手動標(biāo)注的圖片，從 6 個攝像頭中為測試集中的每個行人選取一張圖片，構(gòu)成 query 集。
測試集中的每個行人至多有 6 張圖片，query 集共有 3368 張圖片。
網(wǎng)絡(luò)模型訓(xùn)練時，會用到訓(xùn)練集；測試模型好壞時，會用到測試集和 query 集。此時測試集也被稱作 gallery集。因此實際用到的子集為，訓(xùn)練集、gallery 集 和 query 集。

2)MARS: A Video Benchmark for Large-Scale Person Re-identification（基于視頻）
鏈接：https://pan.baidu.com/s/1XKBdY8437O79FnjWvkjusw 提取碼: ymc5

考慮了視頻中的人員再識別(reid)問題，本文介紹了一個新的視頻reid數(shù)據(jù)集，名為運動分析和重新識別集(MARS)，是Market-1501的datase數(shù)據(jù)集的視頻擴展。
MARS是迄今為止最大的視頻reid數(shù)據(jù)集，它包含1,261個id和大約20,000個tracklet，與基于圖像的數(shù)據(jù)集相比，它提供了豐富的視覺信息。

3)DukeMTMC-reID：Unlabeled Samples Generated by GAN Improve the Person Re-identification Baseline in vitro
鏈接：https://drive.google.com/open?id=1jjE85dRCMOgRtvJ5RQV9-Afs-2_5dY3O

它的行人數(shù)據(jù)來源于論文 Performance Measures and a Data Set for Multi-Target,
Multi-Camera Tracking 提出的行人追蹤 DukeMTMC 數(shù)據(jù)集，DukeMTMC-reID 是 DukeMTMC數(shù)據(jù)集的一個子集。需要注意的是，該數(shù)據(jù)集存在隱私泄露問題，作者已在官方渠道下架數(shù)據(jù)集。目前部分頂會文章仍在使用。

DukeMTMC 數(shù)據(jù)集采集自 Duke 大學(xué)的 8 個攝像頭，數(shù)據(jù)集以視頻形式存儲，具有手動標(biāo)注的行人邊界框。DukeMTMC-reID數(shù)據(jù)集從 DukeMTMC 數(shù)據(jù)集的視頻中，每 120 幀采集一張圖像構(gòu)成 DukeMTMC-reID數(shù)據(jù)集。原始數(shù)據(jù)集包含了85分鐘的高分辨率視頻，采集自8個不同的攝像頭。并且提供了人工標(biāo)注的bounding box。從視頻中每120幀采樣一張圖像，得到了 36411張圖像。一共有1404個人出現(xiàn)在大于兩個攝像頭下，有408個人只出現(xiàn)在一個攝像頭下。所以作者隨機采樣了 702個人作為訓(xùn)練集，702個人作為測試集。在測試集中，采樣了每個ID的每個攝像頭下的一張照片作為 查詢圖像（query）。剩下的圖像加入測試的搜索庫（gallery），并且將之前的 408人作為干擾項，也加到 gallery中。最終，DukeMTMC-reID 包含了16522張訓(xùn)練圖片（來自702個人）， 2228個查詢圖像（來自另外的702個人），以及 17661張圖像的搜索庫（gallery）。并提供切割后的圖像供下載。