ICCV 2021 | 半監督二維人體姿態估計中的模型坍塌問題研究（代碼已開源）

二維人體姿態估計在公開數據集上的精度不斷獲得提升，但因為部署場景和訓練數據的差異，絕大多數模型在實際使用時都會面臨泛化性能降低這一挑戰。半監督學習為解決這一問題提供了可能，它利用少量標注數據和大量無標注數據（比如來自實際部署場景）進行共同訓練，期望提升模型在目標場景下的泛化能力。

目前半監督學習的方法中，結果最好的方法大多基于一致性訓練（Consistency-based）[1][2]。也就是要求模型在一張圖像的不同擾動（Perturbation）上產生一致的輸出，從而去探索無標簽圖像中存在的特征。一致性損失如公式所示，  代表模型輸出，  表示擾動參數。但是，目前絕大多數工作都只在分類任務上進行了算法有效性的驗證。

但當我們把這些方法應用到二維人體姿態估計時，我們發現大部分的一致性訓練方法都遇到了模型坍塌的問題（Model Collapsing）—— 模型在有標注的圖像上能夠預測出正確的heatmap，但在無標注的圖像上對每個像素的預測都是0。注意在這種情況下，雖然一致性損失是最小的，但模型在無標簽數據上卻沒有學到任何有意義的信息。

????????????在文章里，我們通過實驗對這個現象進行了深入分析，發現可能是類別不均衡問題導致的。在人體姿態估計任務中，一張圖像中絕大部分像素屬于背景，只有一小部分屬于前景（對應關節點附近的高斯區域）。因此該任務中存在非常嚴重的類別不均衡問題。

當模型針對兩個對應的像素（來自于兩個 Perturbations）產生不一致的預測時，比如一個預測為1（前景），一個預測為0（背景）。經典的一致性訓練方法中，試圖同時更新兩個預測值，從而移動決策邊界，使得兩者位于邊界的同一側。而因為類別不均衡問題的存在，決策邊界傾向于移動到全局來看樣本數目更稀疏的少數類別區域（也就是前景）。因此，隨著訓練的進行，我們發現越來越多的像素被預測成背景。圖示分析可見圖2。