1
作者 | 楊國興
編輯 | 陳大鑫
或者對于鏟屎官們來說，把老虎貓變成?，把狗變成狼?，還可以把老虎變成貓：
論文介紹
臉部屬性編輯任務(wù)的目標(biāo)是操縱真實臉部圖片的語義屬性，其在現(xiàn)實中有著廣泛的應(yīng)用，例如娛樂、輔助心理治療以及數(shù)據(jù)增強等等。隨著深度生成模型的發(fā)展，最近的工作大多以GAN（Generative Adversarial Network）為基礎(chǔ)。現(xiàn)有的臉部屬性編輯模型面臨的一個主要挑戰(zhàn)是要同時滿足兩個要求：
（1）正確地修改想要的屬性；（2）保留其它無關(guān)的信息。但是因為不同屬性之間存在著各種關(guān)系，且屬性與身份信息之間也存在著關(guān)系，所以在修改一個屬性時很可能不經(jīng)意地導(dǎo)致其他特征的改變，這導(dǎo)致了同時滿足這兩個屬性是很困難的。
為了滿足這兩個條件，一些最新的辦法采用了空間注意力的方法。這類方法假設(shè)每個屬性有著一個對應(yīng)的局部區(qū)域，圖片的屬性操作可以被限制在這一區(qū)域中。它們通過網(wǎng)絡(luò)中的注意力模塊去學(xué)習(xí)建模這一區(qū)域，一但這一區(qū)域被確定，它們便可以使用掩碼和殘差和的方法實現(xiàn)僅在部分區(qū)域內(nèi)進(jìn)行編輯。
但是這一假設(shè)并非對所有的屬性都滿足，比如說性別、笑容等屬性，這些屬性對應(yīng)的區(qū)域基本覆蓋了整個臉部且與其他屬性區(qū)域重疊。因此這類模型在操縱這些屬性時效果并不好。另一部分方法則把注意力放在對GAN學(xué)到的隱空間中進(jìn)行隱變量的分解，從而通過分解得到屬性相關(guān)的向量。給定一個預(yù)訓(xùn)練好的GAN模型，它們通過學(xué)習(xí)子映射的方式將原向量映射到表達(dá)對應(yīng)屬性的向量。
但是這類方法仍然存在兩個問題：
（1）它們依賴于預(yù)訓(xùn)練好的GAN模型提供的隱空間，并不對模型重新訓(xùn)練。這種沒有重新進(jìn)行端到端訓(xùn)練的模型的隱空間可能是一個次優(yōu)化的隱空間。
（2）這類方法往往只在數(shù)據(jù)集提供的幾個標(biāo)簽之間進(jìn)行解耦，但是還有許多并沒有被包含在這些預(yù)定義的標(biāo)簽中的信息需要被解耦，例如光照信息和身份信息等。
為了克服這些限制，本文提出了一個新的隱空間分解模型L2M-GAN。
該模型進(jìn)行端到端的訓(xùn)練，并學(xué)習(xí)將隱向量明確地分解為屬性相關(guān)向量和屬性無關(guān)向量，以實現(xiàn)相關(guān)屬性信息和其他信息的解耦。與之前的這類方法類似，我們也根據(jù)屬性標(biāo)簽對隱空間中的變量進(jìn)行解耦，但是不同的是，我們明確地將其分解為屬性相關(guān)的向量和屬性無關(guān)的向量，而非僅僅對兩個預(yù)定義的屬性進(jìn)行解耦。
方法
在介紹我們的方法之前，我們先定義“域”這一概念。“域”指的是某些屬性的值構(gòu)成的組合。比如想要編輯屬性<性別，年齡>時，一共存在4個“域”，<男性，年老>，<女性，年老>，<男性，年輕>，<女性，年輕>。給定一張輸入圖片和它所對應(yīng)的域，以及目標(biāo)域，我們的目的是合成一張屬于目標(biāo)域的圖片，同時保留輸入圖片的與域無關(guān)的信息。
如下圖所示，我們提出的模型由三個部分組成：風(fēng)格編碼器、風(fēng)格轉(zhuǎn)換器和生成器。
在多任務(wù)學(xué)習(xí)的設(shè)置下，我們的風(fēng)格編碼器由多個域的輸出分支組成。為了解釋方便，上圖中僅表示了一個域的輸出。
風(fēng)格編碼器是L2M-GAN的關(guān)鍵組成部分，它由分解器和域轉(zhuǎn)換器兩個組件構(gòu)成。其中，分解器從原始的隱向量中分解出與域無關(guān)的（屬性無關(guān)的）向量
，再通過相減能得到域相關(guān)的（屬性相關(guān)的）向量。因為我們的目標(biāo)是修改目標(biāo)屬性到目標(biāo)域中，而其他無關(guān)的信息不會被修改。這種情況會出現(xiàn)，當(dāng)且僅當(dāng)和是相互垂直的，且修改后的向量也與是相互垂直的。
為此，我們引入了垂直損失來對這兩個向量進(jìn)行限制。值得注意的是，之前的方法使用垂直損失來對兩個屬性進(jìn)行解耦，而L2M-GAN則用該損失來把屬性相關(guān)的信息和其他所有無關(guān)的信息分離開。這對屬性編輯中保留其他信息這一要求是至關(guān)重要的，因為其他的屬性標(biāo)簽并不能涵蓋所有的無關(guān)信息。在得到域相關(guān)向量以后，L2M-GAN通過域轉(zhuǎn)換器把它轉(zhuǎn)換到目標(biāo)域中，得到表示目標(biāo)域信息的域相關(guān)向量。其與域無關(guān)向量
相加后便可得到編輯過后的隱向量。
生成器以一張輸入圖片和一個編輯后的隱編碼作為輸入，生成一張目標(biāo)域的圖片，其包含目標(biāo)域信息和輸入圖片的與域無關(guān)的其他信息。與StarGAN V2類似，我們的生成器也采用 Adaptive Instance Normalization（AdaIN）結(jié)構(gòu)來將隱編碼中包含的風(fēng)格信息融合到輸入圖片中。
實驗
我們在廣泛使用的CelebA-HQ數(shù)據(jù)集上進(jìn)行實驗。我們根據(jù)CelebA的劃分以及CelebA和CelebA-HQ圖片間的對應(yīng)關(guān)系，把CelebA-HQ劃分為27176張訓(xùn)練圖片和2824張測試圖片。
我們將我們的方法與其他幾種最新的方法進(jìn)行了對比。正文中的實驗幾種在“笑容”這一特定屬性上，其他更多屬性的結(jié)果我們放在了附件中。值得注意的是，“笑容”這一屬性是數(shù)據(jù)集所給的40個標(biāo)簽中最具挑戰(zhàn)性的一個屬性，因為其同時涉及臉部中的多個部分，添加和消除笑容都需要模型對輸入圖片有高級的語義理解，這樣才能同時修改多個臉部圖片的組成部分而不改變其他信息。
從可視化結(jié)果中可以看到，StarGAN和CycleGAN傾向于在嘴周圍生成模糊和失真的結(jié)果，因此在大多數(shù)生成圖片中，它們沒法很好地正確編輯對應(yīng)屬性。ELEGANT 則總是把參考圖片中與屬性無關(guān)的信息也遷移到生成圖片中，這是因為它進(jìn)行屬性交換的隱空間并沒有很好地解耦。
PA-GAN是基于空間注意力的方法，因此它較好地保留了一些無關(guān)的信息，例如背景等，但是可以看到，面對難以定義確定修改區(qū)域的“笑容”屬性，其通常會出現(xiàn)修改不充分的情況，因而無法正確地編輯屬性。InterfaceGAN*能夠生成高質(zhì)量的圖片，但是在一些細(xì)節(jié)上仍然做的不夠好，比如眼睛和嘴的生成。同時其有時會修改輸入圖片的身份信息，這是因為其僅僅考慮了屬性間的解耦，而沒有考慮身份等其他信息。
在量化結(jié)果上，我們主要采用了FID和屬性操作準(zhǔn)確率來分別評價合成圖片的質(zhì)量以及屬性編輯的結(jié)果正確率。可以看到除了在消除笑容這一結(jié)果上的FID比PA-GAN低，其他的結(jié)果都是超過了所有最新的結(jié)果的，而PA-GAN是以修改不充分為代價來達(dá)到較高的圖片質(zhì)量的。
除了上述結(jié)果，我們的模型還展現(xiàn)出了其他的能力，包括：控制編輯屬性的強度、同時修改多個屬性以及對未見過的圖片的遷移等。
因為經(jīng)過訓(xùn)練之后的隱空間是一個學(xué)習(xí)到了語義信息的連續(xù)空間，當(dāng)我們線性地把變換到時，合成的圖片所表示的關(guān)于目標(biāo)域的語義信息也會逐漸增加，關(guān)于原域的語義信息會逐漸減少，同時因為我們對、與
的垂直限制，這個過程不會改變其他無關(guān)的信息。這一過程可以表達(dá)為：
我們可以通過控制超參數(shù)來控制合成圖片的相關(guān)屬性的強度。
此外，我們的L2M-GAN模型以StarGAN V2作為骨架網(wǎng)絡(luò)，所以可以很自然地進(jìn)行多屬性編輯的任務(wù)。
本文還使用了數(shù)據(jù)集外的圖片測試了我們模型的泛化能力。可以看到，我們的模型在CelebA-HQ這一真實人臉數(shù)據(jù)集上訓(xùn)練過后，直接在分布差異比較大的動漫數(shù)據(jù)集上測試也可以很好地實現(xiàn)屬性編輯的功能且合成質(zhì)量很高的圖片。
同時，為了進(jìn)一步驗證我們模型結(jié)構(gòu)的有效性，我們還在非人臉的動物數(shù)據(jù)集AFHQ上進(jìn)行訓(xùn)練。從可視化結(jié)果中可以看到，我們的模型在非人臉數(shù)據(jù)集上也能達(dá)到很好的屬性編輯效果以及生成圖片質(zhì)量。這進(jìn)一步驗證了我們的方法的有效性及泛化性。
總結(jié)
我們提出了一種新的基于隱空間分解的臉部屬性編輯模型。
我們提出的模型L2M-GAN是首個基于隱空間分解的端到端臉部屬性編輯模型，其可以有效地編輯局部和全局屬性。這得益于提出的新的風(fēng)格轉(zhuǎn)換器將隱向量分解為屬性相關(guān)的部分和屬性無關(guān)的部分，并對轉(zhuǎn)換前后的向量施加了垂直約束。大量的實驗證明了我們提出的L2M-GAN比其他現(xiàn)有的方法有明顯的改進(jìn)。
另外本論文已經(jīng)開源，歡迎大家多多試用、來個star~
開源鏈接：https://github.com/rucmlcv/L2M-GAN
論文地址：
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
