來源:公司資(zī)訊 | 2021.12.17
好久沒出趣味 AI 的教程了,今天安排一(yī)期。
隻需要一(yī)張圖片或者視頻(pín),就可以生(shēng)成相應的二次元“老婆”。
感受一(yī)下(xià):
放(fàng)個視頻(pín),感受更強烈:
GANsNRoses展示
二次元“老婆”,是跟随視頻(pín)的動作,而改變的。
之前我(wǒ)寫過一(yī)階運動模型的算法教程:
讓圖片動起來,特朗普和蒙娜麗莎深情合唱(chàng)
功能看起來類似,但是算法實現是不同的。
真人驅動動漫圖片的算法,這種效果比較好:
二次元的正确打開(kāi)方式
這個動畫臉控制變換算法,采用的是 GAN,隻需要一(yī)個輸入即可,生(shēng)成+控制,用這一(yī)個算法即可。
GANsNRoses
這個算法的名字叫 GANsNRoses,一(yī)種風格遷移算法。
簡單來講,就是一(yī)種以人臉圖像的内容代碼爲輸入并輸出具有多種随機選擇風格代碼的動漫形象。
算法實現也并不複雜(zá):
生(shēng)成器負責生(shēng)成動畫臉,辨别器負責辨别是否爲動畫臉。
生(shēng)成器分(fēn)爲内容編碼器c和樣式編碼器s。
樣式編碼器s,負責整體(tǐ)的風格,比如頭發樣式,臉的位置,發色等。
内容編碼器c,負責細節的把控,比如頭部傾斜角度等。
想了解更詳細,可以直接看論文:
static/file/2106.06561v1.pdf
測試
目前有三種方式:
網頁 Demo
Colab
本地搭建
網頁 Demo
網頁 Demo,用起來最簡單,上傳圖片就行。
https://gradio.app/g/AK391/GANsNRoses
不過貌似隻支持圖片的制作。
測試了龍母的效果,她看了估計會哭暈在廁所。
Colab
Colab 運行也很簡單,有個梯子就行。
https://colab.research.google.com/github/mchong6/GANsNRoses/blob/main/inference_colab.ipynb
省去(qù)了部署環境的煩惱,傻瓜式運行即可,圖片和視頻(pín),都可以測試。
本地搭建
主要是搭建環境,這個直接用 Conda 創建虛拟環境,然後安裝各種第三方庫即可:
conda install --yes -c pytorch pytorch=1.7.1 torchvision cudatoolkit=<CUDA_VERSION>
pip install tqdm gdown kornia scipy opencv-python dlib moviepy lpips aubio ninja
Conda 使用可以參考這一(yī)篇:
别再折騰開(kāi)發環境了,一(yī)勞永逸的搭建方法
然後下(xià)載模型權重文件,就可以,模型權重文件還是蠻大(dà)的,1.6G,從 Google Drive 下(xià)載比較慢(màn),建議直接用 Colab 測試。
總結
這種算法,其實蠻多的,單從效果來講,還有很大(dà)提升空間的。
最後,我(wǒ)看B站有個up主,籽岷自己做了鬼畜,新寶島版:
GANsNRoses展示2
目前,這類算法,做個鬼畜其實還行。
最後再送大(dà)家一(yī)本,幫助我(wǒ)拿到 BAT 等一(yī)線大(dà)廠 offer 的數據結構刷題筆記,是一(yī)位 Google 大(dà)神寫的,對于算法薄弱或者需要提高的同學都十分(fēn)受用:
谷歌和阿裏大(dà)佬的Leetcode刷題筆記
以及我(wǒ)整理的 BAT 算法工(gōng)程師學習路線,書(shū)籍+視頻(pín),完整的學習路線和說明,對于想成爲算法工(gōng)程師的,絕對能有所幫助:
我(wǒ)是如何成爲算法工(gōng)程師的,超詳細的學習路。