谷歌開放AI怪獸制造機,快來打造你的數碼寶貝世界吧!

2020年11月19日 10:39 來源:AI科技評論 作者:青暮

作者 | 青暮

藝術創作通常不僅對藝術創造力要求極高,也需要高超的技巧,要磨練出這樣的技巧需要花費大量的時間和精力。

我們對具備高超技巧的藝術作品自然充滿敬意,欣賞這類作品也能帶來極大滿足感。

但藝術作品的靈魂還是在于創造力,有時候表現手法比繪畫技巧更加重要。讓作品優秀到忽略畫風,也是一種偉大的能力。

然而,如果工具能夠更加智能一些,不僅僅是充當工具,更像是扮演著助手的角色,是不是更能讓藝術家釋放自己的創造天分呢?今天,谷歌就給我們帶來了這樣的驚喜。他們開放了一個機器學習模型的Demo,其功能簡單來說就是“你畫輪廓,我補細節”。        

正如上圖所示,只需要根據部位選擇畫筆顏色,比如淡紫色代表翅膀、紅色代表頭部,勾勒出輪廓后,點擊一下“轉換”,就創造出真實的怪獸了。        

看,這只AI生成的怪獸光影細節逼真、立體感滿滿,只是,看起來不夠可怕?        

沒關系,我們再給它添加點棱角,也就是幾筆幾畫的事情。        

 這樣是不是威猛多了?這款怪獸生成器名為Chimera Painter,Chimera即奇美拉,是希臘神話中獅首、羊身、蛇尾的神獸,也就是具有不同物種特征的拼接生物。拼接是很古老的藝術創作手法,比如先秦奇書《山海經》中的奇珍異獸基本都是各種真實生物的拼接產物。

山海經版人魚谷歌取這名字的暗示是,你可以按照自己的想法自由拼接不同的生物體,打造自己的怪獸。但問題在于,手殘黨可能連基本特征都畫不出來...且慢,作者還是很貼心的,他們為用戶提供了四種不同的原型。即使不能大刀闊斧地從頭創造怪獸,也能精雕細琢去“美化”原型。

Chimera Painter用戶界面(地址:https://storage.googleapis.com/chimera-painter/index.html)用戶可以選擇一個參考生物,然后調整生物部分的形狀、類型或位置,從而可以快速探索并創建大量圖像。此外,這個Demo還允許上傳本地圖像。Chimera Painter背后的模型架構即我們熟悉的生成對抗網絡(GAN),并且是條件GAN,用顏色塊代表生物體部件的語義。從模型效果角度,可以看成是語義分割網絡的逆變體,但訓練方法不同。實際上,英偉達也曾經開發出類似的模型GauGAN(CVPR 2019 oral),它可以將分割圖轉換為風景圖,Chimera Painter可以看成是GauGAN的怪獸版本。

為了訓練GAN,谷歌創建了全彩色圖像的數據集,其中包含了由3D生物模型轉換的單一物種生物輪廓。生物輪廓線描繪了生物的形狀和大小,并提供了個體身體部位的分割圖信息。模型經過訓練后,接下來的任務是根據藝術家提供的輪廓生成多物種的嵌合體。最后,將性能最好的模型合并到Chimera Painter中。下圖展示了使用模型生成的一些示例,包括單物種生物(下排,海馬、螃蟹、豪豬)以及更復雜的多物種嵌合體(下排,螞蟻+豪豬、鈍口螈+鯨魚、飛蛾+螃蟹)。

游戲卡牌界面的設計充滿著童年回憶的氣息,但菜鳥小編只能小打小鬧一番,有基礎的玩家可能已經開始構建自己的數碼寶貝世界了。

通過結構學習創造生物

人類對生物身體解剖結構比如眼睛、手指、耳朵等的感知是很敏感的,但GAN通常很難對生成內容的結構有很好的語義理解。在GAN的隨機采樣圖像中,我們經常能看到如下圖中所示的混合體,其結構并不鮮明,這樣的案例一般認為是失敗的。        

由于嵌合體生物的幻想特性,為了美學需要,生成這些生物需要一類全新的數據集,它必須是非攝影的、幻想的風格,還具有其它獨特的特征,例如戲劇性的視角、構圖和照明。于是,谷歌請了藝術家來構建數據集。比如對于下圖中的鬣狗,藝術家會先使用虛幻引擎構建3D模型,然后分別用彩色紋理(左)和語義分割圖(右)疊加到3D模型上,然后,使用虛幻引擎將3D生物模型放置在簡單的3D場景中,這樣一個數據對就完成了。

接下來,谷歌使用自動化腳本改變3D生物模型的姿態、視角、縮放尺寸,從而對數據集進行增強。使用這種方法,谷歌為每個3D生物模型生成了10000+張圖像對,與手動創建(每張圖像大約20分鐘)相比,節省了數百萬小時的時間。由于自動生成的圖像存在一定程度的失真,谷歌還結合了藝術家的反饋對生成效果進行了改進。此外,感知損失也是一個重要因素,下圖是使用不同的感知損失權重的GAN生成的示例。        

上圖中的某些變化是由于數據集中每種生物包含多種紋理(例如,紅色或灰色的蝙蝠)而造成的。然而,除顏色以外,還有許多特征的差異與感知損失的變化直接相關。尤其是,谷歌發現某些值可以帶來更鮮明的表面紋理特征,使生成的生物看起來更真實。

怎么樣,心動了嗎?祝看官玩的開心~

參考資料:https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html

 

轉載自公眾號:AI科技評論 作者:青暮 本文經授權發布,不代表51LA立場,如若轉載請聯系原作者。

更多互聯網行業動態>>請關注微信公眾號“我要啦統計”(微信ID:Analysis_51la)