(文章來源:教育新聞網(wǎng))
是什么使圖像令人難忘?詢問計算機。從“蒙娜麗莎(Mona Lisa)”到“戴珍珠耳環(huán)的女孩”,有些圖像在其他圖像消失后很長一段時間就在腦海中徘徊。問一個藝術(shù)家為什么,您可能會聽到一些普遍認可的制作難忘藝術(shù)的原則?,F(xiàn)在,有一種更簡單的學(xué)習(xí)方法:要求人工智能模型畫一個例子。
一項新的研究使用機器學(xué)習(xí)來生成圖像,范圍從令人難忘的芝士漢堡到令人難忘的咖啡,詳細顯示了使肖像或場景脫穎而出的原因。研究中的人類對象最能記住的圖像具有鮮艷的色彩,簡單的背景以及在畫面中居中突出的對象。結(jié)果在本周的國際計算機視覺會議上發(fā)表。
該研究的共同作者菲利普·伊索拉(Phillip Isola),邦妮和馬蒂(1964)滕內(nèi)鮑姆CD麻省理工學(xué)院電氣工程與計算機科學(xué)助理教授說:“一張圖片價值一千個單詞。”?!薄瓣P(guān)于記憶力的文章很多,但是這種方法使我們可以直觀地看到記憶力的樣子。它為我們提供了很難用文字表達的視覺定義?!?/p>
這項工作建立在早期模型MemNet的基礎(chǔ)上,該模型對圖像的可記憶性進行評分,并突出顯示影響其決策的圖片特征。MemNet的預(yù)測基于在線研究的結(jié)果,其中向人類對象顯示了60,000張圖像,并根據(jù)它們被記住的難易程度進行排名。
當(dāng)前研究中的模型GANalyze使用一種稱為生成對抗網(wǎng)絡(luò)或GAN的機器學(xué)習(xí)技術(shù)來可視化單個圖像,因為它的圖像從“機甲”到令人難忘的距離都很大。GANalyze可使觀看者直觀地看到丟失在竹子中的模糊熊貓變成了以骨架為主的熊貓,黑眼睛,耳朵和爪子與白色杯子形成鮮明對比。圖像分段GAN具有三個模塊?;贛emNet的評估者可以旋轉(zhuǎn)目標(biāo)圖像上的記憶性旋鈕,并計算出如何達到所需的效果。轉(zhuǎn)換器執(zhí)行其指令,而生成器輸出最終圖像。
漸變具有延時圖像的戲劇性感覺。轉(zhuǎn)移到記憶力等級末端的芝士漢堡看起來比以前的版本更胖,更亮,并且正如作者所指出的那樣“美味”。一只瓢蟲看起來更閃亮,更有目的。出乎意料的是,藤蔓上的胡椒從綠色變成了紅色的變色龍。
研究人員還研究了哪些特征對記憶力的影響最大。在在線實驗中,向人類受試者顯示了具有不同記憶力的圖像,并要求標(biāo)記任何重復(fù)。事實證明,最粘的復(fù)制品使主體更靠近,使框架中的動物或物體顯得更大。接下來最重要的因素是亮度,使被攝物體位于畫面中央,并呈正方形或圓形。
研究合著者,比利時魯汶大學(xué)(Kateholieke Universiteit Leuven)的客座研究生Lore Goetschalckx說:“人類的大腦進化成最專注于這些功能,這就是GAN所追求的?!?/p>
研究人員還重新配置了GANanalyze,以生成具有不同美學(xué)和情感吸引力的圖像。他們發(fā)現(xiàn),從美學(xué)和情感角度考慮,評分較高的圖像更明亮,更彩色,并且景深較淺,模糊了背景,就像最令人難忘的圖片一樣。但是,最美的圖像并不總是令人難忘。研究人員說,GANalyze具有許多潛在的應(yīng)用。通過增強現(xiàn)實系統(tǒng)中的對象增強,它可以用于檢測甚至處理內(nèi)存丟失。
“代替使用藥物來增強記憶力,您可以通過增強現(xiàn)實設(shè)備來改善世界,使諸如鍵盤之類的容易放錯地方的東西脫穎而出,”研究共同資深作者Aude Oliva說,他是麻省理工學(xué)院計算機科學(xué)系的首席研究科學(xué)家,人工智能實驗室(CSAIL)和MIT Quest for Intelligence的執(zhí)行總監(jiān)。
GANalyze還可以用于創(chuàng)建難忘的圖形,以幫助讀者保留信息?!斑@可以徹底改變教育,”奧利瓦(Oliva)說。最終,GAN已開始用于生成合成的,逼真的世界圖像,以幫助訓(xùn)練自動化系統(tǒng)來識別在現(xiàn)實生活中不太可能遇到的位置和物體。