谷歌推出人工智能產(chǎn)生的音頻和視頻質(zhì)量新指標(biāo)

（文章來(lái)源：教育新聞網(wǎng)）

Google AI研究人員發(fā)布了兩項(xiàng)用于衡量深度學(xué)習(xí)網(wǎng)絡(luò)生成的音頻和視頻質(zhì)量的新指標(biāo)，即Fréchet音頻距離(FAD)和Fréchet視頻距離(FVD)。度量已顯示與質(zhì)量人工評(píng)估高度相關(guān)。

在最近的博客文章中，軟件工程師Kevin Kilgour和Thomas Unterthiner描述了他們的團(tuán)隊(duì)所做的工作，這些工作是建立在先前對(duì)測(cè)量神經(jīng)網(wǎng)絡(luò)生成的圖像質(zhì)量的研究的基礎(chǔ)上的。這些團(tuán)隊(duì)展示了他們的新指標(biāo)如何分別檢測(cè)添加到聲音或視頻中的噪聲，以及如何通過(guò)人工評(píng)估聲音或視頻質(zhì)量來(lái)跟蹤指標(biāo)。

FAD是通過(guò)對(duì)失真音頻樣本對(duì)的系列進(jìn)行排序來(lái)評(píng)估的，其選擇與人類(lèi)判斷的相關(guān)性為0.39。通過(guò)對(duì)由深度學(xué)習(xí)模型生成的視頻對(duì)進(jìn)行排名，對(duì)FVD進(jìn)行了類(lèi)似的評(píng)估。根據(jù)所使用的生成標(biāo)準(zhǔn)，它與人類(lèi)排名之間在60%到80%之間達(dá)成一致。

深度學(xué)習(xí)模型的成功在一定程度上受到諸如ImageNet之類(lèi)的大型高質(zhì)量數(shù)據(jù)集的可用性的驅(qū)動(dòng)。這些數(shù)據(jù)集還提供了可以評(píng)估模型的“基本事實(shí)”。深度學(xué)習(xí)在生成新圖像方面的最新流行應(yīng)用提出了一個(gè)新問(wèn)題：如何衡量輸出的質(zhì)量?由于沒(méi)有針對(duì)這些網(wǎng)絡(luò)生成的圖像或其他數(shù)據(jù)的“真實(shí)”答案，因此無(wú)法應(yīng)用諸如信噪比或均方誤差之類(lèi)的通用指標(biāo)。

由于目標(biāo)是創(chuàng)建看起來(lái)或聽(tīng)起來(lái)對(duì)人類(lèi)真實(shí)的輸出，因此可以由人類(lèi)裁判對(duì)數(shù)據(jù)進(jìn)行評(píng)分，但是這既不是可伸縮的，也不是客觀的。GAN的發(fā)明人提出的初始指標(biāo)是初始得分(IS)。通過(guò)將預(yù)訓(xùn)練的Inception圖像分類(lèi)器應(yīng)用于圖像并計(jì)算結(jié)果統(tǒng)計(jì)信息來(lái)計(jì)算此指標(biāo)。該度量標(biāo)準(zhǔn)“與用于訓(xùn)練生成模型的目標(biāo)密切相關(guān)”，并且已證明與人類(lèi)對(duì)質(zhì)量的判斷高度相關(guān)。

但是，初始得分指標(biāo)確實(shí)存在一些缺點(diǎn);特別是，它對(duì)所使用的基礎(chǔ)IncepTIon模型的更改很敏感。Unterthiner和其他人在奧地利約翰內(nèi)斯·開(kāi)普勒大學(xué)的LIT AI實(shí)驗(yàn)室開(kāi)發(fā)了Fréchet起始距離(FID)。FID使用IncepTIon模型的隱藏層來(lái)計(jì)算輸入圖像的嵌入，而不是使用IncepTIon模型的分類(lèi)輸出。為一組生成的圖像和一組真實(shí)世界(或基線)圖像計(jì)算嵌入。將所得數(shù)據(jù)集視為由多元高斯分布生成的數(shù)據(jù)，并使用弗雷謝特距離比較這兩個(gè)分布。與IS相比，F(xiàn)ID相對(duì)于IS的一個(gè)優(yōu)勢(shì)是，隨著將噪聲添加到圖像上，F(xiàn)ID會(huì)增加，而IS可能保持平坦甚至降低。

Google的新指標(biāo)擴(kuò)展了這種思想，即為生成的數(shù)據(jù)計(jì)算嵌入并將統(tǒng)計(jì)數(shù)據(jù)與基準(zhǔn)數(shù)據(jù)進(jìn)行比較。對(duì)于FAD，團(tuán)隊(duì)使用VGGish來(lái)計(jì)算嵌入，而對(duì)于FVD，則使用Inflated 3D Convnet。為了驗(yàn)證度量標(biāo)準(zhǔn)的有效性，研究人員計(jì)算了通過(guò)向基線添加噪聲而創(chuàng)建的數(shù)據(jù)集的度量標(biāo)準(zhǔn)值。期望隨著噪聲的增加，分?jǐn)?shù)會(huì)增加，這的確確實(shí)發(fā)生了。該團(tuán)隊(duì)還將他們的度量結(jié)果與人工評(píng)估進(jìn)行了比較，發(fā)現(xiàn)了度量與人類(lèi)判斷之間的相關(guān)性，并且他們的新度量與人類(lèi)法官的共識(shí)比其他常用度量更為一致。
? ? ?