關(guān)閉

  • 什么是圖神經(jīng)網(wǎng)絡(luò)？未來如何發(fā)展？

    圖是一種數(shù)據(jù)結(jié)構(gòu)，它對一組對象(節(jié)點)及其關(guān)系(邊)進行建模。近年來，由于圖結(jié)構(gòu)的強大表現(xiàn)力，用機器學(xué)習(xí)方法分析圖的研究越來越受到重視。圖神經(jīng)網(wǎng)絡(luò)(GNN)是一類基于深度學(xué)習(xí)的處理圖域信息的方法。由于其較好的性能和可解釋性，GNN最近已成為一種廣泛應(yīng)用的圖分析方法。

  • 循環(huán)神經(jīng)網(wǎng)絡(luò) RNN發(fā)展史概述

    循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)是一類以序列(sequence)數(shù)據(jù)為輸入，在序列的演進方向進行遞歸(recursion)且所有節(jié)點(循環(huán)單元)按鏈式連接的遞歸神經(jīng)網(wǎng)絡(luò)(recursive neural network)。對循環(huán)神經(jīng)網(wǎng)絡(luò)的研究始于二十世紀80-90年代，并在二十一世紀初發(fā)展為深度學(xué)習(xí)(deep learning)算法之一，其中雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(Bidirectional RNN, Bi-RNN)和長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory networks，LSTM)是常見的循環(huán)神經(jīng)網(wǎng)絡(luò)。

  • 什么是自編碼器？對機器學(xué)習(xí)有什么影響？

    AutoEncoder的基本思想是利用神經(jīng)網(wǎng)絡(luò)來做無監(jiān)督學(xué)習(xí)，就是把樣本的輸入同時作為神經(jīng)網(wǎng)絡(luò)的輸入和輸出。本質(zhì)上是希望學(xué)習(xí)到輸入樣本的表示(encoding)。早期AutoEncoder的研究主要是數(shù)據(jù)過于稀疏、數(shù)據(jù)高維導(dǎo)致計算復(fù)雜度高。比較早用神經(jīng)網(wǎng)絡(luò)做AutoEncoder的可以追溯到80年代的BPNN和MLP以及當時Hinton推崇的RBM。后來到了2000年以后還堅持在做的只剩下Hinton的RBM了。從2000年以后，隨著神經(jīng)網(wǎng)絡(luò)的快速興起，AutoEncoder也得到快速發(fā)展，基本上有幾條線：稀疏AutoEncoder、噪音容忍AutoEncoder、卷積AutoEncoder、變分AutoEncoder。最新的進展是結(jié)合對抗思想的對抗AutoEncoder。

  • 簡述卷積神經(jīng)網(wǎng)絡(luò)發(fā)展進程

    卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，最早可以追溯到1962年，Hubel和Wiesel對貓大腦中的視覺系統(tǒng)的研究。1980年，一個日本科學(xué)家福島邦彥(Kunihiko Fukushima)提出了一個包含卷積層、池化層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。在這個基礎(chǔ)上，Yann Lecun將BP算法應(yīng)用到這個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練上，就形成了當代卷積神經(jīng)網(wǎng)絡(luò)的雛形。

  • 什么是深度學(xué)習(xí)

    深度學(xué)習(xí)是近10年機器學(xué)習(xí)領(lǐng)域發(fā)展最快的一個分支，由于其重要性，三位教授(Geoffrey Hinton、Yann Lecun、Yoshua Bengio)因此同獲圖靈獎。深度學(xué)習(xí)模型的發(fā)展可以追溯到1958年的感知機(Perceptron)。1943年神經(jīng)網(wǎng)絡(luò)就已經(jīng)出現(xiàn)雛形(源自NeuroScience)，1958年研究認知的心理學(xué)家Frank發(fā)明了感知機，當時掀起一股熱潮。后來Marvin Minsky(人工智能大師)和Seymour Papert發(fā)現(xiàn)感知機的缺陷：不能處理異或回路等非線性問題，以及當時存在計算能力不足以處理大型神經(jīng)網(wǎng)絡(luò)的問題。于是整個神經(jīng)網(wǎng)絡(luò)的研究進入停滯期。

  • 可解釋性的標準是什么？

    有一些特定的標準可用于分類模型解釋方法。Christoph Molnar在2018年“可解釋的機器學(xué)習(xí)，制作黑箱模型可解釋指南”中提到了一個很好的指南。

  • 為什么需要可解釋性機器學(xué)習(xí)？

    在工業(yè)界中，數(shù)據(jù)科學(xué)或機器學(xué)習(xí)的主要焦點是更偏“應(yīng)用”地解決復(fù)雜的現(xiàn)實世界至關(guān)重要的問題，而不是理論上有效地應(yīng)用這些模型于正確的數(shù)據(jù)。機器學(xué)習(xí)模型本身由算法組成，該算法試圖從數(shù)據(jù)中學(xué)習(xí)潛在模式和關(guān)系，而無需硬編碼固定規(guī)則。因此，解釋模型如何對業(yè)務(wù)起作用總是會帶來一系列挑戰(zhàn)。有一些領(lǐng)域的行業(yè)，特別是在保險或銀行等金融領(lǐng)域，數(shù)據(jù)科學(xué)家通常最終不得不使用更傳統(tǒng)的機器學(xué)習(xí)模型(線性或基于樹的)。原因是模型可解釋性對于企業(yè)解釋模型所采取的每個決策非常重要。

  • 什么是可解釋性機器學(xué)習(xí)

    可解釋性是指人類能夠理解決策原因的程度。機器學(xué)習(xí)模型的可解釋性越高，人們就越容易理解為什么做出某些決定或預(yù)測。模型可解釋性指對模型內(nèi)部機制的理解以及對模型結(jié)果的理解。其重要性體現(xiàn)在：建模階段，輔助開發(fā)人員理解模型，進行模型的對比選擇，必要時優(yōu)化調(diào)整模型;在投入運行階段，向業(yè)務(wù)方解釋模型的內(nèi)部機制，對模型結(jié)果進行解釋。比如基金推薦模型，需要解釋：為何為這個用戶推薦某支基金。

  • 自動機器學(xué)習(xí)(AutoML)幾個重要方向匯總

    學(xué)習(xí)器模型中一般有兩類參數(shù)，一類是可以從數(shù)據(jù)中學(xué)習(xí)估計得到，還有一類參數(shù)時無法從數(shù)據(jù)中估計，只能靠人的經(jīng)驗進行設(shè)計指定，后者成為超參數(shù)。比如，支持向量機里面的C,Kernal,game;樸素貝葉斯里面的alpha等。

  • 什么是自動機器學(xué)習(xí)

    自動機器學(xué)習(xí)(AutoML)旨在通過讓一些通用步驟(如數(shù)據(jù)預(yù)處理、模型選擇和調(diào)整超參數(shù))自動化，來簡化機器學(xué)習(xí)中生成模型的過程。AutoML是指盡量不通過人來設(shè)定超參數(shù)，而是使用某種學(xué)習(xí)機制，來調(diào)節(jié)這些超參數(shù)。這些學(xué)習(xí)機制包括傳統(tǒng)的貝葉斯優(yōu)化，進化算法，還有比較新的強化學(xué)習(xí)。當我們提起AutoML時，我們更多地是說自動化數(shù)據(jù)準備(即數(shù)據(jù)的預(yù)處理，數(shù)據(jù)的生成和選擇)和模型訓(xùn)練(模型選擇和超參數(shù)調(diào)優(yōu))。這個過程的每一步都有非常多的選項，根據(jù)我們遇到的問題，需要設(shè)定各種不同的選項。

  • 什么是對抗機器學(xué)習(xí)？為何要對抗機器學(xué)習(xí)？

    對抗機器學(xué)習(xí)是一個機器學(xué)習(xí)與計算機安全的交叉領(lǐng)域。對抗機器學(xué)習(xí)旨在給惡意環(huán)境下的機器學(xué)習(xí)技術(shù)提供安全保障。由于機器學(xué)習(xí)技術(shù)一般研究的是同一個或較為穩(wěn)定的數(shù)據(jù)分布，當部署到現(xiàn)實中的時候，由于惡意用戶的存在，這種假設(shè)并不一定成立。比如研究人員發(fā)現(xiàn)，一些精心設(shè)計的對抗樣本(adversarial example)可以使機器學(xué)習(xí)模型不能成功地輸出正確的結(jié)果。針對模型的攻擊問題，我們主要分為兩大類，就是從訓(xùn)練階段和推理(inference)階段來進行討論。

  • 什么是生成對抗網(wǎng)絡(luò)

    生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)是用于無監(jiān)督學(xué)習(xí)的機器學(xué)習(xí)模型，由Ian Goodfellow等人在2014年提出。由神經(jīng)網(wǎng)絡(luò)構(gòu)成判別器和生成器構(gòu)成，通過一種互相競爭的機制組成的一種學(xué)習(xí)框架，GAN在深度學(xué)習(xí)領(lǐng)域掀起了一場革命，這場革命產(chǎn)生了一些重大的技術(shù)突破，學(xué)術(shù)界和工業(yè)界都開始接受并歡迎GAN的到來。GAN最厲害的地方是它的學(xué)習(xí)性質(zhì)是無監(jiān)督的，GAN也不需要標記數(shù)據(jù)，這使得GAN功能強大，因為數(shù)據(jù)標記的工作非?？菰?。

  • 機器學(xué)習(xí)的經(jīng)典代表算法總結(jié)（二）

    從1990到2012年，機器學(xué)習(xí)逐漸走向成熟和應(yīng)用，在這20多年里機器學(xué)習(xí)的理論和方法得到了完善和充實，可謂是百花齊放的年代。代表性的重要成果有：支持向量機(SVM，1995)、AdaBoost算法(1997)、循環(huán)神經(jīng)網(wǎng)絡(luò)和LSTM(1997)、流形學(xué)習(xí)(2000)、隨機森林(2001)。

  • 機器學(xué)習(xí)的經(jīng)典代表算法總結(jié)（一）

    1980年機器學(xué)習(xí)作為一支獨立的力量登上了歷史舞臺。在這之后的10年里出現(xiàn)了一些重要的方法和理論，典型的代表是：分類與回歸樹(CART，1984)、反向傳播算法(1986)、卷積神經(jīng)網(wǎng)絡(luò)(1989)。

  • 機器學(xué)習(xí)算法分類有哪些

    機器學(xué)習(xí)算法可以按照不同的標準來進行分類。按照訓(xùn)練樣本提供的信息以及反饋方式的不同，將機器學(xué)習(xí)算法分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)。