Google Kubernetes機(jī)器學(xué)習(xí)工具包Kubeflow發(fā)布0.1版

摘要：在Kubernetes日漸成為各大基礎(chǔ)架構(gòu)環(huán)境都要支持的公用工具時(shí)，其應(yīng)用也逐漸在各個(gè)領(lǐng)域發(fā)酵，而該工具能調(diào)度龐大規(guī)模容器集群的能力，也相當(dāng)適合與機(jī)器學(xué)習(xí)、大數(shù)據(jù)等應(yīng)用場(chǎng)景結(jié)合。
 

在Kubernetes日漸成為各大基礎(chǔ)架構(gòu)環(huán)境都要支持的公用工具時(shí)，其應(yīng)用也逐漸在各個(gè)領(lǐng)域發(fā)酵，而該工具能調(diào)度龐大規(guī)模容器集群的能力，也相當(dāng)適合與機(jī)器學(xué)習(xí)、大數(shù)據(jù)等應(yīng)用場(chǎng)景結(jié)合。而近日，由Google自家推出的Kubernetes機(jī)器學(xué)習(xí)工具包Kubeflow終于發(fā)布了0.1版。 Google表示，雖然該項(xiàng)目?jī)H成立5個(gè)多月，但是目前在GitHub上，已經(jīng)有超過(guò)3,000名用戶收藏該項(xiàng)目，“而在GitHub平臺(tái)的關(guān)注熱度，Kubeflow目前已經(jīng)到達(dá)前2%了。”

       而Kubeflow項(xiàng)目中，共依賴三個(gè)核心功能，讓用戶更容易在Kubernetes集群上執(zhí)行機(jī)器學(xué)習(xí)應(yīng)用。首先，Kubeflow支持開(kāi)源項(xiàng)目JupyterHub，而JupyterHub項(xiàng)目，讓工程師可以創(chuàng)建用戶共同訪問(wèn)的窗口（Hub）。同時(shí)，還能讓開(kāi)發(fā)者除了可以使用不同程序語(yǔ)言，同步進(jìn)行機(jī)器學(xué)習(xí)應(yīng)用開(kāi)發(fā)，加速項(xiàng)目協(xié)作速度。

       再者，就是TensorFlow訓(xùn)練控件（TensorFlow Training Controller），依據(jù)任務(wù)性質(zhì)，開(kāi)發(fā)者可以同時(shí)針對(duì)分布式、非分布式的TensroFlow應(yīng)用，部署相對(duì)應(yīng)的集群資源。只要完成一次性設(shè)置，用戶可以就指定該應(yīng)用，所需要的CPU、GPU資源。最后是TensorFlow Serving容器，讓企業(yè)可以將訓(xùn)練完畢的TensorFlow模型，搬遷至Kubernetes環(huán)境中執(zhí)行。

       而新發(fā)布的0.1版，除了上述核心功能外，也開(kāi)始擴(kuò)大支持周邊的開(kāi)源機(jī)器學(xué)習(xí)生態(tài)系統(tǒng)工具。像是整合Argo項(xiàng)目，這款主打容器原生的workflow引擎，可以在任何Kubernetes集群上運(yùn)行外，該工具在資源調(diào)度上的自由，也比VM或是其他傳統(tǒng)服務(wù)器環(huán)境更高。同時(shí)，利用容器技術(shù)，Argo將每個(gè)單一workflow，定義成單一容器執(zhí)行，如此一來(lái)，企業(yè)就可以使用Kubernetes執(zhí)行高密度的運(yùn)算工作，像是數(shù)據(jù)處理、機(jī)器學(xué)習(xí)等任務(wù)。

       另外一款工具則是開(kāi)源機(jī)器學(xué)習(xí)部署平臺(tái)Seldon Core，讓機(jī)器學(xué)習(xí)模型可以部署于Kubernetes上運(yùn)行。而Seldon Core的目標(biāo)，要讓數(shù)據(jù)科學(xué)家可以用任何工具包、程序語(yǔ)言創(chuàng)建機(jī)器學(xué)習(xí)模型?，F(xiàn)階段該工具的支持模型，包含以Python為基礎(chǔ)的TensorFlow、Sklearn，還有Spark、H2O、R等知名模型。此外，Seldon Core也讓機(jī)器學(xué)習(xí)模型可支持REST、gRPC，讓用戶可以更簡(jiǎn)單地集成相關(guān)企業(yè)應(yīng)用。

       不僅如此，Kubeflow 0.1版還有許多有意思的新功能、新特色。例如，它也開(kāi)始實(shí)驗(yàn)性地支持深度學(xué)習(xí)框架Caffe2，讓這款框架也能在Kubernetes上執(zhí)行，或是改善TensorFlow的訓(xùn)練性能、利用身份驗(yàn)證功能增進(jìn)安全性，以及加強(qiáng)復(fù)雜數(shù)據(jù)流管理等。而Google也已經(jīng)預(yù)告，Kubeflow 0.2版將在今年夏季時(shí)發(fā)布。除了要簡(jiǎn)化初始設(shè)置工作、加速集成其他應(yīng)用外，還想要支持更多不同的機(jī)器學(xué)習(xí)框架，例如Spark、XGBoost、Sklearn等。