亞馬遜云科技推出六項(xiàng)Amazon SageMaker新功能
掃描二維碼
隨時(shí)隨地手機(jī)看文章
(全球TMT2021年12月9日訊)2021年12月8日,亞馬遜云科技在2021 re:Invent全球大會(huì)上,宣布為行業(yè)領(lǐng)先的機(jī)器學(xué)習(xí)服務(wù)Amazon SageMaker推出六項(xiàng)新功能,讓機(jī)器學(xué)習(xí)更易于上手且更具成本效益。此次發(fā)布的強(qiáng)大新功能包括:無需編碼即可進(jìn)行準(zhǔn)確的機(jī)器學(xué)習(xí)預(yù)測,更精準(zhǔn)的數(shù)據(jù)標(biāo)記服務(wù),可用于跨域協(xié)作的通用?Amazon SageMaker Studio notebook體驗(yàn)、讓代碼更高效的機(jī)器學(xué)習(xí)模型訓(xùn)練編譯器,為機(jī)器學(xué)習(xí)推理自動(dòng)推薦計(jì)算實(shí)例,以及用于機(jī)器學(xué)習(xí)推理的無服務(wù)器計(jì)算。
Amazon SageMaker Canvas?無代碼機(jī)器學(xué)習(xí)預(yù)測:
Amazon SageMaker Canvas 為業(yè)務(wù)分析師(支持財(cái)務(wù)、市場、運(yùn)營和人力資源團(tuán)隊(duì)的業(yè)務(wù)員工)提供可視化界面,他們無需任何機(jī)器學(xué)習(xí)經(jīng)驗(yàn),也不必編寫代碼,即可自行創(chuàng)建更準(zhǔn)確的機(jī)器學(xué)習(xí)模型進(jìn)行預(yù)測。越來越多的公司希望通過機(jī)器學(xué)習(xí)重塑其業(yè)務(wù)和客戶體驗(yàn),這就需要更多來自不同業(yè)務(wù)領(lǐng)域的員工使用先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)。然而,機(jī)器學(xué)習(xí)通常需要專業(yè)技能,獲得這些技能通常需要多年的正規(guī)教育或強(qiáng)化培訓(xùn),同時(shí)對應(yīng)的課程難度大且不斷變化。Amazon SageMaker Canvas解決了這一挑戰(zhàn),它通過提供一個(gè)可視化的、?點(diǎn)擊式的用戶界面,讓業(yè)務(wù)分析師可以輕松地生成預(yù)測。客戶將Amazon SageMaker Canvas連接到他們的數(shù)據(jù)存儲(chǔ)(例如 Amazon Redshift、Amazon S3、Snowflake、本地?cái)?shù)據(jù)存儲(chǔ)、本地文件等),Amazon SageMaker Canvas提供可視化工具,幫助客戶直觀地準(zhǔn)備和分析數(shù)據(jù)。然后,客戶無需任何編碼,Amazon SageMaker Canvas使用自動(dòng)機(jī)器學(xué)習(xí)來構(gòu)建和訓(xùn)練機(jī)器學(xué)習(xí)模型。為確保模型的準(zhǔn)確性和有效性,業(yè)務(wù)分析師還可以在Amazon SageMaker Canvas的控制臺中查看和評估模型。Amazon SageMaker Canvas還支持客戶將模型導(dǎo)出到 Amazon SageMaker Studio,與數(shù)據(jù)科學(xué)家共享,進(jìn)一步驗(yàn)證和完善模型。
Amazon SageMaker Ground Truth Plus?專業(yè)數(shù)據(jù)標(biāo)記:
Amazon SageMaker Ground Truth Plus 是一項(xiàng)完全托管的數(shù)據(jù)標(biāo)記服務(wù),為客戶提供內(nèi)置的工作流程、技能嫻熟的團(tuán)隊(duì),以更低成本快速交付高質(zhì)量的訓(xùn)練數(shù)據(jù)集,用于訓(xùn)練機(jī)器學(xué)習(xí)模型,客戶無需編碼。為了訓(xùn)練更準(zhǔn)確的模型并規(guī)?;瘷C(jī)器學(xué)習(xí)部署,客戶需要被正確標(biāo)記的數(shù)據(jù)集越來越大。但是,要生成大型數(shù)據(jù)集可能需要數(shù)周甚至數(shù)年的時(shí)間,并且通常需要公司雇傭員工并創(chuàng)建工作流來管理標(biāo)記數(shù)據(jù)的過程。 2018 年,亞馬遜云科技推出了 Amazon SageMaker Ground Truth,通過使用來自Amazon Mechanical Turk、第三方供應(yīng)商或自有團(tuán)隊(duì)的人工數(shù)據(jù)標(biāo)注員的方式,幫助客戶更輕松的生成標(biāo)記數(shù)據(jù)。Amazon SageMaker Ground Truth Plus 進(jìn)一步擴(kuò)展了這項(xiàng)功能,通過提供專業(yè)團(tuán)隊(duì)為客戶提供高度準(zhǔn)確的數(shù)據(jù)標(biāo)簽。這些專業(yè)團(tuán)隊(duì)不但擁有特定領(lǐng)域和行業(yè)專業(yè)知識,同時(shí)具有職業(yè)技能可滿足客戶對數(shù)據(jù)安全、隱私與合規(guī)等要求。 Amazon SageMaker Ground Truth Plus具有多步驟標(biāo)記工作流程功能,可縮短標(biāo)記數(shù)據(jù)集所需的時(shí)間并降低采購高質(zhì)量注釋數(shù)據(jù)的成本,該功能包括機(jī)器學(xué)習(xí)模型預(yù)標(biāo)記、檢測人工標(biāo)記錯(cuò)誤和低質(zhì)量標(biāo)簽的機(jī)器驗(yàn)證,以及輔助標(biāo)記功能(例如 3D 長方體捕捉、去除2D中的失真圖像、視頻標(biāo)記中的預(yù)測和自動(dòng)分割工具)??蛻糁恍柘葘?Amazon SageMaker Ground Truth Plus 指向他們在 Amazon Simple Storage Service (Amazon S3)?中的數(shù)據(jù)源,并提供特定的標(biāo)記要求(例如,醫(yī)學(xué)專家應(yīng)如何標(biāo)記肺部放射影像中的異常情況的說明)。 Amazon SageMaker Ground Truth Plus 隨后創(chuàng)建數(shù)據(jù)標(biāo)記工作流程并提供控制面板,客戶可通過控制面板跟蹤數(shù)據(jù)注釋進(jìn)度、檢查已完成標(biāo)簽的樣本質(zhì)量,并提供為生成高質(zhì)量數(shù)據(jù)的反饋;該功能讓客戶可以更快地構(gòu)建、訓(xùn)練和部署高度準(zhǔn)確的機(jī)器學(xué)習(xí)模型。
Amazon SageMaker Studio?通用notebook:
Amazon SageMaker Studio 的通用notebook(業(yè)界首個(gè)完整的機(jī)器學(xué)習(xí)集成開發(fā)環(huán)境)提供了一個(gè)統(tǒng)一的集成環(huán)境來執(zhí)行數(shù)據(jù)工程、數(shù)據(jù)分析和機(jī)器學(xué)習(xí)。如今,來自不同數(shù)據(jù)領(lǐng)域的團(tuán)隊(duì)希望使用一系列涵蓋數(shù)據(jù)工程、數(shù)據(jù)分析和機(jī)器學(xué)習(xí)的工作流開展協(xié)作。這些領(lǐng)域的從業(yè)者通常來自數(shù)據(jù)工程、數(shù)據(jù)分析和數(shù)據(jù)科學(xué)等不同的知識領(lǐng)域,他們希望實(shí)現(xiàn)跨各種工作流工作,并無需切換數(shù)據(jù)相關(guān)工具。而當(dāng)客戶準(zhǔn)備集成數(shù)據(jù)分析和機(jī)器學(xué)習(xí)的數(shù)據(jù)時(shí),通常需要處理多種工具和notebook,這一過程繁瑣、耗時(shí)且容易出錯(cuò)。 Amazon SageMaker Studio 現(xiàn)支持客戶在一個(gè)通用notebook中,為實(shí)現(xiàn)多種目的而進(jìn)行的交互方式訪問、轉(zhuǎn)換和分析各種數(shù)據(jù)。Amazon SageMaker Studio與在 Amazon EMR 集群上運(yùn)行的 Spark、Hive 和?Presto,以及在 Amazon S3 上運(yùn)行的數(shù)據(jù)湖均內(nèi)置集成,客戶無需切換服務(wù)即可使用Amazon SageMaker Studio 訪問和操作通用notebook中的數(shù)據(jù)??蛻舫丝梢允褂孟矚g的框架(例如 TensorFlow、PyTorch 或 MXNet)開發(fā)機(jī)器學(xué)習(xí)模型,并在 Amazon SageMaker Studio 中構(gòu)建、訓(xùn)練和部署機(jī)器學(xué)習(xí)模型外;客戶無需離開通用Amazon SageMaker Studio notebook,可以一站式瀏覽和查詢數(shù)據(jù)源、探索元數(shù)據(jù)和模式,并處理數(shù)據(jù)分析或機(jī)器學(xué)習(xí)工作流相關(guān)的工作負(fù)載。
適用于機(jī)器學(xué)習(xí)模型的?Amazon SageMaker Training Compiler:
Amazon SageMaker Training Compiler 是一種新的機(jī)器學(xué)習(xí)模型編譯器,可自動(dòng)優(yōu)化代碼提高計(jì)算資源的使用效率,并縮短訓(xùn)練模型時(shí)間多達(dá) 50%。先進(jìn)的深度學(xué)習(xí)模型通常是龐大而復(fù)雜的,訓(xùn)練單個(gè)模型可能消耗數(shù)千小時(shí)的GPU計(jì)算時(shí)間,為此它們需要專門的計(jì)算實(shí)例來加速訓(xùn)練。為了進(jìn)一步縮短訓(xùn)練時(shí)間,數(shù)據(jù)科學(xué)家會(huì)嘗試增加訓(xùn)練數(shù)據(jù)或調(diào)整超參數(shù)(控制機(jī)器學(xué)習(xí)訓(xùn)練過程的變量),找到性能最佳且資源消耗最少的模型版本。這項(xiàng)工作的技術(shù)復(fù)雜性致使數(shù)據(jù)科學(xué)家沒有時(shí)間優(yōu)化在 GPU 上運(yùn)行訓(xùn)練模型所需的框架。?Amazon SageMaker Training Compiler與 Amazon SageMaker 中的 TensorFlow 和 PyTorch 版本集成,這些版本經(jīng)過優(yōu)化可在云中更高效地運(yùn)行,因此數(shù)據(jù)科學(xué)家可以使用他們喜歡的框架,更高效得使用GPU訓(xùn)練機(jī)器學(xué)習(xí)模型。只需單擊一下,Amazon SageMaker Training Compiler 就會(huì)自動(dòng)優(yōu)化并編譯訓(xùn)練好的模型,提高訓(xùn)練執(zhí)行速度多達(dá)50%。
Amazon SageMaker Inference Recommender?自動(dòng)實(shí)例選擇:
Amazon SageMaker Inference Recommender 幫助客戶自動(dòng)選擇最佳計(jì)算實(shí)例和配置(例如實(shí)例數(shù)量、容器參數(shù)和模型優(yōu)化),運(yùn)行其特定的機(jī)器學(xué)習(xí)模型推理。大型機(jī)器學(xué)習(xí)模型,通常用于自然語言處理或計(jì)算機(jī)視覺,選擇具有最佳性價(jià)比的計(jì)算實(shí)例是一個(gè)復(fù)雜的迭代過程,可能需要數(shù)周的實(shí)驗(yàn)時(shí)間。?Amazon SageMaker Inference Recommender消除了運(yùn)行一個(gè)模型應(yīng)選擇哪種實(shí)例的不確定性和復(fù)雜性,通過自動(dòng)推薦適合的計(jì)算實(shí)例配置,可將部署時(shí)間從數(shù)周縮短至幾小時(shí)。數(shù)據(jù)科學(xué)家使用 Amazon SageMaker Inference Recommender 可將模型部署到推薦的一個(gè)計(jì)算實(shí)例上,?或者使用該服務(wù)在一系列選定的計(jì)算實(shí)例上運(yùn)行性能基準(zhǔn)測試。客戶可以在 Amazon SageMaker Studio 中查看基準(zhǔn)測試結(jié)果,并評估不同配置在延遲、吞吐量、成本、計(jì)算和內(nèi)存等方面的利弊。
適用于機(jī)器學(xué)習(xí)模型的?Amazon SageMaker Serverless Inference:
使用Amazon SageMaker Serverless Inference,客戶僅需為生產(chǎn)中部署的機(jī)器學(xué)習(xí)模型推理按使用量付費(fèi)??蛻羰褂脵C(jī)器學(xué)習(xí)時(shí),希望能優(yōu)化成本,對于具有間歇性流量模式和長時(shí)間空閑的應(yīng)用程序而言尤為重要。有些應(yīng)用程序,如基于消費(fèi)者購買的個(gè)性化推薦、接聽來電的聊天機(jī)器人以及基于實(shí)時(shí)交易的需求預(yù)測等,可能會(huì)受外部因素如天氣狀況、促銷的產(chǎn)品或節(jié)假日等影響出現(xiàn)波峰波谷。為機(jī)器學(xué)習(xí)推理提供合適的計(jì)算容量是一項(xiàng)艱難的、需要權(quán)衡多方面因素的工作。有時(shí),為滿足峰值需求,客戶會(huì)過度配置容量,雖然實(shí)現(xiàn)了一致的性能,但在沒有流量時(shí)會(huì)浪費(fèi)成本。有時(shí),?客戶為控制成本而部署了不足夠的計(jì)算容量,在條件變化時(shí)卻無法提供足夠的算力來執(zhí)行推理。為了適應(yīng)不斷變化的條件,一些客戶嘗試動(dòng)態(tài)地手動(dòng)調(diào)整計(jì)算資源,這是繁瑣且耗費(fèi)精力的工作。用于機(jī)器學(xué)習(xí)的 Amazon SageMaker Serverless Inference 會(huì)根據(jù)推理請求的數(shù)量自動(dòng)預(yù)置、擴(kuò)展和關(guān)閉計(jì)算容量。當(dāng)客戶將機(jī)器學(xué)習(xí)模型部署到生產(chǎn)中,只需在 Amazon SageMaker 中選擇無服務(wù)器部署選項(xiàng),Amazon SageMaker Serverless Inference 就會(huì)管理計(jì)算資源并提供所需的精確計(jì)算量。通過Amazon SageMaker Serverless Inference,客戶無需管理底層基礎(chǔ)設(shè)施,且只需為每個(gè)請求使用的算力和處理的數(shù)據(jù)量付費(fèi)。