Meta Llama 3.1模型現(xiàn)已在亞馬遜云科技正式可用

為生成式AI應(yīng)用構(gòu)建提供更多選擇

北京2024年7月24日 /美通社/ -- 亞馬遜云科技宣布，Meta剛剛發(fā)布的新一代Llama模型現(xiàn)已在Amazon Bedrock和Amazon SageMaker中提供?？蛻粢部梢栽诨贏mazon Trainium和Amazon Inferentia自研芯片的Amazon Elastic Cloud Compute（Amazon EC2）實(shí)例中部署這些模型。Llama 3.1模型是一系列預(yù)訓(xùn)練和指令微調(diào)的大語言模型（LLMs），支持8B、70B和405B三種尺寸，適用于廣泛的使用場(chǎng)景。開發(fā)人員、研究人員和企業(yè)可以用此模型進(jìn)行文本摘要和分類、情感分析、語言翻譯和代碼生成。

Meta表示，Llama 3.1 405B是目前最優(yōu)秀和最大的開源基礎(chǔ)模型（foundation models, FMs）之一，為生成式AI能力設(shè)立了新標(biāo)準(zhǔn)。它特別適用于合成數(shù)據(jù)生成和模型蒸餾，這能在后續(xù)訓(xùn)練中提升較小尺寸Llama模型的性能。Llama 3.1 405B還在通用知識(shí)、數(shù)學(xué)、工具使用和多語言翻譯方面有出色的表現(xiàn)。

得益于大幅增加的訓(xùn)練數(shù)據(jù)和規(guī)模，所有新的Llama 3.1模型相比之前的版本都有明顯改進(jìn)。這些模型支持128K的上下文長度，相較于Llama 3增加了12萬個(gè)標(biāo)記（Token），模型容量是上一版本的16倍，并提升了在以下八種語言對(duì)話場(chǎng)景中的推理能力，即英語、德語、法語、意大利語、葡萄牙語、印地語、西班牙語和泰語。

Llama 3.1模型還增強(qiáng)對(duì)語言細(xì)微差別的理解能力，即能更好地理解上下文，并能更有效地處理復(fù)雜問題。該模型還可以從長篇文本中獲取更多信息，以做出更明智的決策，并利用更豐富的上下文數(shù)據(jù)生成更加細(xì)致和凝練的回應(yīng)。

亞馬遜云科技首席執(zhí)行官Matt Garman表示："我們與Meta保持著長期合作關(guān)系，今天很高興能將他們最先進(jìn)的模型提供給我們的客戶?？蛻羝毡橄Ｍ鶕?jù)他們的具體用例自定義和優(yōu)化Llama模型，通過在亞馬遜云科技上訪問Llama 3.1，客戶可以利用最新的領(lǐng)先模型來負(fù)責(zé)任地構(gòu)建AI應(yīng)用。"

過去十年間，Meta一直致力于為開發(fā)人員提供工具，并促進(jìn)開發(fā)人員、研究人員和企業(yè)之間的合作共贏。Llama模型提供各種參數(shù)尺寸，允許開發(fā)人員選擇最適合其需求和推理預(yù)算的模型。亞馬遜云科技上的Llama模型打開了充滿無限可能的新世界，開發(fā)人員無需再擔(dān)心擴(kuò)展性或基礎(chǔ)設(shè)施管理等問題。亞馬遜云科技提供了一種簡單的開箱即用的方式來使用Llama。

Meta創(chuàng)始人兼首席執(zhí)行官馬克?扎克伯格表示："開源是讓AI造福所有人的關(guān)鍵。我們一直在與亞馬遜云科技合作，將整個(gè)Llama 3.1模型集成到Amazon SageMaker JumpStart和Amazon Bedrock中，這樣開發(fā)人員就可以全面使用亞馬遜云科技的各種能力來構(gòu)建出色的應(yīng)用，例如用于處理復(fù)雜任務(wù)的高級(jí)智能體。"

Llama 3.1模型的優(yōu)勢(shì)

Llama 3.1 405B

• 適用于構(gòu)建企業(yè)應(yīng)用程序和研發(fā)
• 用例包括：長篇文本生成、多語言和機(jī)器翻譯、編碼工具使用、增強(qiáng)的上下文理解，以及高級(jí)推理和決策

Llama 3.1 70B

• 適用于內(nèi)容創(chuàng)建、對(duì)話AI、語言理解和研發(fā)
• 用例包括：文本摘要、文本分類、情感分析和細(xì)微推理、語言建模、代碼生成和遵循指令

Llama 3.1 8B

• 適用于計(jì)算能力和資源有限的情況以及移動(dòng)設(shè)備
• 更快的訓(xùn)練時(shí)間
• 用例包括：文本摘要和分類、情感分析和語言翻譯

亞馬遜云科技提供對(duì)多種大語言模型的輕松訪問

Amazon Bedrock為數(shù)萬名客戶提供安全、便捷的模型訪問，提供性能卓越、完全托管的大型語言模型和其他基礎(chǔ)模型選擇，并具有領(lǐng)先的易用性，是客戶開始使用Llama 3.1的便捷途徑，其中8B和70B參數(shù)模型已經(jīng)正式可用，405B版本現(xiàn)提供預(yù)覽。

客戶希望訪問Llama 3.1模型并利用亞馬遜云科技的所有安全性和功能，這些通過Amazon Bedrock提供的一個(gè)簡單的API即可輕松實(shí)現(xiàn)，同時(shí)無需管理任何底層基礎(chǔ)設(shè)施?？蛻暨€可以使用Llama 3.1提供的負(fù)責(zé)任AI能力，該功能能夠與Amazon Bedrock的數(shù)據(jù)治理和評(píng)估功能配合使用，例如Guardrails和模型評(píng)估。客戶還可以使用Amazon Bedrock即將推出的微調(diào)功能來自定義模型。

Amazon SageMaker是數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師預(yù)訓(xùn)練、評(píng)估和微調(diào)基礎(chǔ)模型的絕佳平臺(tái)，能夠提供先進(jìn)的技術(shù)和精細(xì)的控制能力來部署基礎(chǔ)模型，以滿足生成式AI用例在準(zhǔn)確性、延遲和成本方面的嚴(yán)格要求。今天，通過Amazon SageMaker JumpStart，客戶僅需幾次點(diǎn)擊即可發(fā)現(xiàn)和部署所有Llama 3.1模型。隨著即將推出的微調(diào)功能，數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師將能夠更進(jìn)一步使用Llama 3.1，例如在短短幾小時(shí)內(nèi)將Llama 3.1適配于他們的特定數(shù)據(jù)集。

亞馬遜云科技首席執(zhí)行官Matt Garman表示："Amazon Bedrock是使用Llama 3.1進(jìn)行快速構(gòu)建的簡單途徑，提供行業(yè)領(lǐng)先的隱私和數(shù)據(jù)治理評(píng)估功能和內(nèi)置保護(hù)措施。Amazon SageMaker提供的工具選擇和精細(xì)控制，則使各行各業(yè)的客戶能夠輕松訓(xùn)練和調(diào)整Llama模型，以推動(dòng)亞馬遜云科技上的生成式AI創(chuàng)新。"

對(duì)于希望通過自管理機(jī)器學(xué)習(xí)工作流的方式在亞馬遜云科技上部署Llama 3.1模型的客戶，Amazon EC2提供廣泛的加速計(jì)算選項(xiàng)，以為其提供更大的靈活性和對(duì)底層資源的控制。Amazon Trainium 和Amazon Inferentia2能夠?yàn)槲⒄{(diào)和部署Llama 3.1模型提供高性能和成本效益?？蛻艨梢酝ㄟ^使用Amazon EC2 Trn1和Inf2實(shí)例在亞馬遜云科技自研AI芯片上開啟使用Llama 3.1的旅程。

客戶已經(jīng)在亞馬遜云科技上使用Llama模型

全球金融服務(wù)集團(tuán)野村控股（Nomura）的業(yè)務(wù)覆蓋30個(gè)國家和地區(qū)。該集團(tuán)正在使用Amazon Bedrock中的Llama模型簡化海量行業(yè)文檔的分析，以提取相關(guān)的商業(yè)信息，使員工可以將更多時(shí)間專注于從日志文件、市場(chǎng)評(píng)論或原始文檔等數(shù)據(jù)源中提取洞見和獲取關(guān)鍵信息。

領(lǐng)先的外包數(shù)字服務(wù)和客戶體驗(yàn)提供商TaskUs使用Amazon Bedrock中的Llama模型來支持其專屬生成式AI平臺(tái)——TaskGPT。TaskUs在該平臺(tái)上構(gòu)建智能工具，自動(dòng)化部分客戶服務(wù)流程，釋放團(tuán)隊(duì)成員處理更復(fù)雜的問題，并提供更好的客戶體驗(yàn)。