隨著大型語言模型（LLM）的規模和復雜性日益增加，NVIDIA宣布對NeMo Megatron框架進行更新，將訓練速度提高30%。

NVIDIA AI平臺大幅提高大型語言模型的性能

此次更新包括兩項開創性的技術和一個超參數工具，用于優化和擴展任意數量GPU上的LLM訓練，這為使用NVIDIA AI平臺訓練和部署模型提供了新功能。

(相關資料圖)

BLOOM是全球最大的開放科學、開放存取多語言模型，具有1760億參數。該模型最近在NVIDIA AI平臺上進行了訓練，支持46種語言和13種編程語言的文本生成。NVIDIA AI平臺還提供了最強大的轉換器語言模型，具有5300億參數，Megatron-Turing NLG模型 (MT-NLG)。

LLMs的最新進展

LLM是當今重要的先進技術之一，涉及從文本中學習的多達數萬億參數。但LLM的開發過程昂貴而耗時，需要深厚的技術知識、分布式基礎設施和全棧式方法。

LLM也大大有助于推動實時內容生成、文本摘要、客服聊天機器人以及對話式AI問答界面的發展。

為了推動LLM的發展，人工智能（AI）社區正在繼續對Microsoft DeepSpeed，Colossal-AI和Hugging Face BigScience和Fairscale等工具進行創新，這些工具均由NVIDIA AI平臺提供支持，包括Megatron-LM、Apex和其他GPU加速庫。

這些對NVIDIA AI平臺的全新優化有助于解決整個堆棧中現有的許多痛點。NVIDIA期待著與AI社區合作，讓每個人都能享受到LLM的力量。

更快速構建LLMs

NeMo Megatron的最新更新令GPT-3模型的訓練速度提高了30%，這些模型的規模從220億到1萬億個參數不等。現在使用1024個NVIDIA A100 GPU只需24天就可以訓練一個擁有1750億個參數的模型。相比推出新版本之前，獲得結果的時間縮短了10天或約25萬個小時的GPU計算。

NeMo Megatron是快速、高效、易于使用的端到端容器化框架，它可以用于收集數據、訓練大規模模型、根據行業標準基準評估模型，并且以最高水準的延遲和吞吐性能進行推理。

它讓LLM訓練和推理在各種GPU集群配置上變得簡單、可復制。目前，早期訪問用戶客戶可在NVIDIA DGX SuperPOD、NVIDIA DGX Foundry以及Microsoft Azure上運行這些功能。對其他云平臺的支持也即將推出。

另外，用戶還可以在NVIDIA LaunchPad上進行功能試用。LaunchPad是一項免費計劃，可提供短期內訪問NVIDIA加速基礎設施上的動手實驗室目錄的機會。

兩項加速LLM訓練的新技術

此次更新包括兩項用于優化和擴展LLM訓練的新技術——序列并行（SP）和選擇性激活重計算（SAR）。

SP通過注意到變換器層中尚未并行化的區域在序列維度是獨立的，以此擴展張量級模型的并行性。

沿序列維度分割層，可以將算力以及最重要的內激活內存分布到張量并行設備上。激活是分布式的，因此可以將更多的激活保存到反向傳播中，而無需重新計算。

圖1. Transformer層內的并行模式

SAR通過注意到不同的激活在重計算時需要不同數量的運算，改善了內存限制迫使重新計算部分（但不是所有）激活的情況。

可以只對每個Transformer層中占用大量內存，但重新計算成本不高的部分設置檢查點和進行重新計算，而不是針對整個變換器層。

圖2. 自注意力塊。紅色虛線表示使用選擇性激活重計算的區域

圖3. 反向傳播中因SP和SAR的存在而獲得的激活內存量。隨著模型大小的增加，SP和SAR都會產生類似的內存節省，將內存需求減少約5倍

圖4. 完全激活重計算和SP+SAR的計算開銷。條形圖表示每層的前向、反向和重計算時間細分。基線代表沒有重計算和序列并行時的情況。這些技術有效地減少了所有激活被重計算而不是保存時產生的開銷。最大模型的開銷從36%下降到僅為2%

運用LLM的力量，還需要高度優化的推理策略。用戶可以十分輕松地將訓練好的模型用于推理并使用P-tuning和提示調整功能優化不同的用例。

這些功能是輕量化微調的有效替代方案，使LLM能夠適應新的用例，而不需要采取微調全部預訓練模型這種繁瑣的方法。 在這項技術中，原始模型的參數并沒有被改變，因此避免了與微調模型相關的災難性的“遺忘”問題。

用于訓練和推理的新超參數工具

在分布式基礎設施中為LLM尋找模型配置十分耗時。NeMo Megatron帶來了超參數工具，它能夠自動找到最佳訓練和推理配置，而不需要修改代碼，這使LLM從第一天起就能在訓練中獲得推理收斂性，避免了在尋找高效模型配置上所浪費的時間。

該工具對不同的參數使用啟發法和經驗網格搜索來尋找具有最佳吞吐量的配置，包括數據并行性、張量并行性、管道并行性、序列并行性、微批大小和激活檢查點設置層的數量（包括選擇性激活重計算）。

通過使用超參數工具以及在NGC容器上的NVIDIA測試，NVIDIA在24小時內就得到了175B GPT-3模型的最佳訓練配置（見圖5）。與使用完整激活重計算的通用配置相比，NVIDIA將吞吐量速度提高了20%-30%。對于參數超過200億的模型，NVIDIA使用這些最新技術將吞吐量速度進一步提升10%-20%。

圖5.  HP工具在幾個容器上的結果顯示了通過序列并行和選擇性激活重計算實現的速度提升，其中每個節點都是NVIDIA DGX A100

超參數工具還可以找到在推理過程中實現最高吞吐量或最低延遲的模型配置。模型可以設置延遲和吞吐量限制，該工具也將推薦合適的配置。

如要探索NVIDIA AI平臺針對LLM的最新更新，可申請NeMo Megatron早期訪問名額。企業也可在NVIDIA LaunchPad上免費試用NeMo Megatron。

英偉達 NVIDIA T600 4G GDDR6 專業顯卡 工業包裝

[經銷商]京東商城

[產品售價]1459元

進入購買

英偉達 NVIDIA RTX A6000 48G GDDR6 專業顯卡 原裝盒包

[經銷商]京東商城

[產品售價]34799元

進入購買

關鍵詞： NVIDIA