日本A∨码与亚洲|乱伦无码免费无码区操|婷婷最爱五月综合69久久|久久日韩大片国家a级黄|欧美成人无码A片免费|亚洲性图一区二区三区|黄片欧美日韩一区三区|男女网站在线观看免费91|亚洲AV无码之国产精品|日本久久成人免费视频

中國工程院院士劉韻潔:協(xié)同訓練是大模型訓練必由之路

中國工程院院士劉韻潔發(fā)表了題為《確定性網(wǎng)絡(luò)助力中國算力網(wǎng)高質(zhì)量發(fā)展》的主旨演講,深入探討了確定性網(wǎng)絡(luò)對于推動中國算力網(wǎng)高質(zhì)量發(fā)展的重要性,并針對大模型訓練提出了協(xié)同訓練的建議。

在9月28日舉行的2024中國算力大會主論壇上,中國工程院院士劉韻潔發(fā)表了題為《確定性網(wǎng)絡(luò)助力中國算力網(wǎng)高質(zhì)量發(fā)展》的主旨演講,深入探討了確定性網(wǎng)絡(luò)對于推動中國算力網(wǎng)高質(zhì)量發(fā)展的重要性,并針對大模型訓練提出了協(xié)同訓練的建議。

中國工程院院士劉韻潔

劉韻潔表示,數(shù)據(jù)要素是人工智能和大模型發(fā)展的基礎(chǔ),而網(wǎng)絡(luò)、算力、數(shù)據(jù)交換平臺和安全構(gòu)成了數(shù)據(jù)基礎(chǔ)設(shè)施的四大支柱。面對AI未來的發(fā)展,他認為有三大挑戰(zhàn):大模型對網(wǎng)絡(luò)的新需求、空間計算的推廣和智能體(如人形機器人)的發(fā)展。同時,他指出當前網(wǎng)絡(luò)帶寬的增長速度遠低于GPU的增長速度,帶寬瓶頸逐漸顯現(xiàn),這對算力傳輸提出了更高的要求。

針對這些挑戰(zhàn),劉韻潔強調(diào)了確定性網(wǎng)絡(luò)的重要性。他提到,國家數(shù)據(jù)局發(fā)布的“數(shù)聯(lián)網(wǎng)”指南對網(wǎng)絡(luò)的確定性提出了高要求,包括千公里傳輸抖動不高于50微秒、傳輸效率大于90%、丟包率低于1/10萬等。這些指標的實現(xiàn)離不開確定性網(wǎng)絡(luò)技術(shù)。確定性網(wǎng)絡(luò)不僅能夠滿足低時延、高可靠性的需求,還能提升數(shù)據(jù)傳輸?shù)男?,是算力網(wǎng)發(fā)展的重要基礎(chǔ)。

在大模型訓練方面,劉韻潔認為,目前大模型只能在單一地點進行訓練,存在電力和算力資源難以承受的問題。而協(xié)同訓練可以在多個地點進行分布式訓練,不僅能夠減輕單一地點的壓力,還能提高訓練效率。他透露,通過技術(shù)手段,已經(jīng)實現(xiàn)了分鐘級解決排隊問題,并且多個異地訓練能夠達到單點訓練80%的效率。他表示,協(xié)同訓練是大模型訓練必須要走的路。

劉韻潔還介紹了在確定性網(wǎng)絡(luò)技術(shù)方面的實驗成果。聯(lián)通、紫金山實驗室、江蘇未來網(wǎng)絡(luò)集團等機構(gòu)合作,成功實現(xiàn)了光電融合的技術(shù)突破。這一技術(shù)能夠大大降低網(wǎng)絡(luò)的延遲和成本,同時提高傳輸效率。目前,已經(jīng)在多個城市進行了試驗網(wǎng)的部署和測試,效果非常顯著。此外,還在南京、鄭州、濟南等地建設(shè)了確定性網(wǎng)絡(luò)基礎(chǔ)設(shè)施,為政務(wù)網(wǎng)和企業(yè)網(wǎng)的數(shù)據(jù)共享和流通提供了有力支持。

展望未來,劉韻潔表示,中國要充分利用自身的行業(yè)數(shù)據(jù)優(yōu)勢,發(fā)展行業(yè)大模型。通過政府、企業(yè)和資本的共同努力,將行業(yè)數(shù)據(jù)訓練成高效的大模型,從而走出一條具有中國特色的AI發(fā)展道路。同時,他也呼吁全國各地加快算力網(wǎng)絡(luò)的建設(shè)和調(diào)度工作,共同推動中國算力網(wǎng)絡(luò)的高質(zhì)量發(fā)展。

來源:新華網(wǎng)

相關(guān)推薦

  • 中國工程院院士鄔賀銓:AI大模型仍需“大力出奇跡”

    鄔賀銓稱,大模型領(lǐng)域存在規(guī)?;?,模型參數(shù)量、數(shù)據(jù)集大小,以及用于訓練的算力規(guī)模三因素同時放大才有最佳效果,當不受其他兩個因素的制約時,大模型性能與單個因素都...

    Border circle YE 2024-08-20 10:09:29 0 0 2304

發(fā)表評論