△ 鄔賀銓院士 （圖源：網(wǎng)絡(luò)）
中國(guó)現(xiàn)有算力總規(guī)模相比美國(guó)：
有差距但不大
問：有人說中國(guó)的大模型開發(fā)距離國(guó)外有 1—2 年的差距，您怎么看當(dāng)前中國(guó)大模型的發(fā)展?fàn)顩r？
鄔賀銓：
中國(guó)在大模型開發(fā)方面起步比美國(guó)晚，在 ChatGPT 出來后，國(guó)內(nèi)不少單位紛紛表示在研發(fā)生成式大模型，與美國(guó)目前已知僅有微軟與谷歌等幾個(gè)企業(yè)在研究大模型相比，我國(guó)研制大模型的單位比美國(guó)多，但研究主體數(shù)量多并不意味中國(guó)在大模型上研發(fā)水平高。據(jù)稱國(guó)內(nèi)某一大模型的參數(shù)量高達(dá) 1.75 萬億，超過了 GPT-4，但尚未看到其應(yīng)用的報(bào)道。雖然已有中國(guó)公司聲稱可推出類似 ChatGPT 的聊天機(jī)器人，但就支持多語種能力方面目前不如 ChatGPT，就中文對(duì)話能力方面就響應(yīng)速度而言也還有差距。
我們現(xiàn)在只注意到 ChatGPT，它以生成式任務(wù)為目標(biāo)，主要是完成如聊天和寫作等語言生成，谷歌公司的 BERT 模型更注重判斷決策，強(qiáng)調(diào)如問答和語義關(guān)系抽取等語言理解相關(guān)的任務(wù)，BERT 模型的技術(shù)也值得我們關(guān)注。評(píng)價(jià)大模型水平應(yīng)該是多維度的，全面性、合理性、使用便捷性、響應(yīng)速度、成本、能效等，籠統(tǒng)地說目前我國(guó)大模型開發(fā)與國(guó)外的差距為 1—2 年的依據(jù)還不清楚，現(xiàn)在下這一結(jié)論意義也不大。
中國(guó)企業(yè)在獲得中文語料和對(duì)中國(guó)文化的理解方面比外國(guó)企業(yè)有天然的優(yōu)勢(shì)，中國(guó)制造業(yè)門類最全，具有面向?qū)嶓w產(chǎn)業(yè)訓(xùn)練產(chǎn)業(yè) AIGC 的有利條件。在算力方面中國(guó)已具有較好的基礎(chǔ)。據(jù) OpenAI 報(bào)告，訓(xùn)練 GPT3 模型所需的算力高達(dá) 3.64EFlops/天，相當(dāng)于 3—4 個(gè)鵬城云腦 Ⅱ（鵬城云腦 Ⅱ 為 1Eflops，即每秒百億億次浮點(diǎn)計(jì)算）。按 2022 年年底的數(shù)據(jù)，美國(guó)占全球算力 36%，中國(guó)占 31%，現(xiàn)有算力總規(guī)模與美國(guó)相比有差距但不大，而以 GPU 和 NPU 為主的智能算力規(guī)模中，中國(guó)明顯高于美國(guó)（按 2021 年年底數(shù)據(jù)，美國(guó)智算規(guī)模占全球智算總規(guī)模 15%，中國(guó)占 26%），我國(guó)不僅是大型互聯(lián)網(wǎng)企業(yè)具有相當(dāng)規(guī)模的算力，國(guó)家實(shí)驗(yàn)室和一些城市政府支持的實(shí)驗(yàn)室也有大規(guī)模的算力資源，可以說在訓(xùn)練大模型所需算力支持方面中國(guó)也能做到。據(jù)了解，鵬城實(shí)驗(yàn)室正在設(shè)計(jì)鵬城云腦 Ⅲ，算力達(dá)到 16EFlops，比 GPT-3 所用算力高 3 倍，預(yù)計(jì)耗資 60 億元，將為人工智能訓(xùn)練持續(xù)提供強(qiáng)有力的算力支持。
中國(guó)AIGC研發(fā)：需認(rèn)清差距
重視挑戰(zhàn) 實(shí)在創(chuàng)新
問：除了我們?cè)谒懔Ψ矫嬗休^好的基礎(chǔ)之外，您認(rèn)為在中國(guó)做大模型還面臨哪些挑戰(zhàn)？
鄔賀銓：
僅有算力還是不夠的，在以下幾方面我們還面臨不少挑戰(zhàn)：
首先，大模型的基礎(chǔ)是深度學(xué)習(xí)框架，美國(guó)的 Tensorflow 和 PyTorch 已經(jīng)深耕深度學(xué)習(xí)框架生態(tài)多年，雖然國(guó)內(nèi)企業(yè)也自主開發(fā)了深度學(xué)習(xí)框架，但市場(chǎng)考驗(yàn)還不夠，生態(tài)還有待打造。
其次，將 AIGC 擴(kuò)展到產(chǎn)業(yè)應(yīng)用可能需要不止一個(gè)大模型，如何將多個(gè)大模型高效地整合，有標(biāo)準(zhǔn)化和數(shù)據(jù)融合的挑戰(zhàn)。
第三，大模型需要海量數(shù)據(jù)訓(xùn)練，中國(guó)有數(shù)千年的文明，但豐富的文化沉淀絕大多數(shù)并未數(shù)字化，中文在 ChatGPT 訓(xùn)練所用到的語料中還不到 0.1%。雖然我國(guó)互聯(lián)網(wǎng)企業(yè)擁有大量電商、社交、搜索等網(wǎng)絡(luò)數(shù)據(jù)，但各自的數(shù)據(jù)類型不夠全面，網(wǎng)上知識(shí)的可信性又缺乏嚴(yán)格保證，中文可供訓(xùn)練的語料還需要做大量的挖掘工作。
第四，大模型訓(xùn)練所依賴的 GPU 芯片以英偉達(dá)公司的 A100 芯片為代表，但該芯片已被美國(guó)限制向中國(guó)出口，國(guó)產(chǎn) GPU 的性能還有待進(jìn)一步考驗(yàn)，目前在算力的利用效率上還有差距。
第五，在中國(guó)從事 AI 研究的技術(shù)人員不算少，但具有架構(gòu)設(shè)計(jì)能力和 AIGC 數(shù)據(jù)訓(xùn)練提示師水平的人才仍然短缺。在 ChatGPT 出現(xiàn)之前，有人認(rèn)為中國(guó)在 AI 方面的論文與專利數(shù)與美國(guó)不相上下，ChatGPT 的上線使我們看到了在 AIGC 上中美的差距，現(xiàn)在是需要清楚認(rèn)識(shí)和重視我們面對(duì)的挑戰(zhàn)，做實(shí)實(shí)在在的創(chuàng)新，將挑戰(zhàn)化為機(jī)遇，在新一輪的 AI 賽道上做出中國(guó)的貢獻(xiàn)。
建議開放國(guó)家算力平臺(tái)支持各類大模型訓(xùn)練
問：ChatGPT 無疑是一個(gè)巨大的創(chuàng)新，中國(guó)未來應(yīng)如何鼓勵(lì)類似這樣的創(chuàng)新，應(yīng)該多做哪些方面的工作？
鄔賀銓：
人工智能從判別式發(fā)展到生成式是里程碑標(biāo)志的創(chuàng)新，開始進(jìn)入到走向通用人工智能的賽道。從 GPT-3 到 GPT-4 已經(jīng)從文字輸入發(fā)展到部分圖形輸入，即增加了對(duì)圖形的理解能力，在此基礎(chǔ)上向?qū)崿F(xiàn)一個(gè)深度學(xué)習(xí)架構(gòu)和通用模型支持多模態(tài)數(shù)據(jù)輸入的時(shí)間不遠(yuǎn)了，不過大模型的任務(wù)通用化和大模型按需調(diào)用的精細(xì)化還需要更大的投入與創(chuàng)新，對(duì)圖形和視頻做數(shù)據(jù)無標(biāo)注和無監(jiān)督學(xué)習(xí)比語言和文字輸入情況要難得多。
現(xiàn)在處于向通用人工智能發(fā)展的關(guān)鍵時(shí)期，對(duì)我國(guó)來說這是跨越發(fā)展的難得機(jī)遇也是嚴(yán)峻的挑戰(zhàn)。算力、模型、數(shù)據(jù)是 ChatGPT 成功的必要條件也將是通用人工智能成功的在因素，除此之外，創(chuàng)新的生態(tài)、機(jī)制與人才更是關(guān)鍵。中國(guó)在算力總規(guī)模上可與美國(guó)相比，但跨數(shù)據(jù)中心的算力協(xié)同還面臨體制機(jī)制的挑戰(zhàn)，不少智算中心算力利用率和效率不高。不少單位各自獨(dú)立研究大模型，難免低水平重復(fù)，建議在國(guó)家科技與產(chǎn)業(yè)計(jì)劃的協(xié)調(diào)下合理分工形成合力。建議開放國(guó)家實(shí)驗(yàn)室的算力平臺(tái)支持各類大模型訓(xùn)練，例如鵬城云腦現(xiàn)在對(duì)外開放的算力達(dá)到總能力 3/4，可支持規(guī)模與 GPT-3 相當(dāng)?shù)膬汕|參數(shù)的開源中文預(yù)訓(xùn)練語言大模型。同時(shí)建議組建算力聯(lián)盟，集中已有高檔 GPU 的算力資源，提供大模型數(shù)據(jù)訓(xùn)練所需算力。現(xiàn)在以鵬城實(shí)驗(yàn)室為主建設(shè)的“中國(guó)算力網(wǎng)（C2NET）”已接入二十余個(gè)大型智算、超算、數(shù)據(jù)中心，匯聚異構(gòu)算力達(dá) 3EFlops，其中自主研發(fā)的 AI 算力超 1.8EFlops。另外，聊天機(jī)器人的應(yīng)用只是訓(xùn)練與檢驗(yàn) AIGC 的一種直觀方式，但聊天不是剛需，需要基于大模型開發(fā)出各類面向行業(yè)應(yīng)用的模型，盡快使大模型在產(chǎn)業(yè)上落地見效，在面向各行各業(yè)的應(yīng)用中培養(yǎng)更多的人才。
大模型行業(yè)應(yīng)用需要
既懂行業(yè)技術(shù)又懂 AI 訓(xùn)練的綜合人才
問：目前我們已經(jīng)看到了 ChatGPT 在某些領(lǐng)域的應(yīng)用，比如聊天機(jī)器人、文本生成和語音識(shí)別等。未來在實(shí)體行業(yè)和領(lǐng)域，是否會(huì)有一些應(yīng)用機(jī)會(huì)？大模型在實(shí)體行業(yè)應(yīng)用還面臨什么樣的障礙？
鄔賀銓：
在現(xiàn)有 ChatGPT 類聊天機(jī)器人基礎(chǔ)上經(jīng)補(bǔ)充相關(guān)行業(yè)和企業(yè)知識(shí)的訓(xùn)練，可以在企業(yè)承擔(dān)智能客服工作，代替工人面向客戶提供售前與售后服務(wù)。在需要軟件編程的設(shè)計(jì)與制造環(huán)節(jié)，ChatGPT 可代替程序員完成編程任務(wù)和檢驗(yàn)軟件的 Bug?？梢猿袚?dān)設(shè)計(jì)與生產(chǎn)過程所需文件資料的收集、翻譯和整理工作。經(jīng)過專業(yè)的訓(xùn)練，AIGC 類大模型可以用于設(shè)計(jì) EDA 軟件，例如 IC 設(shè)計(jì)用的工具軟件。在動(dòng)漫和游戲企業(yè)，基于 AIGC 類大模型訓(xùn)練的機(jī)器人可以按照提示編寫劇本、創(chuàng)作游戲腳本并進(jìn)行編程，完成 3D 動(dòng)漫的渲染。
但 ChatGPT 不是通用模型，很難直接在實(shí)體產(chǎn)業(yè)的生產(chǎn)制造過程上應(yīng)用，但可以基于訓(xùn)練 ChatGPT 的原理，利用行業(yè)與企業(yè)的知識(shí)圖譜進(jìn)行深度訓(xùn)練，有可能開發(fā)出企業(yè)專用的大模型，完成這一工作的挑戰(zhàn)是需要既熟悉企業(yè)上傳流程和關(guān)鍵環(huán)節(jié)技術(shù)又掌握人工智能大數(shù)據(jù)訓(xùn)練技術(shù)的人才。
從關(guān)注結(jié)果到關(guān)注過程，
融合技術(shù)與法制主導(dǎo)AIGC推理過程
問：ChatGPT 也會(huì)出現(xiàn)各種各樣的錯(cuò)誤，也會(huì)帶來一些倫理、安全和隱私等方面的問題，未來在應(yīng)用大模型的時(shí)候，如何才能營(yíng)造一種既包容又兼顧安全和發(fā)展的環(huán)境？
鄔賀銓：
生成式 AI 的出現(xiàn)將社會(huì)對(duì)人工智能的關(guān)注推到一個(gè)前所未有的高度，在引發(fā)科技界和產(chǎn)業(yè)界對(duì) AI 的研究熱潮同時(shí)，不少專家擔(dān)心人工智能將毀滅人類，呼吁停止 GPT-5 的研究。一些專家的擔(dān)憂并非杞人憂天，因?yàn)槟壳?ChatGPT 機(jī)器人的思考過程不透明，人類創(chuàng)造出 ChatGPT，但目前人類對(duì)它的推理過程并不完全掌握，推理結(jié)果知其然不知所以然，可解釋性不足，不確定、不可知就會(huì)出現(xiàn)不可控，存在機(jī)器人變態(tài)和倫理失范及行為失控的風(fēng)險(xiǎn)。
解決辦法不是停止對(duì)人工智能的研究，而是對(duì) AIGC 的研究從關(guān)注結(jié)果到關(guān)注過程，設(shè)計(jì)和主導(dǎo)其推理過程，做到結(jié)果可預(yù)期和行為可控。未來對(duì)大模型的推廣應(yīng)用需要經(jīng)有資質(zhì)的機(jī)構(gòu)做安全可信的評(píng)價(jià)，經(jīng)檢驗(yàn)該大模型的推理過程是可追溯的。同時(shí)需要建立相應(yīng)的 AI 治理法規(guī)，防止對(duì) AIGC 訓(xùn)練的誤導(dǎo)，追究 AIGC 訓(xùn)練主體的責(zé)任，嚴(yán)懲教唆作惡犯罪行為。通過技術(shù)與法制相輔，使得人工智能成為人類真正忠誠(chéng)的助手。
訪談?wù)?/span>
王 強(qiáng) 騰訊研究院資深專家
