每經記者 張韻    每經編輯 魏官紅    

2023WAIC大會上，正在沖擊港股IPO的AI公司第四范式帶來了式說大模型，其首秀的“大模型之城”匯集了公司在金融、零售、房地產、航空、制造、司法等行業(yè)最具代表性的大模型實踐，受到廣泛關注。

從大模型技術發(fā)展演進出發(fā)，第四范式副總裁、主任科學家涂威威在接受《每日經濟新聞》記者專訪時提出，類GPT模型結構和學習方式的瓶頸在于不具備邏輯推理能力，并表示未來的AI發(fā)展路徑不是依靠文字背書，而是從“抄襲”人類行為的步驟轉變?yōu)閷W習做這件事的目標，通過一步步學習更高層級的目標達到超越人類上限的效果，真正的通用推理模型尚未出現，大模型三要素比拼的核心不只是算力，更重要的是數據。

大模型進化基于商業(yè)化路徑

NBD：對于技術圈而言，生成式AI的發(fā)展已歷經數年，那么從技術演進的角度來看，用一個模型是如何從只能解決一個問題到可以解決多個問題的？

涂威威：自然語言處理（NLP）其實是一個老生常談的問題，以前所有的做法都是用人工的方式篩選數據特征，再跑一個簡單的模型，做個簡單的任務，直到深度學習出現之后，大家開始在模型上做優(yōu)化。

一開始，深度學習不能工作的原因是模型本身比較復雜，數據太少，如果放進一個參數規(guī)模很大的模型里，效果比較差，所以都放在一個小模型里跑，每個模型只能完成某一種任務。

后來，大家慢慢地把各種各樣的任務混到一起去訓練，發(fā)現這些模型之間會相互幫助，不同任務之間可以共享通行的參數，本質理論就是遷移學習，當然不是所有的遷移學習都會奏效，遷移學習也有負向遷移的問題。

在商業(yè)化上，像百度和谷歌，他們是最早把AI用到商業(yè)化系統(tǒng)里去的。

NBD：為什么最早是這幾個公司先把模型做大？

涂威威：首先是一個投資邏輯，要把模型做大需要有大量的數據和算力，這些都是成本，在十幾年前，我們在百度的一個搜索廣告模型的參數量從千萬做到了上千億甚至上萬億的規(guī)模，廣告推薦場景之所以能把模型做這么大，是因為它能立馬變現。

那時候，我們發(fā)現隨著數據和算力的投入，把模型不斷變大，模型效果會越來越好，推薦的越來越準，變現效率也會更高。

深度學習出現之后，就像亂拳打死老師傅，比如圖像領域，基本沒有人再做視覺特征，而是直接加入CNN模型，所以圖像很快發(fā)展起來。隨著圖像開源的數據越來越多，大家也就把模型層數越做越深，效果也越來越好。

NBD：相比機器學習、深度學習在商業(yè)應用上的快速發(fā)展，自然語言處理領域為何長期沒有起色？

涂威威：NLP之前存在的問題，一方面是沒有一個特別好的模型架構出現，另一方面是沒有明確的商業(yè)化前景，所以大家不愿意投入更多資源。

NLP在RNN時代，人們發(fā)現這個模型的效果很難往上提。Transformer出現之后，大家認為這是一個符合模型做大的底層邏輯的架構。OpenAI想去做AGI，就要解決NLP這個核心技術，于是才開始投入資源到GPT。

GPT很難做邏輯推理

NBD：GPT是如何做到第四代的？

涂威威：OpenAI一開始做的GPT模型其實并不大，在Transformer被提出來之后，GPT是一個預訓練方向的第一個有名的嘗試，大家發(fā)現在某些任務上效果比原來好，但是第一版沒有好太多。緊接著過了大概一兩個月，谷歌改變模型結構，加大訓練數據，橫空出世了一個Bert模型，兩個的訓練方式有所不同，前者是通過前一個詞推下一個詞，后者是在兩個詞之前做選詞填空。

因為Bert的生成方式比GPT容易，帶來的結果是它的效果刷爆，另一方面，GPT和Bert這類預訓練模型可以同時提升好幾個NLP領域的問題。過了沒幾個月，OpenAI就進一步把模型變大，到了GPT-2的時候，出來的效果終于追平了Bert，甚至更好一點。

這時候，OpenAI提出用自然語言預測下一個詞的模式可以學到很多，而且形式上能夠以prompt的方式用一個模型解決很多NLP領域的不同問題，從而能解決一些更復雜的任務，雖然當時效果沒那么好。但是一個確定性的趨勢是從小模型到大模型的效果會變好，OpenAI把這個模型堆到巨大，GPT-3問世。

一旦讓一個超級大的模型學習到了足夠多的語料，將所有共性任務合在一起處理，效果相比之前的小模型就變好了很多，這個和原來搜索廣告、圖像把模型做大的邏輯很類似。

NBD：目前GPT距離真正的智能有多遠？

涂威威：這自始至終還是統(tǒng)計機器學習，GPT看起來效果這么好，是因為它看了很多人一輩子看不完的書，并背了下來，所以它看起來好像啥都懂，你可以隨意和它閑聊。

但是最后到業(yè)務上能不能幫助個人或者企業(yè)，還是有很多專業(yè)壁壘，一個核心壁壘是專業(yè)領域的數據，這些是基座大模型在訓練時很難接觸到的數據。統(tǒng)計機器學習有個基本假設叫獨立同分布，面對從來沒見過的數據它效果就很難(呈現得)好。

大模型也不是完全不能解決業(yè)務的問題，關鍵之一就是讓它學習特定領域的高質量數據。我們此前和我愛我家的合作中，在使用房產經紀行業(yè)的語料訓練之后，式說可以回答基礎的專業(yè)問題，相比于GPT回答得更加準確。

除了學習內容的局限性，從GPT的學習方式上看，其本身是一個語言模型，核心在做的是能通過背書理解人在說什么，想要它干什么，但它并不是真的從邏輯上理解這件事，這個模型結構就限制了GPT，讓它直接做邏輯推理是比較難的。

專業(yè)數據是核心

NBD：關于大模型三要素，您似乎更強調數據，為什么現在大家好像更關注算力？

涂威威：因為對于中國的人工智能產業(yè)而言，算力是個瓶頸，但也不是完全不能解決。

像國產的算力，雖然單顆（芯片）的算力不強，但“人多力量大”，如不同的數據，只要能用同樣的模式處理，就可以使用一堆芯片去并行運算，能很大程度上緩解這個問題。解決了這個，核心的問題還是數據。

OpenAI的優(yōu)勢就在于具備了高質量的數據，其實模型結構的差別并不大，邏輯是一樣的，但在當前這個體系下，還沒有把這個模型結構發(fā)揮到極限，所以大家還會不停地做得更好，一方面數據要做得更大，相對應的算力要更大，另一方面會注重性價比。

而本質上，不管看數據還是看模型本身，在產業(yè)界，它一定是用價值來衡量的，最終還是要深入到一些業(yè)務場景，看能不能解決實際業(yè)務中的問題，實際落地比較重要的一點是能擁有自己的數據飛輪，在業(yè)務里面轉起來，才有可能發(fā)揮模型更好的效果。

NBD：從您的角度來看，GPT這樣的模型架構可以在哪些應用場景下使用？

涂威威：GPT面對文本分類、歸納、翻譯等不同任務時，其核心都是需要對這個文本進行理解，我們認為在企業(yè)級市場的機會是業(yè)務助手Copilot，其中一個很有價值的解決方案是類GPT語言模型做公司的“董秘”，聽懂董事長想解決的問題，然后傳達給公司內更專業(yè)的人來處理，就像ChatGPT的plugin。

通過這種方式，大模型會改變企業(yè)軟件的人機交互，之前企業(yè)軟件的使用門檻太高，使得效能沒有發(fā)揮到最大，如果使用自然語言輸入，不管調用什么樣的功能，都可以通過一段簡單的對話獲得結果，無需再層層點擊，由此人機交互的變革一定會帶來很大的機會。

第四范式也由此提出了AIGS（AI-Generated Software）的技術戰(zhàn)略，將大模型技術聚焦在TO B企業(yè)軟件領域，用生成式AI重構企業(yè)軟件。比如在我們和一個商用飛機制造商的合作中，用GPT改造他們使用的工業(yè)設計軟件，改造后設計人員直接語音提問“幫我找類似的零件”，“給出這兩個零件的裝配方案”，就能輕松找到零件并給出多種組裝方案，代替了傳統(tǒng)需要輸入各種參數的操作方式，員工工作效率得到了大幅提升。

AI自博弈成發(fā)展趨勢

NBD：未來AI的發(fā)展路徑是怎樣的？

涂威威：GPT核心學的是一個相關性，相當于一個函數擬合，而它的邏輯推理能力現在還是非常欠缺的，現在GPT的學習方式比如RLHF持續(xù)優(yōu)化的仍是當前的答案能不能滿足提問者的需求，而不是考慮多步主動引導人得到一個更長遠的未來。

所以更好的趨勢不是背一段文字，而是“模仿”人做一件事的步驟，但是如果這個步驟對著專家學，可以打敗業(yè)余者，但是打不贏專家，是因為它學的就是這些人，一直copy不可能更強。

AI要突破人的上限，就是要一步步學做這件事的更高目標，但達到更高目標的信號是非常稀疏的，做了很多步驟才能判斷這個目標能不能達成，所以需要進行不停的自我“博弈”，去探索所有可能性。

統(tǒng)計機器學習的方法依舊是背步驟，只有在經過大量的自我博弈之后，使得絕大多時的情況機器都見過，而當人不會時，才有可能突破人的上限。

與之相悖的是，要解決一個現實的業(yè)務問題就沒法自我博弈，所以難點在于做這樣的決策優(yōu)化需要在現實世界做實驗。

NBD：能否在元宇宙中達到這個目的？

涂威威：可以構建一個虛擬世界，但構建符合實際的虛擬世界非常困難。

有一類機器學習技術叫環(huán)境學習，環(huán)境是決策環(huán)境，要把這個環(huán)境學習出來，我們要去描述這個世界的運行方式，需要非常多的交叉知識。環(huán)境學習的核心在于，要回答做了這件事之后，這個世界會發(fā)生什么樣的變化。要構建這樣一個龐大的模擬器，需要精準到與現實世界變化一致，才有可能。

對于解決業(yè)務決策問題，在元宇宙中呈現出3D環(huán)境的技術不重要，重要的是能不能把這個世界的運轉規(guī)律真實地模擬出來。

當前沒有哪個模型是百分百對的，雖然看起來非常無助，但肯定有一部分能來幫助我們。我們沒有辦法建立一個非常完備的系統(tǒng)，但只要對我們目前想解決的任務有幫助就可以。從應用學的角度來看，只要比現在做得好，就有價值。