亚洲狠狠,一级黄色大片,日韩在线第一区视屏,韩国作爱视频久久久久,亚洲欧美国产精品专区久久,青青草华人在线视频,国内精品久久影视免费

每日經濟新聞
要聞

每經網首頁 > 要聞 > 正文

Llama 3拿下“賽點”?大模型角力場,開源與閉源之爭仍在繼續(xù) |大模界

每日經濟新聞 2024-04-22 10:37:27

◎在AI這場沒有硝煙的“航海競賽”中,大模型已然成為眼前的燈塔,未知的是,這座燈塔究竟是向所有航海者開放其光芒,還是僅為特定的船只照亮前行的航道。

每經記者 可楊    每經編輯 董興生    

開源與閉源之爭延續(xù)到大模型時代。在尋找“新大陸”的路上,開源與閉源的辯論,就像是一場關于AI未來的“航海策略”討論。

開源一派認為,開源能夠促進全球科研人員和開發(fā)者的協(xié)作,加速AI技術的迭代與創(chuàng)新。同時,開源讓更多人參與到模型的改進和優(yōu)化中,通過集體智慧解決復雜的技術難題。

閉源的倡導者則看重其在商業(yè)化、技術保護和產品差異化方面的優(yōu)勢。閉源模型使得企業(yè)能夠控制產品的開發(fā)節(jié)奏和市場策略,保護其商業(yè)利益。此外,閉源也有助于企業(yè)維護其技術優(yōu)勢,避免競爭對手模仿或超越。

Llama 3的發(fā)布讓開源大模型在與閉源的競爭中再度“扳回一城”。從測試結果來看,Llama 3的成績大幅超越了Llama 2,也勝過了GPT-3.5。

在AI這場沒有硝煙的“航海競賽”中,大模型已然成為眼前的燈塔,未知的是,這座燈塔究竟是向所有航海者開放其光芒,還是僅為特定的船只照亮前行的航道。

Meta繼續(xù)押寶開源

Meta正沿著開源路徑繼續(xù)前進。

近日,Meta推出開源大模型Llama 3系列,發(fā)布8B和70B兩個版本。Meta CEO扎克伯格在同一天宣布,基于Llama 3,Meta的AI助手現(xiàn)在已經覆蓋Instagram、WhatsApp、Facebook等全系應用,并單獨開啟了網站。

與Llama 2相比,Llama 3進行了幾項關鍵的改進:使用具128K token詞匯表的tokenizer,可以更有效地編碼語言,從而顯著提升模型性能;在8B和70B模型中都采用分組查詢注意力(GQA),以提高Llama 3模型的推理效率;在8192個token的序列上訓練模型,使用掩碼來確保自注意力不會跨越文檔邊界。

據(jù)Meta介紹,Llama 3已經在多種行業(yè)基準測試上展現(xiàn)了最先進的性能,提供了包括改進的推理能力在內的新功能,是目前市場上最好的開源大模型。

此外,Llama 3發(fā)布后,微軟Azure、谷歌云、百度智能云等陸續(xù)宣布其平臺上線Llama 3。百度方面此前對《每日經濟新聞》記者表示,百度智能云千帆大模型平臺在國內首家推出針對Llama3全系列版本的訓練推理方案,便于開發(fā)者進行再訓練,搭建專屬大模型。

工業(yè)和信息化部工業(yè)文化發(fā)展中心AI應用工作組執(zhí)行組長、行行AI董事長李明順在接受《每日經濟新聞》記者采訪時表示,Meta的Llama3的發(fā)布可能會帶來更多AI應用落地機會和場景,它通過提供更大詞匯量的Token詞典、更長的輸入上下文長度以及優(yōu)化的模型結構,增強了模型的編碼效率和推理效率。“現(xiàn)在,比起Llama 2,Llama3在代碼能力和邏輯推理能力上有顯著提升,這可能會促進相關AI應用的性能,尤其是在需要復雜邏輯和代碼理解的場景中去落地。”

OpenAI在GPT-2之后調轉船頭走向閉源,Meta則成為開源界的引領者。

圖片來源:視覺中國-VCG31N2008743681

從2020年發(fā)布GPT-3,到引發(fā)轟動的GPT-3.5,以及2023年3月發(fā)布的GPT-4,都是閉源模型。此前,馬斯克起訴OpenAI時曾直言:“如果OpenAI改名為ClosedAI,我就撤銷訴訟。”

李明順認為,OpenAI的轉變可能與其商業(yè)戰(zhàn)略和市場定位有關。“初期開源有助于快速吸引關注和社區(qū)參與,但隨著公司的發(fā)展,我估計奧特曼的野心和商業(yè)夢想越來越膨脹了,閉源可以更好地讓它融資,包括和微軟的合作,保護領先的技術優(yōu)勢。”他表示,從OpenAI的轉變中也可以看出,開源與閉源的選擇并非固定不變,而是需要根據(jù)公司戰(zhàn)略目標、市場環(huán)境和產品發(fā)展階段靈活調整。“天下沒什么事情是絕對的,很多開源公司也是拿著次優(yōu)代碼開源,獨家秘方閉源。”

在追逐AGI(人工通用智能)這顆明珠的道路上,迄今為止,Meta依舊持續(xù)沿著開源的路徑前行。

2024年初,扎克伯格在Meta第四季度及2023全年財報電話會議上表示:“長期以來,我們的策略是構建并開放源代碼通用基礎設施,同時保留我們的具體產品實現(xiàn)為專有技術。”

他認為,開源帶來了幾個戰(zhàn)略好處。首先,開源軟件通常更加安全可靠,并且因為社區(qū)的持續(xù)反饋、審查和開發(fā),更加高效。其次,開源軟件經常成為行業(yè)標準,“當企業(yè)開始基于我們的技術棧建立標準時,這使得將新創(chuàng)新融入我們的產品變得更加容易。這種微妙的優(yōu)勢,能夠迅速學習和改進,是巨大的競爭優(yōu)勢,而成為行業(yè)標準正是這一能力的關鍵”。第三,開源在開發(fā)者和研究人員中極受歡迎。

開源與閉源并不矛盾

開源還是閉源,也許是全球人工智能信徒長久的辯題。在Llama 3誕生前幾天,國內同樣在進行一場“辯論”。

4月11日,百度董事長兼首席執(zhí)行官李彥宏在其內部講話中直言,大模型開源的意義不大,閉源模型在能力上會持續(xù)領先,而不是一時領先,做模型的創(chuàng)業(yè)公司既做模型又做應用的“雙輪驅動”不是一個好的模式。在一周后的Create 2024百度AI開發(fā)者大會上,李彥宏再度提到,“大家以前用開源覺得開源便宜,其實在大模型場景下,開源是最貴的,所以開源模型會越來越落后”。

圖片來源:企業(yè)供圖

360公司創(chuàng)始人周鴻祎則持不同的觀點。“網上有些名人胡說八道,大家也別被他們忽悠,說開源不如閉源好。一句話,今天沒有開源就沒有Linux(

操作系統(tǒng)內核),沒有Linux就沒有互聯(lián)網,就連說這話的公司自己都借助了開源的力量才成長到今天。”

這段發(fā)言被解讀為對李彥宏觀點的回懟,周鴻祎隨后澄清道:“我一直是開源的信徒,但是我說開源好,是(4月)13號在哈佛講的,李廠長(指李彥宏)說閉源好,是(4月)16號在北京講的。”

生數(shù)科技聯(lián)合創(chuàng)始人兼CEO唐家渝站在閉源的一邊。在4月18日舉行的“2024中國生成式AI大會”上,唐家渝談到,開源帶來的最大價值是生態(tài)的價值,基于技術不斷突破,開源界人人都可以去貢獻力量。而大模型需要大規(guī)模數(shù)據(jù)、大規(guī)模的算力去訓練、迭代,參數(shù)量越大效果越好,是偏中心化的事情。“原來開源界非常有益的模式到這里割裂了。在我們看來,開源、閉源商業(yè)生態(tài)上都有各自可以做的商業(yè)生態(tài),但是從模型能力的提升來說,或者持續(xù)走到前列來說,閉源還是會走到開源的前面。”

昆侖萬維董事長方漢的觀點是,開源模型與閉源模型之間的差距正在不斷縮小。4月16日,方漢在接受《每日經濟新聞》記者在內的媒體采訪時表示:“閉源模型的確(是)第一,但是開源大模型的接近程度在2023年到今年這一年間,從落后兩年以上,已經進化到落后4—6個月以上。”

此外,方漢認為,在應用側,閉源對于產品特性和長尾需求的滿足都落后于開源大模型,開源大模型是一種生態(tài)構建器,更利于滿足用戶的長尾需求。“我個人認為開源大模型和商業(yè)大模型是一個生態(tài)的組成部分,不是誰壓倒誰,大家都有自己的生存空間,也都有更好的明天。”

不過,從商業(yè)化上來講,閉源和開源也許并不矛盾。啟明創(chuàng)投合伙人周志峰就認為,“開源閉源在過去幾個大浪潮當中沒有很大的沖突,我不太理解為什么很多人愿意把閉源、開源在AI時代看成對立”。但他也提到,從技術角度,開源模型及背后的公司更容易統(tǒng)一資源訓練出符合“Scaling Laws”的模型。

李明順的觀點則是,在當前強應用導向的背景下,開源模式具有顯著優(yōu)勢,能夠吸引全球范圍內最廣泛的人參與,從而使其創(chuàng)新性保持在較高水平。相較之下,盡管一些閉源大型模型在技術上具有領先地位,但其成本太高。不過他也強調,開源與閉源在不同公司和應用場景中可以相互轉換。一些基于開源的產品在發(fā)掘到獨特優(yōu)勢后,可能會通過閉源策略建立競爭壁壘。同時,一些閉源公司也會不斷將其部分產品開源。“這兩個應該都是共存的,未來開源可能用戶量級上更大,但是行業(yè)內,商業(yè)化做得比較好的公司,往往還是閉源的多一點。”

在開源與閉源的辯論中,也許答案并非非此即彼。AI的未來可能既不是完全開放的“自由港”,也不是徹底封閉的“孤島”,而是一個既包含開放協(xié)作也包含封閉競爭的“混合生態(tài)”。在這個生態(tài)系統(tǒng)中,開放與封閉不是對立的兩極,而是一枚硬幣的兩面。

如需轉載請與《每日經濟新聞》報社聯(lián)系。
未經《每日經濟新聞》報社授權,嚴禁轉載或鏡像,違者必究。

讀者熱線:4008890008

特別提醒:如果我們使用了您的圖片,請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。

開源與閉源之爭延續(xù)到大模型時代。在尋找“新大陸”的路上,開源與閉源的辯論,就像是一場關于AI未來的“航海策略”討論。 開源一派認為,開源能夠促進全球科研人員和開發(fā)者的協(xié)作,加速AI技術的迭代與創(chuàng)新。同時,開源讓更多人參與到模型的改進和優(yōu)化中,通過集體智慧解決復雜的技術難題。 閉源的倡導者則看重其在商業(yè)化、技術保護和產品差異化方面的優(yōu)勢。閉源模型使得企業(yè)能夠控制產品的開發(fā)節(jié)奏和市場策略,保護其商業(yè)利益。此外,閉源也有助于企業(yè)維護其技術優(yōu)勢,避免競爭對手模仿或超越。 Llama 3的發(fā)布讓開源大模型在與閉源的競爭中再度“扳回一城”。從測試結果來看,Llama 3的成績大幅超越了Llama 2,也勝過了GPT-3.5。 在AI這場沒有硝煙的“航海競賽”中,大模型已然成為眼前的燈塔,未知的是,這座燈塔究竟是向所有航海者開放其光芒,還是僅為特定的船只照亮前行的航道。 Meta繼續(xù)押寶開源 Meta正沿著開源路徑繼續(xù)前進。 近日,Meta推出開源大模型Llama 3系列,發(fā)布8B和70B兩個版本。Meta CEO扎克伯格在同一天宣布,基于Llama 3,Meta的AI助手現(xiàn)在已經覆蓋Instagram、WhatsApp、Facebook等全系應用,并單獨開啟了網站。 與Llama 2相比,Llama 3進行了幾項關鍵的改進:使用具128K token詞匯表的tokenizer,可以更有效地編碼語言,從而顯著提升模型性能;在8B和70B模型中都采用分組查詢注意力(GQA),以提高Llama 3模型的推理效率;在8192個token的序列上訓練模型,使用掩碼來確保自注意力不會跨越文檔邊界。 據(jù)Meta介紹,Llama 3已經在多種行業(yè)基準測試上展現(xiàn)了最先進的性能,提供了包括改進的推理能力在內的新功能,是目前市場上最好的開源大模型。 此外,Llama 3發(fā)布后,微軟Azure、谷歌云、百度智能云等陸續(xù)宣布其平臺上線Llama 3。百度方面此前對《每日經濟新聞》記者表示,百度智能云千帆大模型平臺在國內首家推出針對Llama3全系列版本的訓練推理方案,便于開發(fā)者進行再訓練,搭建專屬大模型。 工業(yè)和信息化部工業(yè)文化發(fā)展中心AI應用工作組執(zhí)行組長、行行AI董事長李明順在接受《每日經濟新聞》記者采訪時表示,Meta的Llama3的發(fā)布可能會帶來更多AI應用落地機會和場景,它通過提供更大詞匯量的Token詞典、更長的輸入上下文長度以及優(yōu)化的模型結構,增強了模型的編碼效率和推理效率?!艾F(xiàn)在,比起Llama 2,Llama3在代碼能力和邏輯推理能力上有顯著提升,這可能會促進相關AI應用的性能,尤其是在需要復雜邏輯和代碼理解的場景中去落地。” OpenAI在GPT-2之后調轉船頭走向閉源,Meta則成為開源界的引領者。 圖片來源:視覺中國-VCG31N2008743681 從2020年發(fā)布GPT-3,到引發(fā)轟動的GPT-3.5,以及2023年3月發(fā)布的GPT-4,都是閉源模型。此前,馬斯克起訴OpenAI時曾直言:“如果OpenAI改名為ClosedAI,我就撤銷訴訟。” 李明順認為,OpenAI的轉變可能與其商業(yè)戰(zhàn)略和市場定位有關。“初期開源有助于快速吸引關注和社區(qū)參與,但隨著公司的發(fā)展,我估計奧特曼的野心和商業(yè)夢想越來越膨脹了,閉源可以更好地讓它融資,包括和微軟的合作,保護領先的技術優(yōu)勢?!彼硎荆瑥腛penAI的轉變中也可以看出,開源與閉源的選擇并非固定不變,而是需要根據(jù)公司戰(zhàn)略目標、市場環(huán)境和產品發(fā)展階段靈活調整?!疤煜聸]什么事情是絕對的,很多開源公司也是拿著次優(yōu)代碼開源,獨家秘方閉源?!? 在追逐AGI(人工通用智能)這顆明珠的道路上,迄今為止,Meta依舊持續(xù)沿著開源的路徑前行。 2024年初,扎克伯格在Meta第四季度及2023全年財報電話會議上表示:“長期以來,我們的策略是構建并開放源代碼通用基礎設施,同時保留我們的具體產品實現(xiàn)為專有技術?!? 他認為,開源帶來了幾個戰(zhàn)略好處。首先,開源軟件通常更加安全可靠,并且因為社區(qū)的持續(xù)反饋、審查和開發(fā),更加高效。其次,開源軟件經常成為行業(yè)標準,“當企業(yè)開始基于我們的技術棧建立標準時,這使得將新創(chuàng)新融入我們的產品變得更加容易。這種微妙的優(yōu)勢,能夠迅速學習和改進,是巨大的競爭優(yōu)勢,而成為行業(yè)標準正是這一能力的關鍵”。第三,開源在開發(fā)者和研究人員中極受歡迎。 開源與閉源并不矛盾 開源還是閉源,也許是全球人工智能信徒長久的辯題。在Llama 3誕生前幾天,國內同樣在進行一場“辯論”。 4月11日,百度董事長兼首席執(zhí)行官李彥宏在其內部講話中直言,大模型開源的意義不大,閉源模型在能力上會持續(xù)領先,而不是一時領先,做模型的創(chuàng)業(yè)公司既做模型又做應用的“雙輪驅動”不是一個好的模式。在一周后的Create 2024百度AI開發(fā)者大會上,李彥宏再度提到,“大家以前用開源覺得開源便宜,其實在大模型場景下,開源是最貴的,所以開源模型會越來越落后”。 圖片來源:企業(yè)供圖 360公司創(chuàng)始人周鴻祎則持不同的觀點?!熬W上有些名人胡說八道,大家也別被他們忽悠,說開源不如閉源好。一句話,今天沒有開源就沒有Linux( 操作系統(tǒng)內核),沒有Linux就沒有互聯(lián)網,就連說這話的公司自己都借助了開源的力量才成長到今天。” 這段發(fā)言被解讀為對李彥宏觀點的回懟,周鴻祎隨后澄清道:“我一直是開源的信徒,但是我說開源好,是(4月)13號在哈佛講的,李廠長(指李彥宏)說閉源好,是(4月)16號在北京講的。” 生數(shù)科技聯(lián)合創(chuàng)始人兼CEO唐家渝站在閉源的一邊。在4月18日舉行的“2024中國生成式AI大會”上,唐家渝談到,開源帶來的最大價值是生態(tài)的價值,基于技術不斷突破,開源界人人都可以去貢獻力量。而大模型需要大規(guī)模數(shù)據(jù)、大規(guī)模的算力去訓練、迭代,參數(shù)量越大效果越好,是偏中心化的事情?!霸瓉黹_源界非常有益的模式到這里割裂了。在我們看來,開源、閉源商業(yè)生態(tài)上都有各自可以做的商業(yè)生態(tài),但是從模型能力的提升來說,或者持續(xù)走到前列來說,閉源還是會走到開源的前面?!? 昆侖萬維董事長方漢的觀點是,開源模型與閉源模型之間的差距正在不斷縮小。4月16日,方漢在接受《每日經濟新聞》記者在內的媒體采訪時表示:“閉源模型的確(是)第一,但是開源大模型的接近程度在2023年到今年這一年間,從落后兩年以上,已經進化到落后4—6個月以上?!? 此外,方漢認為,在應用側,閉源對于產品特性和長尾需求的滿足都落后于開源大模型,開源大模型是一種生態(tài)構建器,更利于滿足用戶的長尾需求。“我個人認為開源大模型和商業(yè)大模型是一個生態(tài)的組成部分,不是誰壓倒誰,大家都有自己的生存空間,也都有更好的明天。” 不過,從商業(yè)化上來講,閉源和開源也許并不矛盾。啟明創(chuàng)投合伙人周志峰就認為,“開源閉源在過去幾個大浪潮當中沒有很大的沖突,我不太理解為什么很多人愿意把閉源、開源在AI時代看成對立”。但他也提到,從技術角度,開源模型及背后的公司更容易統(tǒng)一資源訓練出符合“Scaling Laws”的模型。 李明順的觀點則是,在當前強應用導向的背景下,開源模式具有顯著優(yōu)勢,能夠吸引全球范圍內最廣泛的人參與,從而使其創(chuàng)新性保持在較高水平。相較之下,盡管一些閉源大型模型在技術上具有領先地位,但其成本太高。不過他也強調,開源與閉源在不同公司和應用場景中可以相互轉換。一些基于開源的產品在發(fā)掘到獨特優(yōu)勢后,可能會通過閉源策略建立競爭壁壘。同時,一些閉源公司也會不斷將其部分產品開源?!斑@兩個應該都是共存的,未來開源可能用戶量級上更大,但是行業(yè)內,商業(yè)化做得比較好的公司,往往還是閉源的多一點?!? 在開源與閉源的辯論中,也許答案并非非此即彼。AI的未來可能既不是完全開放的“自由港”,也不是徹底封閉的“孤島”,而是一個既包含開放協(xié)作也包含封閉競爭的“混合生態(tài)”。在這個生態(tài)系統(tǒng)中,開放與封閉不是對立的兩極,而是一枚硬幣的兩面。
開源 模型 大模型 Ai META GPT

歡迎關注每日經濟新聞APP

每經經濟新聞官方APP

0

0