每日經濟新聞 2024-06-13 19:48:10
每經編輯 張錦河 每經實習編輯 宋欣悅
6月13日,由硅谷知名創(chuàng)投公司安德森·霍洛維茨(Andreessen Horowitz,簡稱a16z)投資的美國初創(chuàng)公司Luma AI,宣布推出其文生視頻/圖生視頻模型Dream Machine,并免費向公眾開放。消息一出,瞬間吸引了大批用戶前來使用,服務器一度被擠爆。Dream Machine高質量的生成效果也獲得了不少網友的好評。
圖片來源:Luma官網
就在今天,Luma AI首發(fā)了自己的視頻生成模型Dream Machine,可以通過文字或圖片生成高質量的逼真視頻。更重要的是,API免費向全球用戶開放試用,用戶進入官網后用谷歌賬號登錄即可馬上試用。
圖片來源:X
每位用戶每月可以免費生成30次視頻,但每條視頻的時長僅為5秒。如果需要生成更多視頻,則需要訂閱付費服務。
圖片來源:Dream Machine
盡管該模型承諾,在120秒內生成一個包含120幀的高質量視頻。但實際上,許多用戶表示,他們需要在Dream Machine網站上排隊等待數小時,才能得到生成的視頻,社交媒體上抱怨聲不斷。有網友表示:“苦苦等了倆小時,啥也沒有。”
圖片來源:Reddit
對此,Luma AI的增長負責人戴高樂(Barkley Dai)在該公司的Discord頻道上回應:“目前我們面臨極高的需求,正在努力增加我們的處理能力。所有生成的內容不會丟失,只是大家會暫時排隊等待。”
圖片來源:Discord
不過好在,Dream Machine的視頻生成表現,沒有辜負網友們的耐心等待。從Luma官方發(fā)布的demo就可以看出,其生成的視頻可謂是“電影感”十足。
圖片來源:Luma官網
Dream Machine生成的視頻,不僅有比較好的連貫性,鏡頭的藝術感也非常不錯。它還支持自由變換攝像機視角,實現追蹤、環(huán)繞和俯視等效果,讓攝像機運動更加流暢自然,用戶可以輕松嘗試各種電影化的攝像機移動,制作出更具吸引力的視頻。此外,demo還單獨強調了一些模型能力,比如生成各種動態(tài)以及具有表現力的人物。
圖片來源:Luma官網
盡管Luma的Dream Machine在視頻生成方面表現出色,但它仍然存在一些不足之處。
例如,在形態(tài)轉換和運動捕捉方面,仍需進一步優(yōu)化和改進。不過,Luma Labs團隊在其官網上,表明他們已經意識到這些挑戰(zhàn)的存在,會持續(xù)努力解決的。
Luma成立于2021年,聚焦于3D內容生成的計算機視覺,公司定位于建立多模態(tài)人工智能,拓展人類想象力和能力。今年1月,Luma完成了由a16z獨家投資的4300萬美元B輪融資。此前,Luma在A輪融資中獲得了英偉達等知名機構的投資。
圖片來源:Luma官網
Luma的主要業(yè)務為使用AI技術生成高質量的3D角色和場景,公司的技術和產品包括使用深度學習和計算機視覺算法的 Text-to-3D(文字生成3D)、Video to 3D(視頻生成3D)、 Image to 3D(圖片生成3D)等技術以及開發(fā)的 LumaNeRF 算法,可以用于快速生成各種類型的3D模型。
產品主要應用場景包括生活記錄、游戲制作、動畫和影視制作、商品展示和銷售、地圖和導航、機器人等。
圖片來源:Tracxn
阿米特·賈因(Amit Jain)是Luma AI的創(chuàng)始人兼CEO,畢業(yè)于密蘇里谷學院的數學與計算機科學專業(yè),在3D計算機視覺、機器學習等方面有著豐富的經驗,曾在Apple的AR/VR 部門任職。另一位聯合創(chuàng)始人兼CTO余思賢(Alex Yu),畢業(yè)于UCB計算機科學與應用數學專業(yè),曾與人工智能研究實驗室教授金澤安珠(Angjoo Kanazawa)共同進行NeRF相關的 3D 計算機視覺研究,并曾在Adobe和Google實習。
圖片來源:Luma官網
每日經濟新聞綜合公開消息
如需轉載請與《每日經濟新聞》報社聯系。
未經《每日經濟新聞》報社授權,嚴禁轉載或鏡像,違者必究。
讀者熱線:4008890008
特別提醒:如果我們使用了您的圖片,請作者與本站聯系索取稿酬。如您不希望作品出現在本站,可聯系我們要求撤下您的作品。
歡迎關注每日經濟新聞APP