1. <p id="sjedc"><label id="sjedc"><xmp id="sjedc"></xmp></label></p>

      <table id="sjedc"><strike id="sjedc"></strike></table>

      <pre id="sjedc"></pre>

      <table id="sjedc"><strike id="sjedc"></strike></table>
      <tr id="sjedc"></tr>
      <track id="sjedc"></track>

        分享
        中新經緯>>科技>>正文

        馬斯克開源3140億參數的Grok,大模型爭相開源所為何求?

        2024-03-19 08:05:13 第一財經

          馬斯克開源3140億參數的Grok,大模型爭相開源所為何求?

          作者:劉曉潔

          特斯拉CEO埃隆·馬斯克(Elon Musk)給大模型領域投下一枚重磅炸彈。

          北京時間3月18日凌晨,馬斯克旗下大模型公司 xAI 在官網宣布開源 3140 億參數的大模型Grok-1,以及該模型的權重和網絡架構。

          這是目前為止參數量最大的開源模型,此前開源大模型中影響力較大的是 Meta開源的Llama 2,有700億參數。在GitHub頁面中,官方提示,由于Grok模型規模較大,需要有足夠GPU和內存的機器才能運行。

          開源大模型生態社區OpenCSG的創始人陳冉認為,在馬斯克開源前,大家還在討論開源好,還是閉源好,“馬斯克開源的意義很大,說明AI 2.0,也就是大模型的大趨勢就是以開源為主的漸進創新方式!睂τ谄髽I和個人來說,在 Llama、Gemma和Mistral這些開源大模型外,也會有更多選擇。

          大模型廠商紛紛開源

          據xAI官方發布公告介紹,Grok-1是一個由xAI從頭開始訓練的混合專家(MoE)模型,目前開源的是其2023年10月的原始基礎模態,沒有針對任何任務進行微調,意味著這個模型目前還沒有針對任何應用開發。

          xAI 提到遵守 Apache 2.0 許可證來開源 Grok-1 的權重和架構,而Apache 2.0 許可證允許用戶自由地使用、修改和分發軟件,無論是個人還是商業用途。

          馬斯克一直是開源的支持者,對OpenAI閉源的商業路線有所不滿。幾周前,馬斯克向法院提起訴訟,以違反合同為由起訴OpenAI及其CEO奧爾特曼(Sam Altman),要求該公司恢復開源。馬斯克在訴訟中表示, OpenAI違背了公司成立時達成的一項協議,即開發技術以造福人類而不是利潤。OpenAI與科技巨頭微軟的關系損害了該公司最初致力于公共、開源的通用人工智能(AGI)的目標。

          馬斯克在2023年創立大模型公司xAI,他曾表示,創立xAI就是為阻止人工智能領域出現“一家獨大”的局面。隨后,xAI推出大語言模型Grok。

          此次Grok開源后,ChatGPT官方賬號也現身評論區,馬斯克正面開“懟”回復稱:告訴我們更多關于OpenAI “開放”的部分(Tell us more about the “Open” part of OpenAI)。

          和OpenAI為代表的閉源路線相反的是,開源成為不少大模型廠商選擇的方向。同樣在3月18日,國內創企潞晨科技的Colossal-AI團隊宣布,全面開源Open-Sora模型參數和所有訓練細節。Open-Sora是一個類Sora架構視頻生成模型,模型采用了目前火熱的Diffusion Transformer(DiT)架構。

          公開資料顯示,Open-Sora背后的公司潞晨科技創立于2021年7月,創始人尤洋是加州伯克利大學博士、新加坡國立大學計算機系的校長青年教授。

          潞晨科技在其今日的官方發文中提到了團隊用低成本方法復現Sora的路徑。在復現流程中,團隊共使用了64塊H800進行訓練。第二階段的訓練量一共是 2808 GPU hours,約合7000美元,第三階段的訓練量是1920 GPU hours,大約4500美元,成功把Open-Sora復現流程控制在了1萬美元左右。

          具體技術細節上,官方提到,為了進一步降低Sora復現的門檻和復雜度,Colossal-AI團隊在代碼倉庫中提供了便捷的視頻數據預處理腳本,可以輕松啟動Sora復現預訓練,包括公開視頻數據集下載,長視頻根據鏡頭連續性分割為短視頻片段,使用開源大語言模型LLaVA生成精細的提示詞。團隊提供的批量視頻標題生成代碼可以用兩卡 3 秒標注一個視頻,并且質量接近于 GPT-4V。最終得到的視頻/文本對可直接用于訓練。

          開源所為何求?

          無論是國內還是海外,大模型開源都已經成為一大趨勢。對于大模型廠商開源的動力,陳冉對第一財經表示,“主要是招攬客戶,做影響力!

          陳冉比喻道,大模型的這個打法就像互聯網時代移動應用的市場模式,“免費試用一段時間,后面有企業包裝后的功能或者服務,這個東西也相當于汽車里的發動機,直接用不起來,需要包裝成整車(企業功能)!

          2023年 7月,Meta公布開源最新大模型Llama 2,包含70 億、130 億和 700 億三種參數類型,并宣布可免費用于商業或者研究。彼時Meta公開表示 ,開放的方法是當今人工智能模型開發的正確方法,特別是在技術快速發展的生成領域。通過公開提供人工智能模型,它們可以使每個人受益。

          而最近一次影響力較大的開源是谷歌,其在2月22日宣布推出開源模型系列Gemma,包含Gemma 2B 和 Gemma 7B,模型權重也一并開源,且允許商用。

          倒回半年多以前,2023年5月,一份谷歌的內部文件曾在網上傳開并引發討論。這份內部文件認為,開源大模型迅猛發展,正在侵蝕OpenAI和谷歌的陣地。除非改變閉源的立場,否則開源替代品將最終使這兩家公司黯然失色。

          “雖然我們的模型在質量方面仍略占優勢,但(閉源和開源模型)的差距正在以驚人的速度縮小!蔽募䦟懙。外媒確認了內部文件的真實性,這篇文章的原作者是谷歌高級軟件工程師Luke Sernau。

          開源模式的迭代進步速度已經威脅到了部分閉源模型的生存。文件表示,開源大模型的很多創新,都是源于Meta LLaMA模型的泄露,但Meta又成為這一進程中一個明顯的贏家——他們相當于獲得了整個星球的免費勞動力,“擁有生態系統的價值怎么強調都不為過!

          “開源的最終目的是變現,做出商業模式!标惾秸J為,大模型領域的開源趨勢會促進和推動行業在上面的商業化,快速迭代、快速試錯、共創共擔,對于這個生態只有好處,沒有什么不利,“開源只會越來越澎湃向上,不會走向閉源!

          在Llama 2開源時,Meta CEO馬克·扎克伯格曾為其站臺,稱Llama 2為大模型的“次世代”產品,他表示,開源推動了創新,因為它讓更多的開發者能夠使用新技術。同時,軟件開源意味著更多的人可以審查它,識別并修復可能存在的問題,從而提高了安全性,“我相信如果生態系統更加開放,將會釋放更多的進步,這就是我們開源Llama 2的原因!

          不過,在開源的同時,廠商們也并未完全放棄閉源路線。來自法國的Mistral AI最初是開源起家,其開源的Mistral 7B一度被稱為最好的 7B 模型,這家初創公司也被譽為“歐洲的OpenAI ”,但就在前不久,Mistral AI發布了最強的旗艦模型 Mistral Large,性能對標 GPT-4,卻沒有選擇開源,其CEO 阿瑟·門斯(Arthur Mensch)公開表示,未來他們依然會堅持開源理念,但是同時也會推出性能最為強大的閉源模型參與商業競爭。

          此次,馬斯克開源了目前最大參數量的Grok,再次攪動大模型領域的戰爭。閉源還是開源路線勝?猶未可知。對于科技圈而言,正如OpenAI CEO奧爾特曼在3月18日凌晨的推文所述,“這是人類歷史上最有趣的一年,除未來所有年份以外!

        來源:第一財經

        編輯:秦志偉

        廣告等商務合作,請點擊這里

        本文為轉載內容,授權事宜請聯系原著作權人

        中新經緯版權所有,未經書面授權,任何單位及個人不得轉載、摘編或以其它方式使用。
        關注中新經緯微信公眾號(微信搜索“中新經緯”或“jwview”),看更多精彩財經資訊。
        關于我們  |   About us  |   聯系我們  |   廣告服務  |   法律聲明  |   招聘信息  |   網站地圖

        本網站所刊載信息,不代表中新經緯觀點。 刊用本網站稿件,務經書面授權。

        未經授權禁止轉載、摘編、復制及建立鏡像,違者將依法追究法律責任。

        [京B2-20230170]  [京ICP備17012796號-1]

        違法和不良信息舉報電話:18513525309 報料郵箱(可文字、音視頻):zhongxinjingwei@chinanews.com.cn

        Copyright ©2017-2024 jwview.com. All Rights Reserved


        北京中新經聞信息科技有限公司

        av制服揉乳掐臀,av中文字幕网,av中文字幕无码,av中文字幕无码一二三区
        1. <p id="sjedc"><label id="sjedc"><xmp id="sjedc"></xmp></label></p>

          <table id="sjedc"><strike id="sjedc"></strike></table>

          <pre id="sjedc"></pre>

          <table id="sjedc"><strike id="sjedc"></strike></table>
          <tr id="sjedc"></tr>
          <track id="sjedc"></track>