隨著ChatGPT的爆火,越來越多的廠商選擇推出自家的類ChatGPT產品,市面上的AI語言類產品越多其語言模型就越重要。
在2月末,新浪科技曾報道,復旦大學計算機科學技術學院教授邱錫鵬在2023年世界人工智能開發者先鋒大會上表示,如果優化順利,計劃在三月底開源MOSS。
據介紹,MOSS是國內首個類ChatGPT模型,由復旦大學自然語言處理實驗室邱錫鵬教授團隊於2月20日發佈,在當時吸引了不少小夥伴的關注,希望其可以快速追趕ChatGPT推出國內第一個插件增強的開源對話語言模型。
就在昨日,據觀察者網報道,復旦大學自然語言處理實驗室開發的新版MOSS模型今日正式上線,成為國內首個插件增強的開源對話語言模型。
並且,MOSS模型已上線開源,相關代碼、數據、模型參數已在Github和Hugging Face等平臺開放,供科研人員下載。
據相關介紹可以得知,MOSS是一個支持中英雙語和多種插件的開源對話語言模型,moss-moon系列模型具有160億參數,在FP16 精度下可在單張A100/A800或兩張RTX 3090顯卡運行,在INT4/8精度下可在單張RTX 3090顯卡運行,就目前其所需要求來看,相比於其他的AI項目已經算是要求較低的了。
MOSS基座語言模型在約七千億中英文以及代碼單詞上預訓練得到,後續經過對話指令微調、插件增強學習和人類偏好訓練具備多輪對話能力及使用多種插件的能力。
並且,根據其GitHub介紹頁面可以得知,該項目所含代碼採用Apache 2.0協議,數據採用CC BY-NC 4.0協議,模型權重採用GNU AGPL 3.0協議。如需將該項目所含模型用於商業用途或公開部署,需要簽署文件併發送至[email protected]取得授權,商用情況僅用於記錄,不會收取任何費用。
為了更好的瞭解MOSS,在之前的相關報道中,復旦大學計算機科學技術學院邱錫鵬團隊將MOSS和ChatGPT進行了對比,據其稱最大差異還是參數規模。ChatGPT的參數量多達1750億個,而MOSS的參數量比其小一個數量級,大約是前者的1/10左右。
團隊選擇百億規模這樣級別的參數,是因為學術界主要是做一些探索性的技術,這個規模也在財力物力承受範圍之內。其認為在這個參數級別上,這些模型也能湧現出一定的智能能力,也能賦予MOSS對話的能力。實驗結果證實了團隊的猜想,MOSS模型可以非常順利地與人類進行聊天互動。
也就是說就目前的對比來看,MOSS規模僅為ChatGPT的1/10左右,但此量級的參數就使得MOSS已經擁有了對話的能力,並且可以進行一些研究,並且後續可以通過插件來實現更高難度的操作,目前MOSS已經開放,有實現能力的小夥伴可以體驗一下。

近期文章精選:
SpaceX星艦在空中爆炸,首飛失敗馬斯克為何如此樂觀?
8999元起,vivo X Fold2測評體驗 摺疊屏中的旗艦機
小米13 Ultra、OPPO Find X6 Pro、vivo X90 Pro+,影像旗艦選哪款?