最近這段時間,Meta可謂是成為了海外互聯網行業的焦點,其創始人扎克伯格一邊與馬斯克約架,一邊僅用5天收穫上億用戶的Threads成功奇襲了推特。近日,此前本來在AI大模型戰局中扮演小透明角色的Meta,突然又搞出了一件大事。
就在北京時間7月19日,Meta方面在微軟的Inspire合作伙伴大會上宣佈,將與包括微軟在內的主要雲計算服務提供商合作,推出新一代開源大模型Llama 2,並將該模型免費開放給商業和研究機構使用。
根據Meta方面的說法,在這一項目中,他們承擔了大模型訓練的成本,而包括微軟、亞馬遜在內的雲計算服務提供商將託管這款大模型,並提供運行其所需的算力。對此,Meta生成式AI事業群副總裁Ahmad Al Dahle表示,Meta方面之所以迅速推出Llama 2,是因為前代產品Llama的受歡迎程度出乎預料,他們收到了超過10萬個關於Llama的申請。
彼時Meta給Llama的身份是開源研究工具,只提供非商業化機構使用,如果不是這款大模型意外在4chan上洩露,很有可能就默默無聞了。如今回過頭來看,Llama的洩露很有可能是Meta有意而為之,並藉此來試探社區對於開源大模型的態度,而在得到了社區身體力行的支持後,Llama 2也就很快誕生了。
值得一提的是,Llama 2並不是Meta的趕工之作,如果他們沒有弄虛作假的話,其本身的性能就相當出世。根據Meta方面公佈的數據顯示,Llama 2相較於上一代訓練數據提升了40%,上下文長度也翻倍,並採用了分組查詢注意力機制。在官方給出的測試結果中表明,Llama 2在mmlu、agieval等多個權威大模型評測基準中,關於推理、編碼、知識測試等方面的表現都優於其他開源模型,甚至在某些場景下有著接近GPT-3.5的水準。
不過性能或許並非外界對於Llama 2的到來感到歡欣鼓舞的關鍵,Meta決定其可免費用於商業用途,無疑才是大家喜出望外的原因。為了實現可控的商業化,Meta方面已經組織自己的員工和第三方圍繞Llama 2進行了Red Team測試,避免該模型產出有害內容,併為開發者制定了使用指南和守則。
事實上,Meta的Llama系列大受業界歡迎的原因很簡單,因為這是一個少有的開源AI大模型。但受到開源協議的限制,基於該模型衍生的產品都無法商業化,直到Llama 2的出現給了整個業界一個“站在巨人肩膀上”的機會。
至於說為何Meta會選擇開源Llama 2,而不是像OpenAI的ChatGPT、谷歌的Bard一般敝帚自珍,扎克伯格是這樣說的,“Meta有著悠久的開源歷史,開源推動創新,它讓更多開發者能夠使用新技術進行開發,同時提高了技術的安全性。我們相信如果生態系統更開放將帶來更多進步,這就是我們開源Llama 2的原因。”
要知道截至目前為止,無論海外市場的OpenAI、微軟、谷歌,還是國內的百度、阿里、360,在AI大模型領域都採用的是“閉門造車”的策略。這也是為什麼大模型到底是不是創業的機會,會在創業者和投資人之間產生分歧的關鍵。
事實上,大語言模型是“力大磚飛”的結果,在OpenAI的ChatGPT一鳴驚人之前,業界更青睞的是谷歌的Transformer模型,追求的是如何設計出更小、更快,但更準確的神經網絡。而ChatGPT的成功,就成功在它提出了一個新的思路,那就是加大參數、加高算力的大模型也是一條路,並且真的讓其產生了智能。
但問題在於,如果單純從技術層面出發,大模型的技術壁壘並非深不可測,否則即便OpenAI對自己基於人類反饋的強化學習(RLHF)技術秘而不宣,也沒能阻擋不了百度的文心一言、阿里的通義千問、谷歌的Bard等一眾大模型的出現。甚至在很短的時間裡,國內市場的“百模大戰”就正式開打,這也代表著這個領域的先發優勢可能幾乎不值一提。
只可惜,大模型的技術壁壘不高或許僅僅是針對大型互聯網廠商適配,但對於創業者而言,需要高算力、大數據和強算法,並且消耗海量資源的搭建通用大模型幾乎只能是巨頭們的遊戲,大多數創業者有心無力。如果沒有Meta開源的Llama,創業者就只能加入OpenAI的生態,並使用後者的付費API來打造自己的產品,這就等於是要依附於OpenAI。所以一旦有的選,大家顯然並不希望將身家性命交付他人之手。
而Meta此前洩露的LLama給了資源有限的創業者施展拳腳的舞臺,基於LLama模型以及LoRA訓練技術,開源社區也打造出了ChatLLaMa、Koala等模型。利用社區的力量群策群力最終實現極低成本下的高速迭代,這就是開源大模型的優勢。就像有谷歌員工坦言的那般,“如果存在一個沒有使用限制的免費高質量替代品,誰又還會為帶有使用限制的產品買單呢?”
以閉源自研產品為核心,用API或插件的形式向開發者賦能,這是OpenAI、百度的道路,也是當年蘋果在iOS上所採取的策略,但入局大模型領域慢人一步的Meta已經失去了先機,因此選擇開源就是試圖復刻Android當年的成功路徑,用開放來吸引更多人來共建生態。以史為鑑,可知興替,這點幾乎放之四海而皆準。
成本受限的中端機,註定就只能放棄外觀設計嗎
中端產品“千機一面”的最主要原因,或是成本所限。