科普時(shí)報(bào)記者 陳 杰
歷時(shí)一年有余，大模型話題的熱度依然不減。在國內(nèi)，通用大模型格局初定后，行業(yè)大模型如雨后春筍，帶動著資本和創(chuàng)業(yè)團(tuán)隊(duì)涌入這一新興領(lǐng)域?？涨暗母偁帒B(tài)勢之下，行業(yè)逐漸進(jìn)入到用訓(xùn)練參數(shù)衡量大模型能力的“狂飆”模式。
但在獵豹移動董事長兼CEO傅盛看來，大模型并非訓(xùn)練參數(shù)越大就越好用?！按竽Ｐ蛣?chuàng)新，除了套殼之外想要做深并不容易，特別是面對千億級參數(shù)大模型時(shí)，不能不跟，但也不能太冒進(jìn)。”
大模型正陷進(jìn)參數(shù)怪圈
自ChatGPT橫空出世以來，不論是通用大模型還是行業(yè)模型，千億級訓(xùn)練參數(shù)一直被認(rèn)為是商業(yè)化應(yīng)用的最佳方案。事實(shí)確實(shí)如此，大模型的訓(xùn)練參數(shù)越大，模型的能力可能會越強(qiáng)。
新壹科技CEO雷濤告訴記者，大模型熱衷于大參數(shù)訓(xùn)練，是為了更好地捕捉和處理復(fù)雜的語義連接，提高生成內(nèi)容的連貫性和準(zhǔn)確性。“不過，參數(shù)規(guī)模并非唯一決定模型能力的因素，包括模型的結(jié)構(gòu)、深度、訓(xùn)練方法、優(yōu)化算法、數(shù)據(jù)質(zhì)量等，也影響著大模型的能力?！?/p>
對于當(dāng)前大模型創(chuàng)業(yè)熱潮，傅盛說他一直心存著“跟不跟和怎么跟”的焦慮。他認(rèn)為，目前大模型的創(chuàng)新其實(shí)是在找到不同的路，以更少的投入換取更大的產(chǎn)出?！霸谌袠I(yè)順著谷歌指引的路線一起卷的時(shí)候，AI技術(shù)發(fā)展的瓶頸依然沒有被突破。ChatGPT的出現(xiàn)其實(shí)更像是哥倫布航海，不是這個艦隊(duì)有多強(qiáng)大，而是走了別人不敢走的路?！?/p>
基于這種認(rèn)知，獵豹旗下的獵戶星空日前帶著140億參數(shù)的大模型產(chǎn)品姍姍來遲。傅盛認(rèn)為，行業(yè)大模型還是要從應(yīng)用出發(fā)，千億級訓(xùn)練參數(shù)大模型應(yīng)該是頭部大公司該干的，如果能從應(yīng)用出發(fā)找到好的場景，小參數(shù)模型也是一個非常好的機(jī)會。在他看來，“百億參數(shù)的模型加上私有數(shù)據(jù)和應(yīng)用打磨，在專業(yè)領(lǐng)域可以約等于甚至大于千億參數(shù)大模型?！?/p>
行業(yè)大模型將百花盛開
傅盛的反行業(yè)潮流觀點(diǎn)，居然得到與之決裂16年的360創(chuàng)始人周鴻祎的認(rèn)同。周鴻祎認(rèn)為，很多用戶要的也許并不是GPT-4，而只是需要一個能寫古詩又能寫文言文，還能回答奧數(shù)問題的應(yīng)用模型。“這種百億級訓(xùn)練參數(shù)的大模型因?yàn)橛辛藢ｉT針對應(yīng)用的訓(xùn)練，使用體驗(yàn)甚至?xí)?qiáng)過GPT-4。”
其實(shí)，OPPO日前發(fā)布的70億參數(shù)端側(cè)大模型智能手機(jī)Find X7系列就驗(yàn)證了這一觀點(diǎn)。在相同的應(yīng)用場景下，這款僅70億參數(shù)端側(cè)大模型對標(biāo)千億參數(shù)云端大模型之時(shí)，在保障用戶隱私安全的前提下，為用戶帶來了響應(yīng)快、處理能力強(qiáng)、生成質(zhì)量高的本地AI體驗(yàn)。
雷濤認(rèn)為，雖然增加模型參數(shù)可以提升模型的復(fù)雜度和表達(dá)能力，但是過大的模型參數(shù)反而可能對專有特有領(lǐng)域數(shù)據(jù)不敏感，且參數(shù)越大模型訓(xùn)練結(jié)果也可能不穩(wěn)定?！盎谟?jì)算、訓(xùn)練和存儲等綜合考量，大模型未來的機(jī)遇更多會在產(chǎn)業(yè)垂直賽道。”
在周鴻祎看來，大模型的發(fā)展一定會是兩極分化?！耙环矫媲|、萬億級別大模型會出現(xiàn)并越做越大，就像超算一樣；另一方面是將大模型做小，以細(xì)分場景做出具體應(yīng)用，應(yīng)用于具體場景。”
展望2024年，傅盛預(yù)測千億大模型中過半會凋零，而百億大模型會百花盛開。“真正面向消費(fèi)者端原生大模型應(yīng)用的繁榮，可能還需要一到兩年的時(shí)間。”
下一篇：返回列表
【免責(zé)聲明】本文轉(zhuǎn)載自網(wǎng)絡(luò)，與科技網(wǎng)無關(guān)?？萍季W(wǎng)站對文中陳述、觀點(diǎn)判斷保持中立，不對所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考，并請自行承擔(dān)全部責(zé)任。