文 | 周鑫雨

(資料圖)

編輯 | 鄧詠儀

8月2日，在百度文心千帆大模型平臺媒體圓桌會議上，百度攜著自己的大模型伙伴，在文心千帆上開設(shè)了模型的“百貨超市”。

國內(nèi)“百模大戰(zhàn)”已經(jīng)打了半年。做大模型的巨頭們，進度條已經(jīng)從大模型研發(fā)，快速拉到建立合作伙伴、渠道和生態(tài)。

此前，字節(jié)火山引擎和阿里通義千問都已經(jīng)建立“模型貨架”，拉攏一批AI公司或者大模型公司到自家平臺上，提供從云到AI開發(fā)等服務(wù)。

如今的文心千帆做的更像是“跨境電商”：一方面，文心千帆接入的第三方模型足夠多：33個，規(guī)模超越了此前拉伙7家國內(nèi)大模型廠商的火山方舟。

另一方面，RWKV、Stability Diffusion，甚至Meta在7月19日發(fā)布的Llama2等國外知名大模型，也陳列其中。

文心千帆上線的部分第三方大模型。圖源：百度

此外，此次文心千帆還上線了130套預(yù)制Prompt（提示詞）模板和插件功能。所謂的“Prompt模板”，就是教會用戶如何對大模型提出更好的問題，從而獲得更優(yōu)質(zhì)的反饋，而百度提供的“預(yù)制Prompt模板”，則是將提問方式的標準答案，直接喂給了用戶。至于新增的插件，率先在百度內(nèi)部辦公軟件“如流”上進行了測試，未來將陸續(xù)登陸文心千帆。

33個國內(nèi)外第三方大模型入駐平臺

發(fā)布會上，百度智能云AI與大數(shù)據(jù)平臺總經(jīng)理忻舟介紹，這次入駐的第三方大模型的特色在于性能互補，能夠滿足不同用戶的需求，比如支持無限上下文長度的RWKV，和英文能力較強的Llama2，彌補了文心一言相應(yīng)的短板。

針對上架的第三方模型，百度主要在3個方面做了調(diào)控：

提高可靠性和安全性。 降低成本：調(diào)整后模型體積可壓縮至25%-50%，推理成本可降低50%。 支持全套工具鏈、多樣化模型調(diào)優(yōu)：接入模型支持SFT（全量參數(shù)微調(diào)、Prompt Tuning、Lora）、強化學習等調(diào)優(yōu)方式。

不過，在開源生態(tài)愈發(fā)體系化的當下，不少開源模型第三方機構(gòu)對開源商用許可做出了嚴格的規(guī)定。即便開放了免費商用的Llama2，Meta對用戶也進行了約束：如果產(chǎn)品的月活躍用戶（MAU）超過7億，用戶必須申請?zhí)厥獾纳虡I(yè)許可證。

對此，忻舟表示，百度在引入大多數(shù)開源模型時，都會和開發(fā)團隊進行溝通，比如智譜的ChatGLM2-6B既有開源版，同時也有商用版，那么針對商用版百度會與智譜進行分成。但由于上線時間緊張，因此目前百度和Meta等國外模型團隊正在保持溝通。

針對已上線的第三方模型，百度將根據(jù)市場和客戶反饋采取上新和淘汰機制。忻舟告訴36氪，為了降低用戶的選擇成本，文心千帆的模型庫不會是無限擴張的狀態(tài)，最終仍會根據(jù)市場選擇更新或者下架。

上線103個預(yù)制Prompt模板，幫客戶提問題

在用戶實際使用模型的過程中，提問的方式往往會影響模型輸出的內(nèi)容。這是因為，一個好的問題模版往往能夠幫助預(yù)訓(xùn)練模型“回憶”起預(yù)訓(xùn)練時學習到的內(nèi)容——這一問題模板就被稱為Prompt。

不過，文心千帆并不打算花時間教用戶如何寫Prompt，而是直接幫用戶寫完問題。

此次上線的103個預(yù)制Prompt模板，覆蓋了對話、編程、電商、醫(yī)療、游戲、翻譯、演講等十多個場景。據(jù)百度智能云AI平臺副總經(jīng)理李景秋介紹，預(yù)制Prompt模板來源于百度智能云在產(chǎn)業(yè)實踐中積累的Prompt模板，也源自文心一言的高頻用戶。

文心千帆上線的103個預(yù)制Prompt模板。圖源：文心千帆截圖

比如當用戶希望文心一言對電影《芭比》做出評價時，簡單提問“電影《芭比》好看嗎？”與使用預(yù)制Prompt模板后得到的影評在質(zhì)量、篇幅上均有較大差距。

用“電影《芭比》好看嗎？”提問后，文心一言的回答。圖源：作者試用

用文心千帆預(yù)制Prompt提問后，文心一言的回答。圖源：作者試用

上線插件，新增文檔摘要功能

所謂的插件，就像是大模型中的“小程序”，作為模型能力的補充和拓展。

此前，ChatGPT已經(jīng)開放了74個插件，功能涵蓋購物、求職、營銷、票務(wù)預(yù)定等。但過多的第三方插件也會帶來安全風險，媒體Wired報道指出，安全研究人員表示，ChatGPT 插件的運行方式存在風險，可能會導(dǎo)致用戶的數(shù)據(jù)泄露，甚至被黑客濫用。

作為國內(nèi)模型插件的“吃蟹者”，文心千帆此次上線的“百度搜索”和“ChatFile”插件均由百度自行研發(fā)。

文心一言上線的兩款插件。圖源：作者截圖

值得一提的是，“ChatFile”可檢索PDF/Doc格式文檔中的知識點，并且實現(xiàn)文本摘要等功能。

ChatFile插件對《正午之魔：抑郁是你我共有的秘密》一書的總結(jié)。圖源：作者試用

李景秋介紹，文心千帆的插件已經(jīng)應(yīng)用于百度辦公軟件“如流”中。目前，如流已經(jīng)接入了20個插件，涵蓋文檔搜索、會議紀要、會議室預(yù)定等功能。未來，文心千帆的插件生態(tài)也將開放給第三方開發(fā)者。

“如流”接入的20個插件。圖源：百度

忻舟表示，一站式大模型平臺最后會更被開發(fā)者所需要，隨著技術(shù)的不斷成熟，底層設(shè)施和工具的開發(fā)會放緩，更多的精力會被放在保證自己的業(yè)務(wù)不被技術(shù)發(fā)展所淘汰，這時上層應(yīng)用對平臺工具的需求會更大，平臺之間比拼的是服務(wù)的能力，“在激烈競爭中，一定會有一些做得好的頭部的平臺，能夠變成主要的玩家?！?/p>

歡迎交流！

關(guān)鍵詞：