文心一言

文心一言(英文名:ERNIE Bot)是百度創(chuàng)造的人工智能大型語言模型。具有跨模式、跨語言的深度語義理解和生成能力，可用于文學(xué)創(chuàng)作、商務(wù)文案、數(shù)理邏輯計算、數(shù)據(jù)分析、代碼生成等場景。

2023年2月7日，百度正式宣布“文易欣顏”項目。2023年3月16日，文心一言正式發(fā)布，主要功能展示完畢。2023年8月31日，文心一言向全社會全面開放。2023年11月1日，文心一言專業(yè)版正式上線，成為國內(nèi)首個采用會員制模式，面向C端收費的大型型號產(chǎn)品。

自項目正式公布以來，已有多家公司與百度達成合作。在其正式發(fā)布之前，已有600多家公司宣布加入文心一言生態(tài)。到2023年11月21日，文心一言用戶量達到7000萬，覆蓋4300個場景。

早期建設(shè)

2009年8月，百度CEO李彥宏提出“框計算”戰(zhàn)略，嘗試將NLP和知識圖譜技術(shù)應(yīng)用于搜索。2010年初，百度重新規(guī)劃NLP，成立自然語言處理部。公司不斷布局語音、圖片等技術(shù)領(lǐng)域，制定了知識圖譜技術(shù)的長期投資策略。

2012年，百度啟動了深度機器學(xué)習(xí)的研究工作。2013年1月，百度成立了國內(nèi)首個深度學(xué)習(xí)實驗室，并推出了自主研發(fā)的深度學(xué)習(xí)平臺PaddlePaddle的前身。2014年，李彥宏提到了百度的內(nèi)部項目“百度大腦”。這個項目的主要目的是利用計算機、人工智能和深度學(xué)習(xí)技術(shù)來模擬人腦的思維。同年，百度研究院成立，包括深度學(xué)習(xí)實驗室(IDL)、大數(shù)據(jù)實驗室(BDL)和硅谷人工智能實驗室(SVAIL)。2016年9月1日，百度宣布了百度人工智能的兩大開放平臺:百度深度學(xué)習(xí)平臺PaddlePaddle和百度大腦開放平臺ai.baidu.com。2017年3月，百度明確將人工智能作為公司發(fā)展戰(zhàn)略，成立了AI技術(shù)平臺體系(AIG)。同年，經(jīng)中國國家發(fā)展和改革委員會批準(zhǔn)，百度率先建立了中國首個深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程實驗室。

技術(shù)發(fā)展

2019年3月，百度正式發(fā)布了在中文任務(wù)上全面超越BERT的NLP模型ERNIE，引起了業(yè)界的廣泛關(guān)注和討論。2019年4月23日，百度公布了PaddlePaddle的全景圖和中文名“飛槳”。2019年7月23日，百度發(fā)布了持續(xù)學(xué)習(xí)的語義理解框架ERNIE 2.0，以及基于該框架的ERNIE 2.0預(yù)訓(xùn)練模型。在這次升級中，厄尼在英語任務(wù)上取得了突破，實現(xiàn)了SOTA。2020年7月9日，在2020世界人工智能大會(WAIC)上，ERNIE以中文名“文心”首次亮相，獲得賽爾獎(超級AI領(lǐng)袖)。2021年9月，百度發(fā)布了全球首個擁有百億級參數(shù)的中英對話預(yù)訓(xùn)練生成模型PLATO-XL。2021年12月8日，鵬程實驗室與百度聯(lián)合發(fā)布鵬程-百度文心(模型版本號:ERNIE 3.0 Titan)，全球首個聯(lián)合開發(fā)的千億知識增強模型，參數(shù)規(guī)模達到2600億。

正式發(fā)布

2022年12月底，李彥宏在一次面向百度全體員工的內(nèi)部直播中表示，“AIGC(AI生成內(nèi)容)和ChatGPT都是AI技術(shù)發(fā)展到一定程度后的新機遇”。2023年2月7日，百度官方公布了“文顏”項目，顯示是的新版本產(chǎn)品，搭載百度語言大模型技術(shù)(LLM)。2023年2月17日，在2023 AI+產(chǎn)業(yè)互聯(lián)網(wǎng)高峰論壇上，百度AI云宣布文心一言將通過百度AI云對外提供服務(wù)，首先將應(yīng)用于內(nèi)容和信息相關(guān)的行業(yè)和場景。

2023年3月16日，百度在北京總部召開發(fā)布會，正式宣布啟動百度大語言模型文心一言的邀請測試。通過現(xiàn)場演示，文心一言展示了自己在文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)學(xué)計算、中文理解、多模態(tài)生成等方面的能力。從2023年2月7日到2023年3月16日，超過600家企業(yè)宣布加入文心一言生態(tài)。

后續(xù)升級

2023年4月，百度CTO王海峰在做客央視財經(jīng)頻道《中國經(jīng)濟大講堂》時，展示了文心一言的能力和技術(shù)，并解釋了他名字的由來:“文”是語言，“信”是用心的理解，“文信”指的是致力于理解和運用語言的自然語言理解模式，也與“文心雕龍”相呼應(yīng)，意為精雕細(xì)琢語言。“一言”不僅有“一言為定，一言為定”的含義，還有對人機順暢溝通的殷切期待?！耙蛔帧币怀?，可以是“二、二、三、一生三字。”

2023年6月17日，文心一言發(fā)布了官方插件百度搜索和聊天文件。2023年6月26日，文心大模型升級至3.5版本，創(chuàng)建、問答、推理、代碼等能力全面升級，安全性顯著提升，訓(xùn)練和推理速度大幅提升。此外，文新模式增加了插件機制，其默認(rèn)內(nèi)置的插件百度搜索，使文心一言能夠生成實時、準(zhǔn)確的信息；ChatFile，一個長文本摘要和問答插件，支持長文本輸入。2023年8月16日，百度發(fā)布了文心一言的五個原生插件:百度搜索、文檔瀏覽、電子易圖、插畫和繪畫、一面流動的鏡子。文心一言支持一次使用三個插件。

全面開放

2023年8月31日，文心一言向全社會全面開放，用戶可以在文心一言APP和官網(wǎng)使用。此時的文心一言已經(jīng)掌握了200多個創(chuàng)作體裁，內(nèi)容豐富度是發(fā)表初期的1.6倍，思維鏈長度是初期的2.1倍，知識點覆蓋面是初期的8.3倍。到2023年10月，文心一言的用戶量已經(jīng)達到4500萬，開發(fā)者54000人，場景4300個，應(yīng)用825個，插件500多個。

2023年10月17日，文心大模型4.0發(fā)布，開始邀請測試。與文心大模型3.5相比，文心大模型4.0的四項能力都得到了提升，其中理解和生成能力的提升是差不多的，而邏輯和記憶能力的提升是顯著的，其中邏輯的提升是理解和記憶的近三倍，是后者的兩倍多。

2023年11月1日，基于文心大模型4.0的文心一言專業(yè)版正式上線，并推出會員服務(wù)。會員月訂費49.9元，月購費59.9元，成為國內(nèi)首個采用會員制模式，面向C端收費的大型號產(chǎn)品。與基礎(chǔ)版相比，該版本具有更強的建模能力和圖像生成能力；擁有更高級的功能，如語音輸入、自然語言生成、文本摘要、智能回復(fù)等。提供更多的定制服務(wù)，如個性化推薦、私有化部署等。文心大模3.5對應(yīng)的文心一言基礎(chǔ)版依然可以免費使用。到2023年11月21日，文心一言用戶量達到7000萬，覆蓋4300個場景。

基于搖櫓深度學(xué)習(xí)平臺和文心知識增強大規(guī)模模型，文心一言從海量數(shù)據(jù)和大規(guī)模知識中不斷學(xué)習(xí)，因此具備知識增強、檢索增強和對話增強的技術(shù)特性。

數(shù)據(jù)：文心一言模型的訓(xùn)練數(shù)據(jù)覆蓋了海量的信息資源，包括萬億級的網(wǎng)頁數(shù)據(jù)、數(shù)十億的搜索數(shù)據(jù)和圖片數(shù)據(jù)、數(shù)百億的語音日常通話數(shù)據(jù)、5500億的事實知識圖譜?；谏鲜鰯?shù)據(jù)，文心一言通過融合學(xué)習(xí)得到預(yù)訓(xùn)練模型。

飛槳：PaddlePaddle是百度開發(fā)的一款全面開源、技術(shù)領(lǐng)先、功能齊全的工業(yè)級深度學(xué)習(xí)平臺。它的中文名字來自朱的兩句詩，“我聽說飛槳，我下到天津”?；诎俣榷嗄甑纳疃葘W(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用，整合了深度學(xué)習(xí)核心框架、基礎(chǔ)模型庫、端到端開發(fā)套件、工具組件和服務(wù)平臺。

PaddlePaddle:是基于Python的高性能分布式深度學(xué)習(xí)平臺，支持動態(tài)圖和靜態(tài)圖兩種編程模式。它提供了豐富的API和工具，如自動混合精度訓(xùn)練、模型壓縮、量化等。

螺旋槳基本模型庫(PaddleNLP，PaddleCV，PaddleClas等。):這是基于propeller核心框架開發(fā)的一系列高質(zhì)量的預(yù)訓(xùn)練模型和領(lǐng)域方案，涵蓋自然語言處理、計算機視覺、推薦系統(tǒng)、視頻理解等多個領(lǐng)域。，并能幫助用戶快速實現(xiàn)各種AI應(yīng)用。

用于推進器的端到端開發(fā)套件(PaddleOCR、PaddleDetection、PaddleSeg等。):提供了數(shù)據(jù)處理、模型訓(xùn)練、模型評估、模型部署等完整流程。它是基于propeller基礎(chǔ)模型庫開發(fā)的一系列端到端AI解決方案，可以幫助用戶快速構(gòu)建和優(yōu)化自己的AI系統(tǒng)。

PaddleHub、PaddleX、PaddleSlim等。:這是基于槳飛核心框架開發(fā)的一系列工具和組件，提供模型管理、模型轉(zhuǎn)換、模型優(yōu)化、模型服務(wù)等功能。，并能幫助用戶提高AI開發(fā)的效率和質(zhì)量。

文心一言

劃槳服務(wù)平臺(AI Studio、EasyDL、BML等。):這是一系列基于paddle架構(gòu)的云服務(wù)平臺，包括在線編程、模型訓(xùn)練、模型推理、模型部署等服務(wù)，幫助用戶降低AI開發(fā)的門檻和成本。

文心大模型：文心大模型是百度發(fā)布的全球首個千億級知識增強模型。文心一詞出自中國南朝文學(xué)家劉勰的《文心雕龍序》。原意是用雕龍圖案的細(xì)致功夫去研究文字的內(nèi)涵和神韻，百度借此表達用心做語義理解的決心。文心一言是文心大模型的應(yīng)用之一。

模型培訓(xùn)：文心大模型3.0的語料庫是在文心大模型2.0的基礎(chǔ)上建立的。數(shù)據(jù)來源包括百度搜索(包括百家號、知道、貼吧、體驗)、網(wǎng)文、問答、詩詞楹聯(lián)、百度知識圖譜以及醫(yī)療、法律、金融等特定領(lǐng)域的數(shù)據(jù)。

文心大模型3.0的通用表示模塊和具體任務(wù)表示模塊都采用多層Transformer-XL結(jié)構(gòu)作為主干。Transformer XL類似于Transformer，但是引入了輔助遞歸內(nèi)存模塊，方便對長文本進行建模。文新大模型3.0使用的激活函數(shù)是GeLU，使用的優(yōu)化器是Adam。

在基礎(chǔ)模型訓(xùn)練中，文心大模型3.5采用了自適應(yīng)混合并行訓(xùn)練技術(shù)和混合精度計算策略，采用多種策略優(yōu)化數(shù)據(jù)源和數(shù)據(jù)分布，加快了模型迭代速度，顯著提高了模型效果和安全性。同時，百度R&D團隊創(chuàng)新的監(jiān)督微調(diào)、多層次多粒度獎勵模型、多損失函數(shù)混合優(yōu)化策略、結(jié)合雙飛輪的模型優(yōu)化等多類型多階段技術(shù)，提高了模型效果和場景適應(yīng)能力。

文心大模型3.5在知識增強和檢索增強的基礎(chǔ)上，提出了“知識點增強技術(shù)”，使模型能夠更好地利用精細(xì)知識點提高理解和生成能力，進而增強對世界知識的掌握和應(yīng)用。在推理方面，大規(guī)模邏輯數(shù)據(jù)構(gòu)建、邏輯知識建模、多粒度語義知識組合和符號神經(jīng)網(wǎng)絡(luò)技術(shù)提高了模型的邏輯推理、數(shù)學(xué)計算和代碼生成能力。

文心NLP大模型:面向語言理解、語言生成等NLP場景，擁有超強的語言理解能力、對話生成能力和文學(xué)創(chuàng)作能力。將大數(shù)據(jù)的前期訓(xùn)練與多源豐富的知識相結(jié)合，通過不斷學(xué)習(xí)技術(shù)，不斷吸收海量文本數(shù)據(jù)中詞匯、結(jié)構(gòu)、語義的新知識，實現(xiàn)模型效果的不斷進化。

文心CV Grand Model:基于領(lǐng)先的可視化技術(shù)，利用海量圖像、視頻等數(shù)據(jù)，為企業(yè)和開發(fā)者提供強大的visual basic模型和一套可視化任務(wù)定制和應(yīng)用能力。

文新跨模態(tài)宏模型:基于知識增強的跨模態(tài)語義理解關(guān)鍵技術(shù)，可實現(xiàn)跨模態(tài)檢索、圖形生成、圖片文檔信息提取等應(yīng)用的快速構(gòu)建，實現(xiàn)工業(yè)智能轉(zhuǎn)型的AI輔助。

文新行業(yè)大模型:與各行業(yè)企業(yè)聯(lián)合研發(fā)，在通用大模型基礎(chǔ)上學(xué)習(xí)行業(yè)特色數(shù)據(jù)和知識，建設(shè)行業(yè)AI基礎(chǔ)設(shè)施。

文新生物計算宏模型:融合了自我監(jiān)控和多任務(wù)學(xué)習(xí)，將生物領(lǐng)域研究對象的特性融入模型中。為化合物分子和蛋白質(zhì)分子構(gòu)建生物計算領(lǐng)域的預(yù)訓(xùn)練模型，為生物醫(yī)藥行業(yè)賦能。

作為百度自主研發(fā)的知識增強語言模型，文心一言的關(guān)鍵技術(shù)包括監(jiān)督微調(diào)、帶人類反饋的強化學(xué)習(xí)、提示、知識增強、檢索增強和對話增強。前三項是所有大型語言模型都會采用的技術(shù)；后三項是百度現(xiàn)有技術(shù)優(yōu)勢的再創(chuàng)新。

知識增長:文心一言的知識增長主要是通過知識內(nèi)化和知識外化。知識內(nèi)化是基于語義單元學(xué)習(xí)，用知識構(gòu)造訓(xùn)練數(shù)據(jù)，從大規(guī)模知識和未標(biāo)注數(shù)據(jù)中學(xué)習(xí)知識成為模型參數(shù)；知識的外部利用就是引入外部多源異構(gòu)知識，做知識推理，提示構(gòu)造等等。

檢索增強:文心一言的檢索增強來自以語義理解和語義匹配為核心技術(shù)的新一代搜索架構(gòu)。通過引入搜索結(jié)果，可以為大模型提供時效性強、準(zhǔn)確率高的參考信息，更好地滿足用戶需求。

對話增強:基于對話技術(shù)和應(yīng)用的積累，文心一言具備記憶機制、語境理解和對話規(guī)劃能力，實現(xiàn)更好的對話連貫性、合理性和邏輯性。

基本功能

文心一言提供基于文心大模型技術(shù)的人工智能問答服務(wù)。用戶需要在對話框中輸入文本信息，文心一言會根據(jù)用戶的輸入輸出相應(yīng)的內(nèi)容作為響應(yīng)，包括文本、表格、代碼和圖片。

文學(xué)作品：在文學(xué)創(chuàng)作的場景中，文心一言根據(jù)對話的問題概括了著名科幻小說《三體》的核心內(nèi)容，并提出續(xù)寫《三體》的建議角度，體現(xiàn)了對話問答、總結(jié)分析、內(nèi)容創(chuàng)作的綜合能力。

商業(yè)文案創(chuàng)作：在商業(yè)文案場景中，文心一言完成了公司命名、寫廣告語、寫新聞稿等創(chuàng)意任務(wù)，展現(xiàn)了自己的理解能力和表達能力。

數(shù)學(xué)計算：在進行數(shù)學(xué)計算時，文心一言糾正了“雞和兔子在同一個籠子里”的錯題，并提供了正確的步驟和答案，顯示了他的思維能力，能夠?qū)W習(xí)數(shù)學(xué)推導(dǎo)和邏輯推理等相對復(fù)雜的任務(wù)。

漢語理解：文心一言在中文領(lǐng)域擁有先進的自然語言處理能力，在漢語和中國文化方面有更好的表現(xiàn)。文心一言正確地解釋了成語“洛陽紙貴”的含義和相應(yīng)的經(jīng)濟理論。

多模態(tài)生成：在多模態(tài)生成方面，文心一言具有生成文本、圖片和音頻的能力，甚至可以生成方言語音。

代碼功能：文心一言具有代碼解釋、代碼重寫、代碼注釋、代碼生成等能力。比如復(fù)制粘貼一段代碼，文心一言可以逐行解釋代碼的功能，并在最后總結(jié)整個代碼的功能，還可以重寫代碼。

插件功能：2013年8月16日，文心一言推出了百度搜索、文檔瀏覽、電子易圖、插畫繪畫、一鏡流五大原生插件，實現(xiàn)了模型生成實時準(zhǔn)資訊、長文匯總問答、數(shù)據(jù)洞察與圖表制作、圖片創(chuàng)作與問答、文藝視頻。但由于視頻生成能力占用的計算能力較大，鏡像流截至2023年12月仍未向公眾開放。2023年12月9日，百度文心一言插件商城上線。該插件涵蓋辦公效率提升、多模態(tài)內(nèi)容理解與生成、專業(yè)信息查詢等實用場景。用戶一鍵安裝插件后，通過簡單的指令即可使用。

百度搜索：文心一言有能力產(chǎn)生實時和準(zhǔn)確的信息。默認(rèn)情況下，它處于啟用狀態(tài)，無法關(guān)閉。

瀏覽文檔：原ChatFile可以完成摘要、問答、創(chuàng)建等任務(wù)?；谖臋n，并且只支持10MB以內(nèi)的文檔，不支持掃描文檔。

東宜顏圖：基于Apache Echarts，提供數(shù)據(jù)洞察和圖表制作，支持柱狀圖、折線圖、餅狀圖、雷達圖、散點圖、漏斗圖和思維導(dǎo)圖(樹形圖)。

比如繪畫：根據(jù)圖片寫單詞，回答問題。截至2023年12月，僅支持10MB以內(nèi)的圖片。

一面鏡子在流動：AI文轉(zhuǎn)視頻，從主題詞、句子、段落等文本描述內(nèi)容，一鍵創(chuàng)作生成視頻。

其他功能

商業(yè)信息查詢：愛奇藝提供商業(yè)信息檢索能力，可以用來查詢企業(yè)的商業(yè)/上市信息，老板的從業(yè)/投資情況。

樹形圖：AI人工智能mindmanager提供制作智能思維導(dǎo)圖的工具和模板，支持腦圖、邏輯圖、樹形圖、魚骨圖、組織結(jié)構(gòu)圖、時間軸、時間線等多種格式。

AI視頻助手：AI視頻學(xué)習(xí)助手，加快視頻內(nèi)容的信息提取，輸入嗶哩嗶哩、小紅書，搖一搖音視頻鏈接，動態(tài)總結(jié)視頻內(nèi)容，只持一個創(chuàng)意視頻分析。

ppt助手：輸入PPT主題，AI智能生成PPT模板。

栗子看板：幫助用戶規(guī)劃和拆解任務(wù)，自動生成可視化任務(wù)看板。

知犀AI思維導(dǎo)圖：一鍵生成思維導(dǎo)圖，還可以選擇任意主題無限拓展AI靈感，支持在線生成、編輯、導(dǎo)出。

職場密碼AI智能簡歷：根據(jù)個人信息和工作名稱生成求職信、求職信、簡歷模板、中英文簡歷范本、考研簡歷。還可以在線編輯排版簡歷，一鍵換模板，AI智能診斷。

網(wǎng)頁閱讀：能提煉總結(jié)用戶提供的網(wǎng)站鏈接內(nèi)容。僅支持2000字以內(nèi)的網(wǎng)頁內(nèi)容閱讀，不支持PDF和圖像識別。

AiPPT.cn：一句話10秒智能生成完整PPT，支持在線編輯、演示、下載。