智譜清言

智譜清言是北京智普華章科技有限公司推出的首款生成式人工智能助手，于2023年8月31日正式上線。助手基于知乎AI自主研發(fā)的中英雙語(yǔ)對(duì)話模型ChatGLM2，經(jīng)過(guò)萬(wàn)億字符的文本和代碼預(yù)訓(xùn)練，采用監(jiān)督微調(diào)技術(shù)，以通用對(duì)話的形式為用戶提供智能服務(wù)。智普清言可以為用戶解答工作、學(xué)習(xí)和日常生活中的各種問(wèn)題，完成各種任務(wù)。它具有通用問(wèn)答、多輪對(duì)話、創(chuàng)意寫作、代碼生成和虛擬對(duì)話等豐富能力，并計(jì)劃在未來(lái)開(kāi)放多模態(tài)生成。截至2023年8月，智譜清言已在各大應(yīng)用商店上線，包括Apple Store應(yīng)用商店和Android主流商店。

智譜清言的發(fā)展史始于2021年，始于ChatGLM系列車型的迭代。起初，該系列基于GLM-130B模型，該模型致力于提高中英雙語(yǔ)對(duì)話處理的準(zhǔn)確性和效率。隨著ChatGLM系列的發(fā)展，特別是ChatGLM2系列的推出和優(yōu)化，加強(qiáng)了智能光譜澄清的技術(shù)基礎(chǔ)。2023年8月31日，《直撲青眼》正式發(fā)布。作為基于ChatGLM2模型的AI助手，它結(jié)合了預(yù)訓(xùn)練和監(jiān)督微調(diào)技術(shù)，可提供包括問(wèn)答、創(chuàng)意寫作和代碼生成在內(nèi)的多項(xiàng)智能服務(wù)。此外，ChatGLM3于2023年10月在中國(guó)計(jì)算機(jī)大會(huì)（CNCC）上發(fā)布，帶來(lái)了進(jìn)一步的技術(shù)增強(qiáng)、應(yīng)用范圍擴(kuò)大和性能提高。ChatGLM3的多模態(tài)理解、代碼生成和執(zhí)行以及增強(qiáng)的網(wǎng)絡(luò)搜索功能使其能夠更高效地處理多樣化的任務(wù)和場(chǎng)景。

智普清言作為一款根植于ChatGLM2模型核心技術(shù)的AI助手，憑借其先進(jìn)的性能、良好的上下文處理能力和快速的推理速度，在MMLU、C-Eval和GSM8K等多個(gè)標(biāo)準(zhǔn)任務(wù)上贏得了廣泛關(guān)注。尤其是在ChatGLM3引入AgentTuning技術(shù)后，為知乎清言提供了更深層次的智能規(guī)劃和執(zhí)行能力，在多輪對(duì)話和內(nèi)容創(chuàng)作等領(lǐng)域取得了顯著進(jìn)展。這主要體現(xiàn)在下載量和GitHub明星數(shù)量的快速增長(zhǎng)上。此外，得益于其實(shí)際應(yīng)用潛力和適應(yīng)性的驗(yàn)證，包括聯(lián)想、中國(guó)民航信息網(wǎng)絡(luò)公司、清華大學(xué)等在內(nèi)的多家企事業(yè)單位均采用了其或與其建立了合作關(guān)系。

智譜的技術(shù)發(fā)展是一個(gè)不斷迭代和創(chuàng)新的過(guò)程。主要過(guò)程可以概括為GLM-130B的初步探索，ChatGLM系列型號(hào)的不斷迭代，以及基于ChatGLM2和ChatGLM3的智能光譜的后期開(kāi)發(fā)。因此，智普清研的發(fā)展源于智普AI大模型在各個(gè)階段的技術(shù)進(jìn)步。

GLM-130B發(fā)布:技術(shù)突破

GLM-130B模型的開(kāi)發(fā)始于2021年12月，是在清華大學(xué)知識(shí)工程實(shí)驗(yàn)室舉行的內(nèi)部頭腦風(fēng)暴會(huì)議上提出的。當(dāng)時(shí)的目標(biāo)是開(kāi)發(fā)高精度的雙語(yǔ)（中文/英文）模型并將其開(kāi)放。在項(xiàng)目啟動(dòng)之初，缺乏計(jì)算資源，但在2022年1月，智普AI提供了必要的計(jì)算資源支持。隨后，項(xiàng)目團(tuán)隊(duì)在技術(shù)開(kāi)發(fā)中遇到了許多挑戰(zhàn)，包括頻繁的硬件故障、模型梯度爆炸、算法中內(nèi)存使用過(guò)多等等。在清華大學(xué)PACMAN團(tuán)隊(duì)的協(xié)助下，這些問(wèn)題被一一解決，最終成功訓(xùn)練出GLM-130B模型。

ChatGLM首次亮相:對(duì)話模式的新時(shí)代

ChatGLM于2023年3月14日首次發(fā)布，這是智普AI在GLM-130B模型基礎(chǔ)上的進(jìn)一步創(chuàng)新。作為中英雙語(yǔ)對(duì)話模型，ChatGLM專注于提高對(duì)話處理能力。智普AI已經(jīng)開(kāi)放了GLM系列模型的新成員-Chatglm-6B，該模型支持在單個(gè)消費(fèi)級(jí)顯卡上進(jìn)行推理。這是繼GLM-130B千億基模型開(kāi)源后的又一重要研究成果。ChatGLM-6B是一個(gè)開(kāi)源的雙語(yǔ)問(wèn)答對(duì)話語(yǔ)言模型，針對(duì)中文進(jìn)行了優(yōu)化。該模型基于通用語(yǔ)言模型（GLM）架構(gòu)，擁有62億個(gè)參數(shù)。在對(duì)約1T個(gè)標(biāo)識(shí)符進(jìn)行中英文雙語(yǔ)訓(xùn)練后，輔以監(jiān)督微調(diào)、反饋?zhàn)灾腿祟惙答亸?qiáng)化學(xué)習(xí)等技術(shù)，ChatGLM-6B雖然規(guī)模不及千億模型，但大大降低了推理成本，提高了效率，可以生成符合人類偏好的答案。

ChatGLM2發(fā)布:技術(shù)的進(jìn)一步發(fā)展

ChatGLM2-6B于2023年6月25日推出，這是智普AI與清華大學(xué)KEG實(shí)驗(yàn)室在對(duì)話AI領(lǐng)域的合作成果。作為ChatGLM-6B的后續(xù)版本，ChatGLM2-6B在繼承前代車型特點(diǎn)的基礎(chǔ)上進(jìn)行了一系列技術(shù)更新和優(yōu)化。其中包括模型性能的提升、上下文處理能力的擴(kuò)展和推理速度的優(yōu)化。此外，為了推動(dòng)AI技術(shù)的發(fā)展，智普AI及其合作伙伴已經(jīng)完全開(kāi)放了ChatGLM2-6B模型的權(quán)重用于學(xué)術(shù)研究和商業(yè)用途。

知識(shí)界很清楚:生成式人工智能的新助手

智普清言的研發(fā)標(biāo)志著智普AI在生成式人工智能助手領(lǐng)域的巨大進(jìn)步。該產(chǎn)品于2023年8月31日正式上線，基于智普AI研發(fā)的中英雙語(yǔ)對(duì)話模型ChatGLM2。通過(guò)預(yù)訓(xùn)練和監(jiān)督微調(diào)技術(shù)，智普清言已經(jīng)成為一個(gè)可以在各種場(chǎng)景下提供支持的智能助手。它為用戶提供了一個(gè)多功能的AI助手，可以在日常生活、學(xué)習(xí)和工作中提供幫助。

ChatGLM3版本:基于ChatGLM2的模型升級(jí)

在2023年中國(guó)計(jì)算機(jī)大會(huì)（CNCC）上，智譜AI推出的ChatGLM3為智譜青巖提供了強(qiáng)大的技術(shù)支持，大大拓寬了其應(yīng)用范圍和性能。ChatGLM3的多模態(tài)理解能力、代碼生成和執(zhí)行功能以及網(wǎng)絡(luò)搜索增強(qiáng)功能使Zhipu articulate在處理復(fù)雜任務(wù)和多樣化場(chǎng)景時(shí)更加高效。特別是ChatGLM3的AgentTuning技術(shù)賦予了知乎青巖更深入的智能規(guī)劃和執(zhí)行能力，從而在多輪對(duì)話和內(nèi)容創(chuàng)作方面實(shí)現(xiàn)了質(zhì)的飛躍。此外，通過(guò)ChatGLM3的新技術(shù)，智普清言不僅提高了對(duì)話的流暢性和準(zhǔn)確性，而且在圖像處理和數(shù)學(xué)計(jì)算等多樣化應(yīng)用中也表現(xiàn)出了出色的性能，大大改善了用戶體驗(yàn)。

作為知乎AI的先進(jìn)AI語(yǔ)言處理工具，知乎清言背后的技術(shù)力量來(lái)自ChatGLM3等大模型的加持。ChatGLM系列模型不僅在自然語(yǔ)言處理領(lǐng)域取得了顯著進(jìn)展，而且在多模態(tài)理解和代碼生成方面也表現(xiàn)出了卓越的能力。這種能力的背后，離不開(kāi)一項(xiàng)核心技術(shù)的支撐——變壓器模型。Transformer模型獨(dú)特的架構(gòu)和自關(guān)注機(jī)制為ChatGLM2的高級(jí)功能提供了理論基礎(chǔ)和技術(shù)框架。

Transformer模型

Transformer模型是自然語(yǔ)言處理領(lǐng)域的核心技術(shù)，最早出現(xiàn)在2017年的論文《Attention Is All You Need》中。它采用自我關(guān)注機(jī)制，允許模型同時(shí)關(guān)注文本序列的所有部分，而不是逐個(gè)單元地處理它們。該方法優(yōu)于傳統(tǒng)的遞歸神經(jīng)網(wǎng)絡(luò)（RNN）和長(zhǎng)期記憶網(wǎng)絡(luò)（LSTM），特別是在處理長(zhǎng)文本和捕獲長(zhǎng)距離依賴方面。Transformer的并行處理能力提高了效率，解決了梯度消失的問(wèn)題。其編碼器-解碼器結(jié)構(gòu)使其適用于許多復(fù)雜的語(yǔ)言處理任務(wù)，如機(jī)器翻譯和問(wèn)答系統(tǒng)。

ChatGLM2與Transformer的關(guān)系

在ChatGLM2的開(kāi)發(fā)過(guò)程中，Transformer模型的基礎(chǔ)設(shè)施得到了有效的應(yīng)用和關(guān)鍵的擴(kuò)展，旨在滿足復(fù)雜多模態(tài)任務(wù)和代碼生成的需求。在這一開(kāi)發(fā)過(guò)程中，ChatGLM2不僅保持了Transformer的高效并行處理和強(qiáng)上下文理解等核心優(yōu)勢(shì)，還對(duì)模型結(jié)構(gòu)和訓(xùn)練方法進(jìn)行了適當(dāng)?shù)膭?chuàng)新和調(diào)整。這些改進(jìn)和技術(shù)集成使ChatGLM3在語(yǔ)言處理和多模態(tài)內(nèi)容理解方面表現(xiàn)出出色的性能，并為智譜和清晰語(yǔ)音等應(yīng)用提供了可靠的技術(shù)支持。

一般問(wèn)答

智譜在文本生成和創(chuàng)意寫作方面具有很強(qiáng)的能力。它使用基于深度學(xué)習(xí)的大規(guī)模預(yù)訓(xùn)練模型。知識(shí)圖譜可以生成多樣化的內(nèi)容，包括廣告文案、故事、博客文章等。，同時(shí)適應(yīng)用戶的特定要求和風(fēng)格偏好。其由深度學(xué)習(xí)驅(qū)動(dòng)的創(chuàng)作過(guò)程使其能夠理解和模仿不同的寫作風(fēng)格，并進(jìn)行主題研究和情感分析，從而提高內(nèi)容的相關(guān)性和吸引力。此外，知乎青巖還提供協(xié)同增強(qiáng)和創(chuàng)意輔助功能，幫助用戶做出創(chuàng)意決策和優(yōu)化內(nèi)容，并預(yù)測(cè)內(nèi)容的市場(chǎng)反應(yīng)，在許多行業(yè)中得到廣泛應(yīng)用，尤其是在需要快速生產(chǎn)高質(zhì)量?jī)?nèi)容的情況下。

問(wèn)答系統(tǒng)

2023年6月，智普清言的多輪對(duì)話能力經(jīng)歷了一次重大升級(jí)。智普AI將其千億級(jí)模型ChatGLM升級(jí)到第二代，性能大幅提升。其中一個(gè)關(guān)鍵改進(jìn)是上下文理解長(zhǎng)度的擴(kuò)展，現(xiàn)在可以處理長(zhǎng)達(dá)32K字符的對(duì)話上下文，推理速度也有了顯著提高。此次升級(jí)讓知乎青巖在多輪對(duì)話中展現(xiàn)出更強(qiáng)大的性能，不僅可以理解和回應(yīng)長(zhǎng)文本對(duì)話，還擁有廣泛的知識(shí)儲(chǔ)備，涵蓋科技、歷史、文化、藝術(shù)和商業(yè)等多個(gè)領(lǐng)域的信息。

編程輔助工具

智普清研的代碼生成和編程輔助功能是其重要特點(diǎn)之一。它是一個(gè)能夠理解用戶需求的智能助手，可以在許多方面為用戶提供有用的幫助，包括但不限于工作、學(xué)習(xí)、日常生活和編程幫助。具體來(lái)說(shuō)，智普清研的代碼生成能力使其能夠支持100多種編程語(yǔ)言，可以更快更準(zhǔn)確地生成代碼。該功能對(duì)于程序員來(lái)說(shuō)非常方便，可以有效提高編程的效率和準(zhǔn)確性。

多模態(tài)交互

智普清言在多模態(tài)交互方面的顯著進(jìn)步和創(chuàng)新得益于其背后的最新技術(shù)，尤其是智普AI研發(fā)的第三代基礎(chǔ)模型ChatGLM3。它實(shí)現(xiàn)了許多新功能，包括具有多模態(tài)理解能力的CogVLM（基于圖片的語(yǔ)義識(shí)別）。此外，其代碼增強(qiáng)模塊Code Interpreter可以根據(jù)用戶的需求生成和執(zhí)行代碼，并自動(dòng)完成數(shù)據(jù)分析和文件處理等復(fù)雜任務(wù)。WebGLM是網(wǎng)絡(luò)搜索的增強(qiáng)功能，使直撲青巖能夠在互聯(lián)網(wǎng)上找到最新信息，并在回答時(shí)提供相關(guān)信息的鏈接。同時(shí)支持包括工具調(diào)用、代碼執(zhí)行、游戲、數(shù)據(jù)庫(kù)操作、知識(shí)圖譜搜索與推理、操作系統(tǒng)等多種復(fù)雜場(chǎng)景。它使智普清研成為國(guó)內(nèi)首個(gè)具備代碼交互能力的大規(guī)模模型產(chǎn)品，支持圖像處理、數(shù)學(xué)計(jì)算、數(shù)據(jù)分析等多個(gè)應(yīng)用場(chǎng)景。

智普清研使用的核心模型ChatGLM2是一個(gè)基于通用語(yǔ)言模型（GLM）的雙語(yǔ)對(duì)話語(yǔ)言模型，擁有62億個(gè)參數(shù)。該模型的訓(xùn)練涉及一系列先進(jìn)的技術(shù)和策略，以提高其中英文處理性能和對(duì)話生成的自然度。同時(shí)，智普清研使用的核心型號(hào)ChatGLM2是基于ChatGLM-6B的進(jìn)化版本，而ChatGLM-6B本身是基于GLM-130B型號(hào)開(kāi)發(fā)的。

GLM-130B:基本框架

GLM-130B采用多種訓(xùn)練技術(shù)，包括大規(guī)模語(yǔ)料庫(kù)預(yù)訓(xùn)練、分布式訓(xùn)練、混合精度訓(xùn)練和優(yōu)化器選擇，以提高訓(xùn)練效率和性能。該模型基于Transformer架構(gòu)，具有雙語(yǔ)處理能力，可以處理多種任務(wù)。其獨(dú)特的技術(shù)特點(diǎn)包括豐富的語(yǔ)言知識(shí)積累、雙語(yǔ)編碼、高效的訓(xùn)練和推理性能以及靈活的適應(yīng)性。

ChatGLM-6B:對(duì)話優(yōu)化

ChatGLM-6B是基于GLM-130B的大規(guī)模語(yǔ)言模型，旨在提高文本生成和對(duì)話的質(zhì)量。該模型結(jié)合了監(jiān)督微調(diào)、反饋?zhàn)灾腿祟惙答亸?qiáng)化學(xué)習(xí)等多種訓(xùn)練技術(shù)，使其能夠更好地理解和響應(yīng)用戶的需求，尤其是在對(duì)話和問(wèn)答方面。在架構(gòu)上，ChatGLM-6B采用了高效的Transformer架構(gòu)，該架構(gòu)優(yōu)化了并行處理和長(zhǎng)距離依賴捕獲，使其適用于復(fù)雜的語(yǔ)言理解和生成任務(wù)。此外，它在性能和通用性方面也非常出色:文本生成速度與GPT-3相當(dāng)，GPU內(nèi)存效率更高，因此可以部署在小型GPU上。ChatGLM-6B可以通過(guò)大規(guī)模文本和代碼訓(xùn)練執(zhí)行語(yǔ)言翻譯和創(chuàng)意內(nèi)容生成等多項(xiàng)任務(wù)，并在GLUE benchmark測(cè)試中表現(xiàn)出了先進(jìn)的性能。為了提高部署效率，該模型還通過(guò)INT8和INT4進(jìn)行了量化，降低了對(duì)計(jì)算資源的需求，使其成為一個(gè)多功能、高效且易于部署的大規(guī)模語(yǔ)言模型。

ChatGLM2:性能和效率的進(jìn)一步提高

ChatGLM2-6B是基于ChatGLM-6B的進(jìn)化版本，繼承了GLM-130B的核心架構(gòu)。它是一個(gè)專門為對(duì)話系統(tǒng)設(shè)計(jì)的中英雙語(yǔ)對(duì)話語(yǔ)言模型，擁有62億個(gè)參數(shù)，這使得ChatGLM2-6B在處理復(fù)雜語(yǔ)言模式和對(duì)話結(jié)構(gòu)方面具有非凡的能力。

訓(xùn)練技術(shù)：ChatGLM2模型使用GLM的混合目標(biāo)函數(shù)進(jìn)行預(yù)訓(xùn)練。該方法結(jié)合了自回歸和自編碼的優(yōu)點(diǎn)，有助于模型更好地理解和生成自然語(yǔ)言。此外，該模型已經(jīng)使用1.4T雙語(yǔ)標(biāo)識(shí)符進(jìn)行了預(yù)訓(xùn)練，這種大規(guī)模的雙語(yǔ)數(shù)據(jù)訓(xùn)練使該模型在中英文處理中都表現(xiàn)良好。為了進(jìn)一步優(yōu)化模型的對(duì)話生成能力，ChatGLM2還采用了人類反饋強(qiáng)化學(xué)習(xí)，使其生成的對(duì)話更符合人類的偏好和期望。

模型架構(gòu)：ChatGLM2-6B是基于ChatGLM-6B的進(jìn)化版本，繼承了GLM-130B的核心架構(gòu)。它是一個(gè)專門為對(duì)話系統(tǒng)設(shè)計(jì)的雙語(yǔ)對(duì)話語(yǔ)言模型。它擁有62億個(gè)參數(shù)，這使得ChatGLM2-6B在處理復(fù)雜的語(yǔ)言模式和對(duì)話結(jié)構(gòu)方面非常強(qiáng)大。

技術(shù)特征：ChatGLM2-6B基于GLM混合目標(biāo)函數(shù)和1.4T中英文識(shí)別器的預(yù)訓(xùn)練，在多個(gè)基準(zhǔn)測(cè)試中模型性能得到顯著提升。為了確保長(zhǎng)對(duì)話的連續(xù)性，ChatGLM2-6B使用FlashAttention技術(shù)將上下文處理能力從2K擴(kuò)展到32K。此外，通過(guò)引入多查詢注意力技術(shù)，其推理效率提升了42%，并且在INT4量化的支持下，該模型支持的對(duì)話長(zhǎng)度在6G顯存下從1K提升至8K。與原始模型相比，ChatGLM2-6B在多個(gè)基準(zhǔn)測(cè)試上的性能提升更加明顯，在MMLU、CEval、GSM8K、BBH等數(shù)據(jù)集上的性能提升分別為+23%、+33%、+571%和+60%。

ChatGLM3:基于ChatGLM2的重新升級(jí)

ChatGLM3是智普AI推出的第三代基座型號(hào)，針對(duì)GPT-4V，實(shí)現(xiàn)了部分新功能的迭代升級(jí)。該模型結(jié)合了獨(dú)創(chuàng)的多階段增強(qiáng)預(yù)訓(xùn)練方法、更豐富多樣的訓(xùn)練數(shù)據(jù)和更優(yōu)化的訓(xùn)練方案。這些集成技術(shù)使ChatGLM3在基礎(chǔ)架構(gòu)方面更加先進(jìn)和強(qiáng)大。

智譜清言

訓(xùn)練技術(shù)：通過(guò)深度優(yōu)化，ChatGLM3的訓(xùn)練采用多階段增強(qiáng)方法，保證訓(xùn)練的充分性和深度。在44個(gè)中英文公開(kāi)數(shù)據(jù)集的評(píng)測(cè)中，該模型在各項(xiàng)性能指標(biāo)上均有顯著提升。與ChatGLM II模型相比，MMLU、CEval、GSM8K和BBH分別提高了36%、33%、179%和126%。

模型架構(gòu)：在原有架構(gòu)的基礎(chǔ)上，ChatGLM3實(shí)現(xiàn)了多項(xiàng)技術(shù)升級(jí)。這些升級(jí)包括但不限于多模態(tài)理解、代碼增強(qiáng)模塊和網(wǎng)絡(luò)搜索增強(qiáng)功能。這些新增加的技術(shù)功能不僅增強(qiáng)了模型的語(yǔ)義理解能力，還增強(qiáng)了其邏輯處理能力，這使得ChatGLM3在多樣化的應(yīng)用場(chǎng)景中表現(xiàn)出比上一代模型更高的效率。

技術(shù)特征：ChatGLM3的技術(shù)特點(diǎn)主要體現(xiàn)在三個(gè)方面:其多模態(tài)理解能力CogVLM可以實(shí)現(xiàn)對(duì)圖像等多種信息的深度解讀，不僅可以回答各種類型的視覺(jué)問(wèn)題，還可以完成復(fù)雜目標(biāo)的檢測(cè)和標(biāo)注，或自動(dòng)數(shù)據(jù)標(biāo)注；在代碼解釋器的幫助下，ChatGLM3具有代碼生成和執(zhí)行的能力。該功能可以根據(jù)用戶的需求自動(dòng)生成并執(zhí)行代碼，可用于完成數(shù)據(jù)分析和文件處理等復(fù)雜任務(wù)。最后，Web search enhanced WebGLM可以使模型充分利用網(wǎng)絡(luò)資源，從而提供更準(zhǔn)確和合適的答案。這些功能的集成提高了ChatGLM3處理多個(gè)復(fù)雜任務(wù)的語(yǔ)義和邏輯能力。ChatGLM3集成了智普AI自主研發(fā)的AgentTuning技術(shù)，激活了模型的agent功能，特別是在智能規(guī)劃和執(zhí)行方面，比ChatGLM2提升了1000%。此外，它還支持國(guó)內(nèi)大型模型的原生功能，如工具調(diào)用、代碼執(zhí)行、游戲、數(shù)據(jù)庫(kù)操作、知識(shí)圖譜搜索和推理、操作系統(tǒng)等復(fù)雜場(chǎng)景。