商量SenseChat是商湯科技開發(fā)的千億參數(shù)大語言模型應(yīng)用平臺(tái)。該產(chǎn)品具備語義理解、多輪對(duì)話、知識(shí)掌握、邏輯推理等綜合能力，可為醫(yī)療、金融、移動(dòng)終端、代碼開發(fā)、企業(yè)服務(wù)、城市管理、汽車出行、教育等垂直領(lǐng)域用戶提供服務(wù)。

2023年4月10日，商湯發(fā)布了大型模型系統(tǒng)SenseNova和該系統(tǒng)下的大型語言模型討論商量。2023年8月31日，商量正式向用戶開放，作為第一批開發(fā)大規(guī)模模型的科技公司，商湯通過咨詢商量實(shí)現(xiàn)了生成式人工智能相關(guān)收入的增長。截至2023年10月，商量主要服務(wù)于B端，與金融、手機(jī)、醫(yī)療、汽車、房地產(chǎn)、能源、媒體、工業(yè)制造等多個(gè)垂直行業(yè)的500多家客戶建立了深度合作。

投資機(jī)遇

2014年，商湯科技成立。作為一家人工智能軟件公司，商湯科技以“堅(jiān)持原創(chuàng)，讓AI引領(lǐng)人類進(jìn)步”為使命，長期投入AI研究。2015年，商湯開始開發(fā)深度學(xué)習(xí)訓(xùn)練框架SenseParrots，這是商湯智能計(jì)算基礎(chǔ)設(shè)施SenseCore的核心。2018年前后，商湯開始著手準(zhǔn)備大模型初始階段所需的算力、算法和數(shù)據(jù)。2018年4月，商湯啟動(dòng)人工智能計(jì)算原型開發(fā)項(xiàng)目。同年10月，OpenMMLab人工智能算法開源系統(tǒng)上線，涉及10多個(gè)研究方向，開放了130多個(gè)算法和1000個(gè)預(yù)訓(xùn)練模型。2021年7月，商湯開始打造SenseCore AI。2022年1月，商湯的上海臨港人工智能智能計(jì)算中心（AIDC）正式投入運(yùn)營。AIDC是尚湯艾設(shè)備的重要計(jì)算基地，其設(shè)計(jì)峰值計(jì)算能力高達(dá)每秒374億次浮點(diǎn)運(yùn)算，使其成為亞洲最大的超級(jí)計(jì)算中心之一。

2022年11月30日，OpenAI推出了ChatGPT聊天機(jī)器人。ChatGPT被視為通向通用人工智能的道路（AGI）。此后，大語言模型迅速引起了世界各國的廣泛關(guān)注。商湯科技開展了新的業(yè)務(wù)探索，并于2023年2月25日推出了SenseCore尚湯艾云，基于該云構(gòu)建了AGI基礎(chǔ)設(shè)施并開發(fā)了大型模型系統(tǒng)。

發(fā)布開發(fā)

2023年4月10日，商湯發(fā)布了大規(guī)模模型系統(tǒng)“SenseNova”，該系統(tǒng)包括自然語言處理、內(nèi)容生成、自動(dòng)數(shù)據(jù)標(biāo)注、用戶自定義模型訓(xùn)練等眾多大規(guī)模模型和能力，其中包括大規(guī)模語言模型“咨詢商量”。討論的意思是“如果你討論，你就可以解決它?！盨enseChat1.0基于海量數(shù)據(jù)和深度計(jì)算能力開發(fā)，具備多輪對(duì)話和超長文本理解能力，支持編程助手、健康咨詢助手、PDF文件閱讀助手等應(yīng)用。

商量SenseChat

2023年6月，商湯發(fā)布了第一款基礎(chǔ)型號(hào)InternLM，其綜合能力超過了GPT-3.5-turbo。該模型的參數(shù)達(dá)到1040億個(gè)，并使用1.6萬億token多語言語料庫進(jìn)行訓(xùn)練，支持20多種語言。在此基礎(chǔ)上，討論SenseChat2.0將于7月初發(fā)布。討論了商量2.0在MMLU、AGIEval和C-Eval的評(píng)估中領(lǐng)先于ChatGPT，其中一些非常接近GPT-4的水平。2023年8月，新型號(hào)InternLM-123B完成了訓(xùn)練，其測試成績在全球51個(gè)知名評(píng)估集中的30萬個(gè)問題中排名世界第二，超過了GPT-3.5-turbo和LLaMA2-70B。在此基礎(chǔ)上，討論將商量升級(jí)到3.0版。2023年8月31日，商量正式向用戶開放。討論商量3.0在2023年9月SuperCLUE中國大型車型總榜單中排名第一。商量3.0在人工智能代理（由SuperCLUE添加的人工智能子列表）中排名第一，領(lǐng)先于所有中國中國大型模型、GPT 3.5和克勞德2。

2023年上半年，借助大設(shè)備的計(jì)算能力、“逐日增長”大模型系統(tǒng)的大語言模型和文生圖模型的研發(fā)，商湯與生成式人工智能相關(guān)的收入增長670.4%，收入貢獻(xiàn)占比超過20%。截至2023年10月，商量已與金融、手機(jī)、醫(yī)療、汽車、房地產(chǎn)、能源、媒體和工業(yè)制造等多個(gè)垂直行業(yè)的500多家客戶建立了深度合作。

版本信息

2023年4月10日

1.0：它包含1800億個(gè)參數(shù)，支持長文本知識(shí)理解、交互式多輪對(duì)話、自動(dòng)及時(shí)的知識(shí)更新，并具有通過模型理解問題后生成和總結(jié)答案的能力；支持的應(yīng)用包括:編程助手，可以幫助開發(fā)人員更高效地編寫和調(diào)試代碼；健康咨詢助手，為用戶提供個(gè)性化醫(yī)療建議；PDF文件閱讀助手，可以輕松地從復(fù)雜的文檔中提取和總結(jié)信息

2023年7月7日

2.0：它突破了大語言模型輸入長度的限制，支持阿拉伯語和粵語，并推出不同參數(shù)順序的模型版本，可適應(yīng)移動(dòng)終端、云等不同終端和場景的應(yīng)用需求，降低部署成本；知識(shí)和信息的準(zhǔn)確性、邏輯判斷能力、語境理解能力和創(chuàng)造力都有了很大的提高。

2023年8月31日

3.0：基礎(chǔ)模型為“學(xué)者普宇I(lǐng)nternLM-123B”，擁有1230億個(gè)參數(shù)，生成的內(nèi)容更加準(zhǔn)確可靠，可用于復(fù)雜場景下的多步推理和計(jì)算。具有獨(dú)立反思和糾錯(cuò)的能力；代碼解釋器和插件調(diào)用能力已經(jīng)升級(jí)。python解釋器、API調(diào)用和搜索可用于解決復(fù)雜任務(wù)和構(gòu)建AI代理應(yīng)用程序。

計(jì)算能力和數(shù)據(jù)：商湯的SenseCore基于商湯人工智能計(jì)算中心的AIDC，擁有3萬個(gè)在線GPU，可輸出6000 Petaflops，可有效支持大型語言模型的訓(xùn)練、升級(jí)迭代和服務(wù)。到2023年8月，尚湯燦每月產(chǎn)生約2萬億個(gè)高質(zhì)量數(shù)據(jù)令牌，以支持基礎(chǔ)模型訓(xùn)練。此外，該公司還投入了數(shù)百臺(tái)配備千卡GPU計(jì)算資源的服務(wù)器，并使用算法結(jié)合人工方法對(duì)原始語料數(shù)據(jù)進(jìn)行分類和精細(xì)清洗，以確保數(shù)據(jù)的質(zhì)量、安全性和價(jià)值符合要求。

基礎(chǔ)模型：學(xué)者Puyu InternLM是由上海人工智能實(shí)驗(yàn)室（上海ai實(shí)驗(yàn)室）、商湯科技、香港中文大學(xué)、復(fù)旦大學(xué)和上海交通大學(xué)發(fā)布的多語言、數(shù)十億參數(shù)的基座模型，并在萬億代幣數(shù)據(jù)上進(jìn)行訓(xùn)練。

數(shù)據(jù)集：InternetLM的訓(xùn)練數(shù)據(jù)集來源包括網(wǎng)頁、書籍、學(xué)術(shù)論文、代碼等。語料庫包含多種語言的文檔，其中英文文本涵蓋了廣泛的領(lǐng)域，而中文文本則增強(qiáng)了模型對(duì)中國和中國文化的了解。雖然其他語言的文本只占很小的比例，但也提高了模型的多語言能力。為了保證語言模型預(yù)處理的魯棒性和準(zhǔn)確性，進(jìn)行了一些數(shù)據(jù)處理，分為四個(gè)階段:語言分類，將所有文檔按照主要語言（如英語、漢語或其他語言）進(jìn)行分類，實(shí)現(xiàn)語言感知的數(shù)據(jù)處理；基于規(guī)則過濾，通過各種規(guī)則和啟發(fā)式方法去除無關(guān)或低質(zhì)量的內(nèi)容；基于模型過濾，在黃金標(biāo)準(zhǔn)語料庫上訓(xùn)練的小語言模型用于識(shí)別那些高質(zhì)量的文檔，以確保所有訓(xùn)練數(shù)據(jù)都符合高質(zhì)量標(biāo)準(zhǔn)。重復(fù)數(shù)據(jù)刪除意味著消除相似的文檔或完全重復(fù)的段落，以減少數(shù)據(jù)冗余并避免破壞模型性能。

模型設(shè)計(jì)：interlm-104 b的模型架構(gòu)采用基于變壓器的解碼器架構(gòu)，類似于GPT系列。該模型包括82個(gè)變壓器層，每層有80個(gè)頭，頭維度設(shè)置為128。因此，模型大小為10240。

培訓(xùn)過程：訓(xùn)練過程分為幾個(gè)階段，每個(gè)階段通過控制不同比例的數(shù)據(jù)來定義其優(yōu)化目標(biāo)。并選擇適當(dāng)?shù)臄?shù)據(jù)集來評(píng)估進(jìn)度。如果某個(gè)特定階段未能達(dá)到預(yù)期，我們將從該階段結(jié)束時(shí)重新開始訓(xùn)練，以避免重新開始，從而提高訓(xùn)練效率。為了確保數(shù)據(jù)利用率，不會(huì)對(duì)相同的數(shù)據(jù)進(jìn)行重新采樣。此外，為了進(jìn)一步提高訓(xùn)練效率，不同長度的句子將被打包成固定長度的序列，并使用特殊符號(hào)來描述不同的句子。訓(xùn)練過程中使用的優(yōu)化參數(shù)包括:學(xué)習(xí)速率、批量大小和總學(xué)習(xí)步驟。通過余弦學(xué)習(xí)速率調(diào)度將最大學(xué)習(xí)速率設(shè)置在2e-4和4e-5之間。在每個(gè)訓(xùn)練階段結(jié)束時(shí)，最終學(xué)習(xí)率下降到峰值學(xué)習(xí)率的10%。訓(xùn)練中使用的優(yōu)化算法是AdamW，其特征是β1值為0.9，β2值為0.95。權(quán)重衰減的范圍保持在0.01-0.1之間，所有階段的梯度削波值和學(xué)習(xí)率預(yù)熱比分別保持在1.0和0.025。

監(jiān)督微調(diào)：SFT（監(jiān)督微調(diào)）:收集了一個(gè)包含問答對(duì)和多輪對(duì)話的教學(xué)數(shù)據(jù)集。基于指令數(shù)據(jù)集，以監(jiān)督的方式對(duì)模型進(jìn)行微調(diào)。獎(jiǎng)勵(lì)模型的訓(xùn)練:根據(jù)3H標(biāo)準(zhǔn)，即幫助、無害和誠實(shí)，訓(xùn)練了一個(gè)獎(jiǎng)勵(lì)模型。我們在互聯(lián)網(wǎng)上收集用戶提示，構(gòu)建一組有毒提示，然后使用人類注釋器、語言模型和注釋偏好來生成不同的響應(yīng)。獎(jiǎng)勵(lì)模型從SFT模型初始化，最后一個(gè)投影層由新的全連接層替換。人工反饋強(qiáng)化學(xué)習(xí)（RLHF）:基于獎(jiǎng)勵(lì)模型，使用近似策略優(yōu)化（PPO）進(jìn)一步微調(diào)SFT模型。此階段的目的是使模型響應(yīng)與人類偏好一致。

基本功能

咨詢商量具有語義理解、多輪對(duì)話、知識(shí)掌握和邏輯推理的綜合能力。它使用大量數(shù)據(jù)進(jìn)行訓(xùn)練并充分考慮中文上下文，因此可以理解和處理中文文本，并具有理解多輪對(duì)話和長文本的能力；憑借合理性判斷和邏輯推理能力，我們可以判斷用戶給出的陳述是否合理，也可以根據(jù)前提和事實(shí)進(jìn)行推導(dǎo)，以處理復(fù)雜的邏輯問題。它還可以通過與用戶的多輪互動(dòng)解決復(fù)雜問題，提供定制化建議，協(xié)助文本創(chuàng)作，并自帶知識(shí)自動(dòng)及時(shí)更新模塊，從而生成更可信、準(zhǔn)確、更安全的信息；并且具有一定的共情能力，可以成為用戶傾訴社交壓力、情感困惑等個(gè)人問題的對(duì)象。此外，咨詢還可以通過字符識(shí)別技術(shù)閱讀和理解PDF文件，并根據(jù)用戶關(guān)于文件輸入的問題給出相應(yīng)的答案。

擴(kuò)展功能

AI代碼助手：AI代碼助手是基于大型語言模型的人工智能輔助開發(fā)工具，應(yīng)用于編程領(lǐng)域。AI代碼助手支持中英文和多種編程語言，并能適應(yīng)開發(fā)人員的個(gè)性化編碼風(fēng)格，提高開發(fā)效率并減少開發(fā)錯(cuò)誤。它具有代碼補(bǔ)全、代碼擴(kuò)展、代碼翻譯、代碼重構(gòu)、代碼修正、注釋代碼生成、復(fù)雜性分析和測試用例生成等功能。

大醫(yī)：基于問診模式的醫(yī)療健康大語言模型?；谌f億代幣的預(yù)訓(xùn)練語料庫，以超200億代幣的高質(zhì)量醫(yī)學(xué)知識(shí)數(shù)據(jù)進(jìn)行訓(xùn)練，涵蓋醫(yī)學(xué)教科書、醫(yī)學(xué)指南、臨床路徑、藥物庫、疾病庫、體檢報(bào)告，以及4000萬真實(shí)病歷、醫(yī)患問答等。大醫(yī)生的嵌入式醫(yī)療“場景集市”包括智慧健康、智慧患者服務(wù)、智慧門診和數(shù)字智能建設(shè)四大領(lǐng)域，包含智能自診、用藥咨詢、診后隨訪管理、智慧病歷和結(jié)構(gòu)化視頻報(bào)告等13個(gè)預(yù)設(shè)場景。支持提示項(xiàng)目定制、長期記憶訪問、醫(yī)學(xué)知識(shí)庫查詢匯總等個(gè)性化功能。

2023年11月18日，新華社中國企業(yè)發(fā)展研究中心發(fā)布《人工智能大模型體驗(yàn)報(bào)告3.0》，對(duì)國內(nèi)主流大模型進(jìn)行了全面評(píng)估。根據(jù)該報(bào)告，在量化衡量情商的維度上，商湯的商量在10個(gè)被評(píng)估的大型模型中排名第一。分析表明，就智商指數(shù)而言，商量能夠根據(jù)指令回答問題；在情商指標(biāo)方面，它可以給出詳細(xì)的計(jì)劃，多種角度切入問題，并能引發(fā)用戶深入思考。商量憑借其技術(shù)實(shí)力和發(fā)展?jié)摿Ρ恍氯A研究院評(píng)為中國大型模型市場的“未來領(lǐng)導(dǎo)者”。