云雀語言模型
云雀語言模型是字節跳動公司開發的大規模預訓練語言模型系列，有五個版本，即lite、plus、pro、pro-4k和chat。V1.0版本僅包含三個版本，即lite、plus和pro，于2023年8月6日發布。
基于字節神經網絡加速器開發了云雀模型。通過便捷的自然語言交互，它可以高效地完成交互對話、信息獲取、輔助創作等任務。它還提供簡單的API調用，并可以快速構建自己的AI應用程序并基于大型模型進行業務創新。
發展歷史
2023年8月17日，字節跳動公開測試了基于云雀模型的人工智能對話產品“豆包”，該產品具有web客戶端、iOS客戶端和Android客戶端，并預設了英語學習助手和寫作助手兩種功能。
2023年8月31日，包括云雀模型在內的首批8個大模型通過了《生成式人工智能服務管理暫行辦法》。
2023年9月19日，火山引擎在“V-Tech數據驅動技術峰會”上宣布，火山引擎中的數字智能平臺VeDI推出了“AI助手”，主要通過接入Lark模型來幫助企業提高數據處理和查詢分析的效率。這是字節首次公開披露Lark的相關應用。
模型能力
代碼生成:該語言模型具有專業的代碼生成能力和知識儲備，能夠高效輔助代碼生產場景。
對話表達:我們可以通過自然語言處理技術與用戶對話，回答用戶的問題，并在訓練時同時處理大量數據，從而學習更復雜的特征表達，掌握底層特征，然后完成復雜的多輪對話并提供相關信息和建議。
信息抽取:通過遞歸地理解和把握復雜的語義結構，深入理解文本信息之間的邏輯關系，可以從非結構化的文本信息中抽取出所需的結構化信息。
邏輯推理:通過分析問題的前提條件和假設，可以推導出答案或解決方案，并給出新的想法和觀點。
模型融合:通過將幾個小模型融合在一起，形成一個功能更強大的大模型，提高了模型的準確性，使模型更加靈活，可以適應更廣泛的數據和任務。
預訓練能力:通過預訓練，模型在訓練前已經學習了一些基礎知識和特征表示，這使得模型更高效，更具機動性，能夠適應更廣泛的數據集和任務。
基本原理
Lark是一個基于Transformer架構的語言模型，它通過預測上一篇文章中下一個最可能出現的單詞來實現文本生成。其中，使用的新技術主要是基于Transformer架構的語言模型和基于人類反饋的強化學習。前者對自然語言中包含的大量知識進行建模，而后者使模型能夠通過對話提供適當的內容。
傳動機構：用戶提問后，百靈鳥首先識別用戶需求，通過提前學習全網搜索內容，在對話框或登陸頁面顯示相應結果。該模型首先通過大規模無監督預訓練學習語言的統計規律和知識，然后通過監督微調使模型學會遵循用戶的指令，最后通過強化學習和訓練使模型生成合適的內容。
應用場景
云雀主要用于今日頭條、Tik Tok、剪報、番茄小說、西瓜視頻、飛書、豆包、悟空瀏覽器、知乎車皇等網站或應用。它主要涵蓋以下三個方向:
內容創作:該語言模型具有豐富的文本創作、嚴格的指令合規性和龐大的知識儲備能力，可應用于大綱生成、營銷文案生成等內容創作場景。
知識問答:這種語言模型集成了大量知識庫，可以高效地解決工作和生活等各種場景中的問題。
人與人之間的對話:這種語言模型的角色扮演能力符合設定，具有多輪記憶，可應用于社交同伴、虛擬主播和其他人設置對話場景。
版本介紹
Skylark-lite:Lite: Lite版響應速度快，適用于實時性要求高、成本敏感、對模型精度要求低的場景，如快速智能回復、實時通知生成、基本文本理解等。
云雀-Plus:Plus:Plus版本兼顧了響應速度和模型精度，適用于兼顧模型效果和使用成本的場景，如文本摘要、基礎文案、文本翻譯等。
Skylark-Pro:Pro: Pro版本具有較高的模型精度，適用于更復雜的文本生成場景，如專業領域的文案生成、小說創作、高質量翻譯等。
Skylark-Chat:聊天:聊天版本針對交互式場景進行了優化，可以更好地理解上下文并生成自然對話，適用于構建聊天機器人、虛擬助理和在線客服。
模型應用
豆包：“豆包”是基于云雀模型開發的AI機器人。用戶可以通過手機號碼、Tik Tok或蘋果ID登錄。“豆包”提供聊天機器人、寫作助手、英語學習助手等功能。它可以回答各種問題并進行對話以幫助人們獲取信息。
云雀語言模型除了文字，數字人“豆包”還會對每個答案進行語音回答。在功能方面，豆包在注冊登錄后將默認進入聊天界面，提供豆包、英語學習助手、全能寫作助手和愛聊天的蕭寧等四個虛擬角色，為用戶提供多語言、多功能的AIGC服務，包括但不限于問答、智能創作和聊天。在技術上，“豆包”基于深度學習，可以預測和生成輸入文本。其語言模型基于Transformer架構，具有高效的并行處理能力和良好的語言理解能力。訓練數據來自互聯網上的大量文本，包括新聞、博客、小說、論文等。在訓練過程中，使用了各種優化算法，包括隨機梯度下降、Adagrad、Adadelta等。
洪辰：洪辰相當于海外版的“豆包”，于今年8月在多個海外市場推出。聚焦海外市場，已于2023年8月在多個海外市場上線，截至12月初已在36個國家和地區上線，基本覆蓋除歐美成熟市場外的全球其他所有地區。
ChitChop：ChitChop是一款基于云雀模型的人工智能助手工具，可為用戶提供20智能機器人服務，通過提供創意靈感和提高工作效率來服務用戶的工作和生活。就功能而言，ChitChopCici和豆腐更通用。在ChitChop APP的首頁可以看到包括創作、工作、AI繪畫、娛樂、AI學習和生活在內的六大使用場景。每個場景包含10多個AI工具，總計200多個智能機器人，用戶甚至可以與AI虛擬角色一起玩游戲。
相關事件
2023年12月，外媒報道稱字節跳動正在使用OpenAI技術開發自己的大型語言模型，這違反了OpenAI的服務條款。對此，字節跳動相關負責人回應稱，在使用OpenAI相關服務時，公司強調需要遵守其使用條款，同時也在與OpenAI聯系，以澄清外部報道可能造成的誤解。