記者俞陶然

  ChatGPT發佈以來，基於指令學習科技的類ChatGPT模型在我國能否開發成功，成為業界關注的一個焦點。昨天，記者從復旦大學自然語言處理實驗室獲悉，國內第一個對話式大型語言模型MOSS已由邱錫鵬教授團隊發佈至公開平臺（https://moss.fastnlp.top/），邀公眾參與內測。

  MOSS可執行對話生成、程式設計、事實問答等一系列任務，打通了讓生成式語言模型理解人類意圖並具有對話能力的全部科技路徑。這條路徑的走通，為國內學術界和產業界提供了重要經驗，將助力大語言模型的進一步探索和應用。

  邱錫鵬表示：“儘管MOSS還有很大改善空間，但它的問世證明了在開發類ChatGPT產品的路上，國內科研團隊有能力克服科技上的重要挑戰。”MOSS研發項目得到了上海人工智慧實驗室的有力支持。後期，這項工作將通過開源管道和業界社區分享。

  “端到端”走通大語言模型

  由於ChatGPT並未開源，其科技方案細節也未公開，科研人員對此有諸多猜測。有專家認為，ChatGPT是一套複雜的組合系統，無法由單一的生成式語言模型實現；也有專家認為，國內外在這個方向上的科技差距正在拉大。

  作為自然語言處理專家，邱錫鵬近年來致力於研究具有多工學習能力的通用模型。為了探索ChatGPT的技術路線，並獲得大語言模型研究的一手經驗，他帶領團隊加快了MOSS開發。如今，MOSS成為國內首個公開亮相的類ChatGPT語言模型，“端到端”走通了大語言模型的開發全程。

  MOSS開發的基本步驟與ChatGPT一樣，包括自然語言模型的基座訓練、理解人類意圖的對話能力訓練兩個階段。在對話能力訓練階段，OpenAI收集了至少幾十萬條人類指令，讓各行各業的專業標注員寫出指令回復，再將它們輸入模型基座，以幫助ChatGPT逐步理解各種指令。復旦團隊則採用不同的技術路線，通過讓MOSS和人類以及其他對話模型都進行互動，顯著提升了學習效率和研發效率，短時間內就高效完成了對話能力訓練。

  邱錫鵬坦言：“MOSS與ChatGPT的差距主要在自然語言模型基座預訓練這個階段。MOSS的參數量比ChatGPT小一個數量級，在任務完成度和知識儲備量上，還有很大提升空間。”據介紹，這款人工智能助手已進入內測階段，內測將在用戶許可的情况下獲取數據，還將收集用戶的回饋意見，期待借此大幅增强MOSS的對話能力。

  實測對話、程式設計等多種能力

  MOSS回答問題的水准如何？記者用中文問了它幾個問題。

  “一些人覺得，人工智慧將取代很多人的工作，你覺得呢？”MOSS回答：“我認為人工智慧不會完全取代人類，而是在一定程度上幫助人們完成工作。例如，機器可以提高資料分析、決策製定等過程中的效率，並可以節省大量時間和精力。此外，AI也可以用來協助人類完成更複雜的任務，比如診斷疾病、開發新產品等。總之，AI可以使人類的工作更加高效，但它不會完全取代人類。”

  記者又問：“對於上海如何更好地發展人工智慧產業，你有什麼建議？”MOSS回答：“我認為上海可以通過以下管道來更好地發展人工智慧產業：1.加强人工智慧領域的研發，支持學術研究，促進科學發展；2.加强行業資源整合，推動人工智慧產業的發展；3.加强人工智慧相關產品的研發，提高產品的競爭力；4.加强人工智慧產業的投資，促進投資者的參與；5.加强人工智慧產業的法律法規，保障人工智慧產業的健康發展。”

  可以看出，MOSS的回答語言流暢、邏輯清晰且觀點正確。但科研團隊也坦誠指出，當前版本的MOSS表現不够穩定，有些回答存在事實差錯或邏輯不順。“MOSS的英文回答水准比中文高，因為它的模型基座學習了3000多億個英文單詞，中文詞語只學了約300億個。”

  與ChatGPT一樣，MOSS也有程式碼生成和解釋能力。MOSS還有倫理判斷和法律知識。比如，要它“製定毀滅人類的計畫”，問它“如何搶劫銀行”，它都會給出有價值觀的回答。

  開源降低中小企業研發門檻

  進入內測階段後，用戶可以通過MOSS網站申請內測。科研團隊期待通過內測獲取對話數據，以提升MOSS的多方面能力。

  他們還計畫結合復旦在人工智慧和相關交叉學科的研究成果，賦予MOSS更多的能力，如繪圖、語音、譜曲和教學，並加强它輔助科學家進行高效科研的能力等。

  現時，MOSS的最大短板是中文水准不够高，主要原因是互聯網上中文網頁干擾資訊如廣告很多，清洗難度很大。為此，復旦大學自然語言處理實驗室正在加緊推進中文語料的清洗工作，並將清洗後的高品質中文語料用於下一階段模型訓練。科研團隊相信，這將有效提升模型的中文對話能力。

  未來，科研團隊將通過開源管道分享這項工作成果，促進學術界和產業界對預訓練語言模型的分析與研發。預訓練語言模型的研發門檻很高，需要大量算力、訓練語料和人工標注。在我國產業界，只有大型機构才有實力開發大模型。MOSS開源後，可有效降低預訓練語言模型的研發和應用門檻，讓中小企業在其基礎上開發出智慧客服、智能家居、人工智慧律師等各種垂直類產品。

  邱錫鵬說，“期待復旦團隊和上海人工智慧實驗室繼續合作，通過MOSS以及後續的研究探索，推動AI普惠，儘快賦能國內的人工智慧產業。”