7月9日，由中國人民大學信息資源管理學院錢明輝教授主持的國家社科基金重點項目舉行階段性成果線上發(fā)布會，發(fā)布了中國人民大學研究團隊與微點研究院聯合開發(fā)的“政研大模型（PSLLM-14B）”。

據錢明輝介紹，該模型基于Multi-Task Transformer架構，共計140億神經網絡參數，在政策文本分析挖掘任務中展現出良好的性能，具有“可信”、“可知”、“可用”三大特點。

“可信”是指“政研大模型（PSLLM-14B）”具有一套可信的系統(tǒng)框架，該框架的構成要素包括可信的訓練數據集、可信的模型架構、可信的參數設置、可信的推理結果、可信的數據保護能力、可信的硬件設備、可信的網絡環(huán)境等。

【資料圖】

錢明輝稱，在訓練數據集上，模型主要使用了經過嚴格篩選和清洗的高質量政策文本，同時利用不同的數據來源進行多樣化訓練，以降低數據偏差；其次，在模型架構和參數設置上，采用了經過大量實驗驗證的Transformer架構，并且根據政策文本的特點調整了模型參數，以提高模型的泛化性和準確性；最后，模型的推理結果采用了一系列驗證和評估手段，包括內部測試、公開評測等，以保證推理結果的準確性和魯棒性。

“可知”是指“政研大模型（PSLLM-14B）”的推理過程及輸出結果具有較好的可解釋性。此次發(fā)布的“政研大模型（PSLLM-14B）”一大特點在于具有一定的思維鏈（Chain-of-thought, CoT）能力。

所謂思維鏈，是指一系列有邏輯關系的思考步驟，形成了一個完整的思考過程?！罢写竽Ｐ停≒SLLM-14B）”將思維鏈這一步驟分解的方式應用在提示學習中，通過將大模型的推理過程分解成多個步驟，模型生成的結果具有更加清晰的邏輯鏈路，能夠實現對大模型智能化推理過程更加清晰、透明的解釋。

而在政務相關的場景中，特別是政策制定和解讀，往往涉及到復雜的邏輯和決策過程，因此，思維鏈技術在這些場景中就可以幫助政策研究者、政策執(zhí)行者、政策受眾更好地理解和分析政策文本，把握政策的目標取向和內在邏輯。

“可用”則是指“政研大模型（PSLLM-14B）”作為政研領域的首個大模型，相比其他通用大模型具有性能優(yōu)越性。在解決政策研究相關問題的過程中，“政研大模型（PSLLM-14B）”表現出更高的準確率，即對政策解讀任務或評估政策數據集上生成結果的正確性與真實情況的一致性更高。

在實際部署的過程中，“政研大模型（PSLLM-14B）”會以插件化的形式融入現有的數字基礎設施和政務系統(tǒng)。錢明輝舉例，該大模型可以作為政策文本分析和解讀的智能數字輔助工具，幫助政策研究人員更快地獲取政策信息，更準確地理解政策含義；也可以根據未來“政務云”系統(tǒng)的建設需要，將“政研大模型（PSLLM-14B）”在云端進行部署，提升“政務云”的智能化服務能力。

為了降低部署成本和提高適配效率，“政研大模型（PSLLM-14B）”團隊也在模型設計和優(yōu)化方面做了工作。

錢明輝表示，首先團隊在模型設計上考慮到了與硬件兼容性，模型主要模塊采用的是廣泛應用且兼容性好的Pytorch框架編寫。其次，團隊通過一系列的模型壓縮和量化技術，降低了模型的復雜度，提高了模型的運行效率，使其在CPU設備上也能高效運行。最后，團隊還提供了一整套的模型部署和運維方案，包括模型轉換、部署、測試、監(jiān)控等，以解決軟硬件適配問題，確保模型的穩(wěn)定運行。

（文章來源：界面新聞）

關鍵詞：