1 引言

近年來，大模型（如 GPT-4o 等）憑借大規(guī)模訓(xùn)練數(shù)據(jù)、大規(guī)模參數(shù)、大規(guī)模算力，涌現(xiàn)出傳統(tǒng) AI 模型所不具備的強(qiáng)大生成能力、泛化能力和交互能力。在自然語言處理領(lǐng)域，大模型能夠生成高質(zhì)量的文本并完成復(fù)雜的對話任務(wù)；在計(jì)算機(jī)視覺領(lǐng)域，大模型能夠?qū)崿F(xiàn)精準(zhǔn)的圖像識別并生成高保真的圖像或視頻。此外，大模型還在醫(yī)學(xué)、教育等專業(yè)領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛力，通過對領(lǐng)域數(shù)據(jù)的學(xué)習(xí)，提供準(zhǔn)確的問答、診斷、預(yù)測和決策支持，已成為邁向通用人工智能的里程碑技術(shù)。

工業(yè)制造業(yè)是立國之本和強(qiáng)國之基，建設(shè)制造強(qiáng)國是我國的重大戰(zhàn)略決策。在新一代信息通信技術(shù)的推動下，制造業(yè)正從數(shù)字化網(wǎng)絡(luò)化邁向智能化的全新發(fā)展階段。如何推進(jìn)人工智能賦能新型工業(yè)化，培育面向工業(yè)領(lǐng)域的大模型，推動人工智能與實(shí)體經(jīng)濟(jì)深度融合，成為當(dāng)前重要的國家創(chuàng)新戰(zhàn)略。

歐美發(fā)達(dá)國家已開始探索大模型在工業(yè)領(lǐng)域的應(yīng)用。例如，西門子采用 ChatGPT 來自動生成可編程邏輯控制器（PLC）代碼，OpenAI 采用多模態(tài)大模型操控機(jī)器人并嘗試在寶馬制造車間從事簡單的抓取工作，英偉達(dá)正在基于大模型打造通用人形機(jī)器人平臺。當(dāng)前國內(nèi)外的研究主要是利用已有的通用大模型尤其是大語言模型，嘗試解決工業(yè)制造業(yè)的具體問題。學(xué)術(shù)界和產(chǎn)業(yè)界對于工業(yè)大模型的巨大發(fā)展?jié)摿Ρв袠O高的期待。

然而，工業(yè)制造業(yè)的復(fù)雜性使得工業(yè)大模型的發(fā)展面臨諸多嚴(yán)峻挑戰(zhàn)：

工業(yè)跨模態(tài)協(xié)同難：通用大模型擅長處理文本、圖像、視頻等常見數(shù)據(jù)模態(tài)，其數(shù)據(jù)多來源于互聯(lián)網(wǎng)等公開渠道。但對于工業(yè)制造業(yè)中難以獲取的特有數(shù)據(jù)模態(tài)，如 CAX 模型、傳感信號、工藝文件、機(jī)器指令等了解甚少。工業(yè)場景中多模態(tài)數(shù)據(jù)融合時存在異質(zhì)性和同步性問題，不同類型傳感數(shù)據(jù)采樣率和數(shù)據(jù)格式不同，存在信息冗余和語義不一致性，大模型難以對復(fù)雜異質(zhì)的工業(yè)數(shù)據(jù)模態(tài)進(jìn)行有效對齊和協(xié)同。這是因?yàn)榇竽Ｐ腿狈I(yè)復(fù)雜模態(tài)數(shù)據(jù)特性的深刻理解，導(dǎo)致其跨模態(tài)數(shù)據(jù)協(xié)同處理能力有限。

工業(yè)高可信輸出難：通用大模型對輸出的精準(zhǔn)性和可靠性沒有統(tǒng)一的嚴(yán)格要求，能容忍一定程度的幻覺現(xiàn)象。而工業(yè)應(yīng)用對準(zhǔn)確性和可靠性要求極高，如機(jī)械臂協(xié)作裝配的精確控制?，F(xiàn)有大模型基于概率預(yù)測，輸出結(jié)果不確定性高，難以滿足工業(yè)任務(wù)的高精度要求。這是由于大模型的概率特性和非目標(biāo)驅(qū)動特性，使其難以學(xué)習(xí)到任務(wù)背后的工業(yè)機(jī)理和規(guī)律。此外，多任務(wù)優(yōu)化與單任務(wù)的沖突使得模型在處理高精度任務(wù)時可能出現(xiàn)信息沖突和遺忘，降低單任務(wù)性能。

工業(yè)多場景泛化難：通用大模型常見的文本或圖像內(nèi)容生成、知識問答等應(yīng)用場景，底層邏輯較為統(tǒng)一，大多可基于對話界面完成任務(wù)。而工業(yè)領(lǐng)域產(chǎn)品全生命周期涵蓋研發(fā)設(shè)計(jì)、生產(chǎn)制造、試驗(yàn)測試、運(yùn)維服務(wù)等多種不同應(yīng)用場景，不同行業(yè)不同場景任務(wù)需求各異，且生產(chǎn)任務(wù)需機(jī)器設(shè)備執(zhí)行才能完成，大模型難以適應(yīng)復(fù)雜多變的工業(yè)場景。這是因?yàn)榇竽Ｐ蛯I(yè)多學(xué)科跨領(lǐng)域?qū)I(yè)知識的泛化能力不足，且工業(yè)場景中存在大量硬件設(shè)備交互任務(wù)，使當(dāng)前大模型主流應(yīng)用范式無法適應(yīng)。

工業(yè)多流程關(guān)聯(lián)難：通用大模型應(yīng)用場景涉及的多流程關(guān)聯(lián)邏輯性任務(wù)較少。而工業(yè)制造業(yè)應(yīng)用離不開具有內(nèi)在關(guān)聯(lián)的多流程業(yè)務(wù)，各流程任務(wù)之間的關(guān)聯(lián)和依賴關(guān)系復(fù)雜，如跨企業(yè)多工序多因素耦合的質(zhì)量問題追溯與根因分析，實(shí)現(xiàn)多個流程任務(wù)的有效關(guān)聯(lián)和協(xié)同是一個重要挑戰(zhàn)。大模型難以全面理解和認(rèn)知復(fù)雜的工業(yè)流程語境和任務(wù)間的動態(tài)關(guān)系，缺乏對復(fù)雜流程的深層次任務(wù)關(guān)聯(lián)和長期記憶能力，使其難以有效處理多流程任務(wù)。

工業(yè)高實(shí)時推理難：通用大模型對應(yīng)用的實(shí)時性沒有統(tǒng)一的高要求。而工業(yè)現(xiàn)場應(yīng)用，如設(shè)備控制等，具有嚴(yán)格的實(shí)時性要求（毫秒級），同時還受到算力設(shè)施的限制，大模型在工業(yè)邊緣實(shí)時應(yīng)用中面臨資源受限的挑戰(zhàn)?，F(xiàn)有輕量化方法，如模型剪枝、量化等，雖在壓縮率和加速效果方面取得一定進(jìn)展，但仍無法滿足工業(yè)邊緣輕量實(shí)時應(yīng)用的高要求。這是因?yàn)榇竽Ｐ蛥?shù)規(guī)模龐大，執(zhí)行工業(yè)任務(wù)時需要激活大部分計(jì)算單元，難以在工業(yè)邊緣有限的計(jì)算資源下實(shí)時運(yùn)行。

從上述挑戰(zhàn)可知，當(dāng)前通用大模型無法直接用于解決復(fù)雜的工業(yè)問題，工業(yè)大模型不是通用大模型在工業(yè)領(lǐng)域的簡單垂直應(yīng)用，亟需開展全新的工業(yè)大模型基礎(chǔ)理論和關(guān)鍵技術(shù)研究。目前，國內(nèi)外關(guān)于工業(yè)大模型的系統(tǒng)性研究仍屬空白。

本文提出了工業(yè)大模型的全新定義和體系架構(gòu)，包括基礎(chǔ)設(shè)施層、基座層、模型層、交互層、應(yīng)用層；提出了工業(yè)大模型的四階段構(gòu)建方法，闡述了核心關(guān)鍵技術(shù)；基于工業(yè)大模型 6 種核心應(yīng)用能力，探討了面向工業(yè)制造業(yè)全生命周期的典型應(yīng)用場景，并給出 “基石” 工業(yè)大模型原型系統(tǒng)在生成式人工智能方面的應(yīng)用實(shí)例；最后，探討和展望了工業(yè)大模型未來的研究方向和開放性問題。

2 工業(yè)大模型定義與體系架構(gòu)

工業(yè)大模型是面向工業(yè)產(chǎn)品全生命周期應(yīng)用的、具有大規(guī)模參數(shù)的深度學(xué)習(xí)模型體系，包括工業(yè)基座大模型、工業(yè)任務(wù)導(dǎo)向大模型、工業(yè)行業(yè)領(lǐng)域大模型等不同層次和類別的模型系統(tǒng)。它具有工業(yè)數(shù)據(jù)和機(jī)理知識融合驅(qū)動、工業(yè)專業(yè)化內(nèi)容生成、高可信高可靠輸出、工業(yè)多場景跨域任務(wù)學(xué)習(xí)與自適應(yīng)、工業(yè)多模態(tài)融合交互、人 - 智能體 - 工業(yè)系統(tǒng)協(xié)同、算力與效率靈活適配等主要特征，具備智能問答、場景認(rèn)知、過程決策、終端控制、內(nèi)容生成、科學(xué)發(fā)現(xiàn)等核心任務(wù)能力，能夠適配離散行業(yè)和流程行業(yè)不同行業(yè)領(lǐng)域、不同工業(yè)任務(wù)，為產(chǎn)品研發(fā)設(shè)計(jì)、生產(chǎn)制造、試驗(yàn)測試、經(jīng)營管理、運(yùn)維服務(wù)等全業(yè)務(wù)域智能化升級提供基于大模型的新應(yīng)用范式和新方法技術(shù)。

圖 1 工業(yè)大模型體系架構(gòu)圖

工業(yè)大模型體系架構(gòu)包含基礎(chǔ)設(shè)施層、基座層、模型層、交互層、應(yīng)用層 5 個層次，具體如下：

基礎(chǔ)設(shè)施層：是構(gòu)建工業(yè)大模型所需的基礎(chǔ)資源，包括工業(yè)數(shù)據(jù)、算力、知識等。工業(yè)數(shù)據(jù)涵蓋 CAX 文件、工業(yè)時序數(shù)據(jù)、機(jī)器指令、工業(yè)文檔以及圖像、視頻和音頻等多模態(tài)數(shù)據(jù)，是模型訓(xùn)練和操作的基礎(chǔ)。計(jì)算資源包括用于大模型訓(xùn)練和推理的云邊端算力、存儲，以及專為 AI 運(yùn)算設(shè)計(jì)的芯片。工業(yè)知識包括工業(yè)通用知識和企業(yè)私有知識，涵蓋行業(yè)規(guī)范、操作文檔、機(jī)器運(yùn)作原理和維護(hù)經(jīng)驗(yàn)等工業(yè)知識文件和專用的領(lǐng)域知識圖譜，為模型提供決策分析的深層次知識邏輯基礎(chǔ)。

基座層：是工業(yè)大模型的核心支撐，主要包括基于工業(yè)多模態(tài)預(yù)訓(xùn)練技術(shù)、工業(yè)機(jī)理內(nèi)嵌微調(diào)技術(shù)、工業(yè)智能體交互推理技術(shù) 3 類核心技術(shù)的工業(yè)基座大模型。預(yù)訓(xùn)練通過與下游任務(wù)無關(guān)的工業(yè)多模態(tài)數(shù)據(jù)的初始訓(xùn)練，使工業(yè)大模型具備理解和處理工業(yè)場景中多模態(tài)數(shù)據(jù)的通用能力。微調(diào)是在較小、特定數(shù)據(jù)集上進(jìn)一步訓(xùn)練預(yù)訓(xùn)練模型，以提高模型在特定任務(wù)上的性能和泛化未見過任務(wù)的性能。工業(yè)推理使模型在復(fù)雜的工業(yè)環(huán)境中能夠迅速、準(zhǔn)確地處理數(shù)據(jù)并作出決策，包括模型壓縮、硬件加速、工業(yè)檢索增強(qiáng)生成等方法。工業(yè)基座大模型具備工業(yè)任務(wù)的通用解決能力，為更精細(xì)的模型適配及場景應(yīng)用提供基礎(chǔ)。

模型層：是工業(yè)大模型的主干部分，面向不同的工業(yè)任務(wù)和行業(yè)領(lǐng)域進(jìn)行適配，形成任務(wù)導(dǎo)向大模型和行業(yè)領(lǐng)域大模型。工業(yè)任務(wù)適配是以工業(yè)基座大模型為基礎(chǔ)，經(jīng)過多任務(wù)指令微調(diào)，在保留通用任務(wù)能力的基礎(chǔ)上使其在特定任務(wù)上表現(xiàn)更優(yōu)，包括智能問答模型、場景認(rèn)知模型、過程決策模型、終端控制模型、內(nèi)容生成模型、科學(xué)發(fā)現(xiàn)模型。行業(yè)領(lǐng)域大模型則是在其基礎(chǔ)上通過行業(yè)領(lǐng)域知識嵌入和適配器微調(diào)得到的，涵蓋航空航天、汽車、機(jī)械等離散制造領(lǐng)域，以及石化、冶金、電力等流程工業(yè)領(lǐng)域。

交互層：由人、大模型智能體、工業(yè)賽博物理系統(tǒng)三部分組成，形成有機(jī)整體對工業(yè)生產(chǎn)過程進(jìn)行交互協(xié)作。用戶包含研發(fā)人員、工程人員、生產(chǎn)操作人員和經(jīng)營管理人員等各類專項(xiàng)人員，在制造過程中承擔(dān)不同任務(wù)目標(biāo)。智能體集成工業(yè)大模型的幾項(xiàng)基本能力，并增強(qiáng)記憶、規(guī)劃、行動、感知來與外界交互，具有主動感知和控制工業(yè)環(huán)境的能力，能夠自發(fā)記憶、觀測和影響外界環(huán)境。賽博物理系統(tǒng)包含物理系統(tǒng)（如機(jī)器人、機(jī)床、自動導(dǎo)引車等）和賽博系統(tǒng)（數(shù)據(jù)庫、工業(yè)軟件、工業(yè)網(wǎng)絡(luò)等），是智能體感知、調(diào)用和控制的對象。

應(yīng)用層：是工業(yè)大模型在服務(wù)端的表現(xiàn)形式。工業(yè)大模型涵蓋智能問答、場景認(rèn)知、過程決策、終端控制、內(nèi)容生成和科學(xué)發(fā)現(xiàn)等 6 大能力，這些能力使其能完成復(fù)雜專業(yè)的問答，理解和分析復(fù)雜的工業(yè)環(huán)境，作出科學(xué)的過程決策，直接控制工業(yè)設(shè)備，以及自動生成技術(shù)文檔和仿真設(shè)計(jì)?；谶@些能力，面向工業(yè)制造業(yè)全生命周期，對研發(fā)設(shè)計(jì)、生產(chǎn)制造、試驗(yàn)測試、經(jīng)營管理、運(yùn)維服務(wù) 5 個工業(yè)環(huán)節(jié)進(jìn)行支撐應(yīng)用。

圖 2 工業(yè)大模型構(gòu)建方法

3 工業(yè)大模型構(gòu)建方法

工業(yè)大模型的構(gòu)建主要包括工業(yè)數(shù)據(jù)制備、工業(yè)基座模型訓(xùn)練、工業(yè)任務(wù) / 行業(yè)模型適配、工業(yè)場景交互應(yīng)用 4 個階段：

工業(yè)數(shù)據(jù)制備：工業(yè)數(shù)據(jù)具有多種模態(tài)，如傳感器的時序數(shù)據(jù)、工業(yè)視頻和圖像數(shù)據(jù)、CAD 數(shù)據(jù)、工業(yè)代碼等，其制備方式更加多樣化，主要包括數(shù)據(jù)收集、預(yù)處理、仿真及生成三個流程?？梢酝ㄟ^使用公開或企業(yè)自有數(shù)據(jù)集、數(shù)據(jù)爬取和聯(lián)邦學(xué)習(xí)等多種方式獲取數(shù)據(jù)。為確保模型訓(xùn)練的效度和可靠性，需要進(jìn)行數(shù)據(jù)清洗和預(yù)處理，包括質(zhì)量過濾、敏感內(nèi)容過濾、數(shù)據(jù)去重以及針對不同模態(tài)數(shù)據(jù)的標(biāo)準(zhǔn)化等操作。為滿足大模型對大量數(shù)據(jù)的需求，可以通過仿真系統(tǒng)生成和生成式模型兩種方法增加數(shù)據(jù)量，生成的數(shù)據(jù)需經(jīng)過工業(yè)仿真系統(tǒng)篩選與過濾，剔除不可信樣本后用于后續(xù)模型訓(xùn)練。

工業(yè)基座模型訓(xùn)練：主要包含工業(yè)自監(jiān)督預(yù)訓(xùn)練、跨模態(tài)注意力對齊以及工業(yè)機(jī)理內(nèi)嵌微調(diào) 3 個任務(wù)。自監(jiān)督預(yù)訓(xùn)練旨在使大模型獲取對工業(yè)領(lǐng)域復(fù)雜數(shù)據(jù)集進(jìn)行特征提取與編碼的能力，對于常見模態(tài)數(shù)據(jù)可直接采用預(yù)訓(xùn)練網(wǎng)絡(luò)，對于工業(yè)特殊模態(tài)數(shù)據(jù)則需要重新設(shè)計(jì)并訓(xùn)練對應(yīng)的編解碼器。模型需要進(jìn)行多模態(tài)對齊，調(diào)整不同模態(tài)數(shù)據(jù)的向量表征，確保它們在同一語義空間內(nèi)的一致性，針對工業(yè)特殊模態(tài)數(shù)據(jù)的特點(diǎn)，在凍結(jié)原有參數(shù)的同時重點(diǎn)訓(xùn)練對應(yīng)的輸入和輸出映射器。完成注意力對齊后，大模型具備感知工業(yè)多模態(tài)數(shù)據(jù)的能力，但仍需進(jìn)行工業(yè)機(jī)理內(nèi)嵌微調(diào)，收集相關(guān)工業(yè)知識并轉(zhuǎn)換為可用于訓(xùn)練的嵌入向量特征，通過并入訓(xùn)練目標(biāo)、并入大模型的輸入、進(jìn)行知識圖的指令微調(diào)等方法完成工業(yè)機(jī)理內(nèi)嵌微調(diào)，對于工業(yè)機(jī)理方程，可將其信息表征為神經(jīng)網(wǎng)絡(luò)可識別的特征信息嵌入模型中，或者添加符合物理規(guī)律的后處理模塊實(shí)現(xiàn)工業(yè)機(jī)理內(nèi)嵌，提高模型輸出的合理性。

工業(yè)任務(wù) / 行業(yè)模型適配：完成工業(yè)大模型的訓(xùn)練后，基于工業(yè)基座大模型，通過模型適配獲得適用于具體工業(yè)任務(wù)的模型和行業(yè)領(lǐng)域模型。模型適配過程包括針對任務(wù)模型的任務(wù)適配微調(diào)以及針對領(lǐng)域模型的行業(yè)知識內(nèi)化。在任務(wù)適配微調(diào)過程中，對不同的任務(wù)準(zhǔn)備不同的任務(wù)指令集，在任務(wù)指令集上對模型進(jìn)行指令微調(diào)，提高模型在專精任務(wù)上的表現(xiàn)。完成任務(wù)模型微調(diào)后，為使模型應(yīng)用于各個行業(yè)時具有更強(qiáng)的適配性，需要進(jìn)行適配器微調(diào)，通過添加小規(guī)模適配層而不改變預(yù)訓(xùn)練模型參數(shù)，減少訓(xùn)練成本的同時保留預(yù)訓(xùn)練模型的泛化能力，提高在行業(yè)特定數(shù)據(jù)集上的性能。

工業(yè)場景交互應(yīng)用：主要分為 “人 - 智能體 - 工業(yè)賽博物理系統(tǒng)” 交互和高效實(shí)時推理增強(qiáng)兩項(xiàng)任務(wù)。人、智能體、工業(yè)賽博物理系統(tǒng)作為相互交互的主體，形成有機(jī)整體。智能體以工業(yè)大模型的能力為內(nèi)核，并增加與應(yīng)用環(huán)境的交互功能，如主動感知、情景記憶、行動規(guī)劃、執(zhí)行控制等，根據(jù)多變的工業(yè)任務(wù)目標(biāo)，在工業(yè)環(huán)境中實(shí)現(xiàn)主動化的觀測、行動與協(xié)作。在模型推理過程中，可以使用檢索增強(qiáng)生成（RAG）技術(shù)進(jìn)行推理效果增強(qiáng)，預(yù)先將工業(yè)賽博物理系統(tǒng)中的領(lǐng)域或者環(huán)境信息編碼為知識圖譜，動態(tài)地從外部知識庫中檢索相關(guān)信息，并將其與模型當(dāng)前處理的內(nèi)容結(jié)合起來，增強(qiáng)模型的知識理解和回答能力，該技術(shù)特別適用于存在大量動態(tài)變化因素的工業(yè)環(huán)境場景。對于端側(cè)算力不足的情況，可以使用工業(yè)輕量端側(cè)部署加速推理技術(shù)實(shí)現(xiàn)高效實(shí)時推理，通過模型剪枝、模型量化、知識蒸餾等方法對模型進(jìn)行壓縮與量化，減少使用過程中需要的算力。

4 工業(yè)大模型關(guān)鍵技術(shù)

4.1 工業(yè)多模態(tài)預(yù)訓(xùn)練技術(shù)

工業(yè)生產(chǎn)中存在大量多模態(tài)數(shù)據(jù)，如圖像數(shù)據(jù)、設(shè)備運(yùn)行聲音數(shù)據(jù)、操作日志中的文本數(shù)據(jù)、各類傳感器數(shù)據(jù)等。各模態(tài)數(shù)據(jù)來源和表現(xiàn)形式不同，模型難以直接處理并用于任務(wù)決策。因此，需要首先訓(xùn)練工業(yè)模態(tài)編碼器和生成器，然后對不同模態(tài)的數(shù)據(jù)在統(tǒng)一語義空間內(nèi)進(jìn)行協(xié)同對齊編碼和跨模態(tài)融合，完成預(yù)訓(xùn)練。

圖 3 工業(yè)大模型多模態(tài)預(yù)訓(xùn)練

工業(yè)自監(jiān)督預(yù)訓(xùn)練：旨在對模態(tài)編碼器、模態(tài)生成器和骨干網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，賦予它們對各自模態(tài)數(shù)據(jù)的語義理解及特征提取能力，涉及對工業(yè)領(lǐng)域復(fù)雜數(shù)據(jù)的特征提取與編碼。對于常見模態(tài)的數(shù)據(jù)（文檔、圖像、視頻等），可直接采用預(yù)訓(xùn)練的網(wǎng)絡(luò)，預(yù)訓(xùn)練方法包括預(yù)測下一個 token 或句子和去噪自編碼任務(wù)等。針對時序數(shù)據(jù)，可通過在特定時間點(diǎn)添加掩碼并預(yù)測還原來實(shí)現(xiàn)預(yù)訓(xùn)練；對于工業(yè) CAX 數(shù)據(jù)，可以采取序列化處理并輸入到專門設(shè)計(jì)的拓?fù)洹缀蔚染幋a器中，學(xué)習(xí)各種變化。

工業(yè)多模態(tài)協(xié)同編碼：為解決工業(yè)場景下不同數(shù)據(jù)的模態(tài)間未對齊問題，可通過多模態(tài)協(xié)同編碼方式統(tǒng)一表征，縮小或消除模態(tài)間的語義間隔，為后續(xù)多模態(tài)預(yù)訓(xùn)練奠定基礎(chǔ)。針對不同模態(tài)數(shù)據(jù)的特點(diǎn)進(jìn)行預(yù)處理及特征編碼，文本數(shù)據(jù)根據(jù)工業(yè)詞表使用分詞器分詞得到詞元序列并編碼；視覺數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化預(yù)處理后劃分為圖像塊或點(diǎn)簇，通過 2D 或 3D 編碼器轉(zhuǎn)換為編碼向量；音頻數(shù)據(jù)采樣并轉(zhuǎn)換為音頻頻譜，再通過頻譜編碼器輸出音頻向量表征；傳感器數(shù)據(jù)間隔采樣提取時序點(diǎn)數(shù)據(jù)進(jìn)行數(shù)值標(biāo)準(zhǔn)化，采用時序編碼模型得到時序編碼向量。

工業(yè)跨模態(tài)對齊：結(jié)合多模態(tài)數(shù)據(jù)的編碼，通過注意力對齊調(diào)整不同模態(tài)數(shù)據(jù)的向量表征，確保它們在同一語義空間內(nèi)的一致性。具體可通過訓(xùn)練輸入和輸出映射器優(yōu)化預(yù)定義的目標(biāo)函數(shù)實(shí)現(xiàn)多模態(tài)對齊。多模態(tài)預(yù)訓(xùn)練對齊階段通常涉及大規(guī)模的文本配對數(shù)據(jù)，利用自監(jiān)督學(xué)習(xí)損失函數(shù)優(yōu)化各模態(tài)的編碼器，使各模態(tài)在聯(lián)合嵌入空間中更為接近。由于工業(yè)場景數(shù)據(jù)模態(tài)更豐富，還需設(shè)計(jì)針對性的工業(yè)模態(tài)數(shù)據(jù)對齊方法，如 CAX - 文本匹配、傳感時序數(shù)據(jù) - 文本匹配等，并在保持預(yù)訓(xùn)練模塊凍結(jié)的同時，重點(diǎn)訓(xùn)練輸入和輸出映射器.  可采用基于聯(lián)合優(yōu)化的投影轉(zhuǎn)換跨模態(tài)融 合, 或基于交叉注意力的感知增強(qiáng)跨模態(tài)融合等方法.  當(dāng)配對數(shù)據(jù)較為充足時, 可采用端到端的方式 在混合模態(tài)數(shù)據(jù)進(jìn)行訓(xùn)練對齊 [26] , 優(yōu)化跨模態(tài)訓(xùn)練的穩(wěn)定性.

4.2 工業(yè)機(jī)理內(nèi)嵌微調(diào)技術(shù)

預(yù)訓(xùn)練完成后，大模型具備了一定的普適性通用化能力，能應(yīng)對部分任務(wù)。然而在工業(yè)多場景任務(wù)中，由于缺乏工業(yè)領(lǐng)域的專業(yè)知識和機(jī)理，大模型難以準(zhǔn)確理解和處理工業(yè)問題，輸出結(jié)果的可信性也較差。所以，結(jié)合工業(yè)知識和機(jī)理對大模型進(jìn)行微調(diào)十分必要，具體過程如圖 4（工業(yè)機(jī)理內(nèi)嵌微調(diào)）所示。

圖 4 工業(yè)機(jī)理內(nèi)嵌微調(diào)

通用知識融合與工業(yè)機(jī)理內(nèi)嵌：大模型常用指令微調(diào)的方式，即在由人類指令和期望輸出組成的配對集合上，對預(yù)訓(xùn)練后的模型進(jìn)行微調(diào)。為將工業(yè)知識融入大模型，首先要從多種渠道收集工業(yè)知識，如工藝流程、技術(shù)規(guī)范等經(jīng)驗(yàn)知識。其次，把這些知識轉(zhuǎn)化為大模型能夠理解和處理的形式，比如創(chuàng)建知識圖譜中的三元組數(shù)據(jù)（頭實(shí)體、關(guān)系、尾實(shí)體），并利用知識圖嵌入技術(shù)將知識轉(zhuǎn)為嵌入向量特征，用于后續(xù)訓(xùn)練。最后，使大模型融合工業(yè)知識，可通過將知識圖譜整合進(jìn)訓(xùn)練目標(biāo)，以及進(jìn)行知識圖的指令微調(diào)來實(shí)現(xiàn)。

在將工業(yè)機(jī)理方程嵌入模型方面，可把機(jī)理信息表征為神經(jīng)網(wǎng)絡(luò)能識別的特征信息，嵌入網(wǎng)絡(luò)架構(gòu)中。在模型輸出階段，引導(dǎo)模型輸出符合工業(yè)物理規(guī)律的結(jié)果，例如在損失函數(shù)中添加機(jī)理方程，對違反物理規(guī)律的輸出結(jié)果進(jìn)行懲罰。此外，還能依據(jù)機(jī)理知識庫中的規(guī)則，檢查約束模型輸出，使其符合工業(yè)機(jī)理，也可以使用仿真工具或專家系統(tǒng)，驗(yàn)證模型輸出的可信性和準(zhǔn)確性。

行業(yè)知識適配器微調(diào)：完成不同工業(yè)任務(wù)的模型微調(diào)后，為增強(qiáng)模型在各個行業(yè)的適配性，還需進(jìn)行行業(yè)知識嵌入微調(diào)，讓大模型精通特定行業(yè)的專業(yè)知識，從而在不同行業(yè)發(fā)揮更出色的作用。在行業(yè)模型微調(diào)時，使用適配器微調(diào)，既能最大限度保留任務(wù)模型的能力，又能顯著增強(qiáng)模型對不同行業(yè)的適應(yīng)能力。之后，準(zhǔn)備詳細(xì)的行業(yè)數(shù)據(jù)集，在這些數(shù)據(jù)集上微調(diào)模型性能，提升模型在行業(yè)專業(yè)問題上的表現(xiàn)。

場景知識內(nèi)化強(qiáng)化自訓(xùn)練：場景知識內(nèi)化強(qiáng)化自訓(xùn)練技術(shù)主要用于解決工業(yè)行業(yè)知識中細(xì)分場景標(biāo)注數(shù)據(jù)有限的問題。該技術(shù)先對小規(guī)模標(biāo)注數(shù)據(jù)進(jìn)行初步訓(xùn)練，然后利用模型生成偽標(biāo)簽，標(biāo)注大規(guī)模未標(biāo)注數(shù)據(jù)，并引入強(qiáng)化學(xué)習(xí)設(shè)定獎勵機(jī)制，優(yōu)化偽標(biāo)簽質(zhì)量，進(jìn)而提升模型性能。在標(biāo)注數(shù)據(jù)有限的情況下，這種技術(shù)有助于解決工業(yè)細(xì)分場景問題的場景大模型微調(diào)，提高模型訓(xùn)練效率和精度。

4.3 工業(yè)智能體交互推理技術(shù)

“人 - 智能體 - 工業(yè)賽博物理系統(tǒng)” 交互技術(shù)：在工業(yè)生產(chǎn)過程中，人、智能體、工業(yè)賽博物理系統(tǒng)是三個主要組成部分，具體關(guān)系如圖 5（人 - 智能體 - 工業(yè)賽博物理系統(tǒng)交互）所示。其中，人包括研發(fā)設(shè)計(jì)師、生產(chǎn)操作工、經(jīng)營管理人員、運(yùn)維服務(wù)人員等。智能體相較于大模型，具有更強(qiáng)的主動感知和控制工業(yè)賽博物理系統(tǒng)的能力。工業(yè)賽博物理系統(tǒng)涵蓋了實(shí)際生產(chǎn)中的工業(yè)設(shè)備、控制系統(tǒng)、工業(yè)軟件、工業(yè)互聯(lián)網(wǎng)等，是智能體感知和控制的對象。

圖 5 人 - 智能體 - 工業(yè)賽博物理系統(tǒng)交互

在人和智能體的交互過程中，人可根據(jù)具體任務(wù)需求，為工業(yè)智能體設(shè)定決策目標(biāo)。智能體依據(jù)目標(biāo)設(shè)定，主動規(guī)劃任務(wù)流程、優(yōu)化目標(biāo)，并分解任務(wù)，設(shè)計(jì)不同的解決方案，同時協(xié)調(diào)各子流程任務(wù)關(guān)系。此外，人還能向智能體提供獎懲反饋機(jī)制，促使智能體迭代優(yōu)化自身策略，不斷進(jìn)化發(fā)展。在智能體和工業(yè)賽博物理系統(tǒng)的交互過程中，主要任務(wù)包括工業(yè)環(huán)境監(jiān)控及資源的動態(tài)調(diào)配等。智能體利用感知能力觀察生產(chǎn)要素條件和生產(chǎn)環(huán)境，再通過優(yōu)化決策能力設(shè)計(jì)生成相應(yīng)的控制邏輯，最終控制工業(yè)軟件和工業(yè)設(shè)備，在工業(yè)賽博物理系統(tǒng)中完成生產(chǎn)任務(wù)。

工業(yè)高效實(shí)時推理技術(shù)：工業(yè)大模型采用多種推理加速技術(shù)，如模型壓縮、剪枝、量化等，以減少模型的計(jì)算量和存儲需求，提高推理速度。同時，它還支持 GPU、TPU 等高性能硬件，進(jìn)一步加速推理過程，滿足工業(yè)應(yīng)用場景對實(shí)時性的高要求。此外，推理加速還有助于降低模型的能耗和成本，提高模型的可用性和普及度。除滿足實(shí)時推理需求外，在使用工業(yè)大模型進(jìn)行推理時，還可借助以下技術(shù)提升模型表現(xiàn)。

工業(yè)知識庫檢索增強(qiáng)生成（RAG）結(jié)合了檢索和生成的方法，適用于工業(yè)場景中的知識密集型任務(wù)。首先構(gòu)建包含產(chǎn)品設(shè)計(jì)、工藝流程和設(shè)備維護(hù)等工業(yè)知識的數(shù)據(jù)庫，然后利用 BM25 和 Dense Retrieval 等高效檢索算法，從知識庫中檢索相關(guān)信息，最后基于檢索到的信息，通過大模型生成更準(zhǔn)確、更具針對性的回答。在工業(yè)制造中，RAG 系統(tǒng)能快速提供技術(shù)支持、生成維護(hù)手冊和優(yōu)化生產(chǎn)流程。

prompt 工程是通過設(shè)計(jì)合適的提示（prompt），引導(dǎo)大模型生成符合用戶需求和期望的文本或響應(yīng)，是對 prompt 的結(jié)構(gòu)、內(nèi)容等維度進(jìn)行優(yōu)化的 AI 技術(shù)。用戶既可以選擇預(yù)制模板，也能創(chuàng)建自定義 prompt。

低秩微調(diào)（LoRA fine-tuning）是一種低秩適應(yīng)方法，通過引入少量可訓(xùn)練參數(shù)，實(shí)現(xiàn)對大模型的高效微調(diào)。由于編碼器經(jīng)過大量數(shù)據(jù)預(yù)訓(xùn)練，具有較強(qiáng)且通用的模態(tài)先驗(yàn)，采用低秩微調(diào)可避免災(zāi)難性遺忘問題，同時減少訓(xùn)練參數(shù)量，提升模型訓(xùn)練速度。

5 工業(yè)大模型應(yīng)用能力與典型場景

基于上述工業(yè)大模型構(gòu)建方法得到的模型，可適用于具體工業(yè)場景。本章節(jié)將闡述工業(yè)大模型的核心應(yīng)用能力及典型應(yīng)用場景。

工業(yè)大模型核心應(yīng)用能力：與通用大模型不同，工業(yè)大模型面向工業(yè)應(yīng)用需求，在獨(dú)特的架構(gòu)和訓(xùn)練方法支持下，具備以下 6 種核心應(yīng)用能力。

圖 6 工業(yè)大模型典型應(yīng)用場景

智能問答能力：工業(yè)大模型不僅要有通用大模型的文本理解和生成能力，還應(yīng)能深入理解并回答工業(yè)領(lǐng)域的復(fù)雜專業(yè)問題，提供即時專業(yè)知識支持。例如，通過工業(yè)多學(xué)科多領(lǐng)域?qū)I(yè)知識推理，為全流程制造任務(wù)提供問答服務(wù)，像創(chuàng)新設(shè)計(jì)案例知識、制造工藝知識等，大幅提高工業(yè)用戶獲取專業(yè)知識的效率。

場景認(rèn)知能力：工業(yè)大模型的場景認(rèn)知能力不局限于視覺圖像識別，還應(yīng)能理解工業(yè)環(huán)境中各種動態(tài)場景和工況的內(nèi)在含義，為后續(xù)分析和決策奠定基礎(chǔ)。比如，通過分析設(shè)備多維傳感信號模式識別潛在故障趨勢，通過生產(chǎn)多工序多任務(wù)進(jìn)度分析識別瓶頸，實(shí)現(xiàn)對工業(yè)場景語義層面的認(rèn)知和更精準(zhǔn)的生產(chǎn)控制。

過程決策能力：工業(yè)產(chǎn)品全生命周期涉及各類決策，如設(shè)計(jì)方案決策、生產(chǎn)工藝決策、排產(chǎn)調(diào)度決策、突發(fā)異常應(yīng)對決策、管理決策等。工業(yè)大模型應(yīng)基于知識和推理給出建議，輔助人們做出決策。例如，學(xué)習(xí)歷史生產(chǎn)過程中的調(diào)度優(yōu)化方案后，針對柔性制造產(chǎn)線突發(fā)插單情況，通過邏輯推理和演算給出優(yōu)化調(diào)度方案的決策建議。

終端控制能力：工業(yè)大模型要具備控制各類工業(yè)機(jī)器和設(shè)備等輔助生產(chǎn)工具的能力。與通用大模型局限于數(shù)字空間交互不同，工業(yè)生產(chǎn)需在物理世界執(zhí)行，工業(yè)大模型借助具身智能體操控物理世界的機(jī)器設(shè)備。例如，機(jī)械手面對陌生產(chǎn)線零部件抓取任務(wù)時，工業(yè)大模型可根據(jù)機(jī)器人具身智能體學(xué)習(xí)的知識和機(jī)械手力反饋等實(shí)時傳感信號，控制機(jī)械手完成抓取和分揀。

內(nèi)容生成能力：工業(yè)大模型不僅能生成工業(yè)特定領(lǐng)域的技術(shù)知識文檔和報(bào)表報(bào)告，還能生成 CAX 模型、傳感信號樣本、工藝文件、機(jī)器指令等專業(yè)化內(nèi)容。以北京航空航天大學(xué)的 “基石” 工業(yè)大模型為例，它能生成復(fù)雜產(chǎn)品多學(xué)科仿真系統(tǒng)代碼、產(chǎn)線數(shù)字孿生場景、機(jī)器人操控指令、非標(biāo)零部件切削類生產(chǎn)工藝、工業(yè)時序數(shù)據(jù)樣本、設(shè)備健康指標(biāo)預(yù)測模型等，服務(wù)于研發(fā)設(shè)計(jì)、生產(chǎn)制造和運(yùn)維服務(wù)等場景。

科學(xué)發(fā)現(xiàn)能力：工業(yè)制造業(yè)基于物理化學(xué)原理，但仍有許多機(jī)理尚未明確。工業(yè)大模型具備發(fā)現(xiàn)科學(xué)機(jī)理和高階關(guān)聯(lián)關(guān)系的能力，可服務(wù)于新材料、新工藝、新產(chǎn)品、新模式的研發(fā)應(yīng)用。例如，通過大規(guī)模多學(xué)科跨領(lǐng)域知識關(guān)聯(lián)學(xué)習(xí)，識別復(fù)雜產(chǎn)品機(jī)、電、液、熱、氣、磁多學(xué)科耦合機(jī)理，揭示新產(chǎn)品設(shè)計(jì)的物理和化學(xué)機(jī)理，輔助提出創(chuàng)新的產(chǎn)品工藝設(shè)計(jì)方案。

制造業(yè)產(chǎn)品全生命周期典型應(yīng)用場景：如圖 6（工業(yè)大模型典型應(yīng)用場景）所示，工業(yè)大模型貫穿產(chǎn)品全生命周期，圍繞 6 項(xiàng)核心應(yīng)用能力形成了典型應(yīng)用場景。在實(shí)際工業(yè)生產(chǎn)流程中，工業(yè)大模型以工業(yè)智能體為載體，與工業(yè)場景中的人員和工業(yè)賽博物理系統(tǒng)交互，完成特定任務(wù)。以下介紹典型業(yè)務(wù)域應(yīng)用場景，并以北京航空航天大學(xué)的 “基石” 工業(yè)大模型原型系統(tǒng)為例給出應(yīng)用案例。

研發(fā)設(shè)計(jì)：研發(fā)設(shè)計(jì)涵蓋新產(chǎn)品的概念形成、原理設(shè)計(jì)、原型制作、仿真設(shè)計(jì)等環(huán)節(jié)，以確定最終產(chǎn)品規(guī)格。傳統(tǒng)研發(fā)設(shè)計(jì)過程，設(shè)計(jì)人員需查閱大量資料、進(jìn)行大量演算，再編制復(fù)雜的設(shè)計(jì)文件，工作繁瑣且效率低。工業(yè)大模型學(xué)習(xí)了大量工業(yè)知識和設(shè)計(jì)理論，可根據(jù)需求輔助設(shè)計(jì)文件編制。在工藝知識問答和零件尺寸設(shè)計(jì)場景中，工業(yè)大模型基于工業(yè)知識和設(shè)計(jì)文檔，以對話問答形式提供設(shè)計(jì)指導(dǎo)，同時運(yùn)用決策能力自動推演零件參數(shù)設(shè)計(jì)方案，給出合理尺寸設(shè)計(jì)方案并生成相應(yīng)設(shè)計(jì)文件。此外，在新工藝研發(fā)過程中，工業(yè)大模型能識別化學(xué)反應(yīng)動力學(xué)機(jī)理，揭示反應(yīng)機(jī)制和影響因素，優(yōu)化材料合成過程，輔助提出創(chuàng)新的產(chǎn)品工藝設(shè)計(jì)方案。

生產(chǎn)制造：生產(chǎn)制造是將產(chǎn)品設(shè)計(jì)方案轉(zhuǎn)化為實(shí)際物品的過程，包括原材料采購、計(jì)劃排產(chǎn)、產(chǎn)線優(yōu)化、加工組裝、質(zhì)量檢測等環(huán)節(jié)。在生產(chǎn)制造階段，工業(yè)大模型主要在加工工藝生成、生產(chǎn)設(shè)備控制、生產(chǎn)計(jì)劃安排、產(chǎn)品質(zhì)量控制等方面提供流程輔助。例如，基于內(nèi)容生成能力，工業(yè)大模型可生成零部件打磨指令軌跡，并轉(zhuǎn)化為機(jī)器人加工指令，控制機(jī)器人進(jìn)行實(shí)際加工。同時，利用視覺感知能力實(shí)時監(jiān)控加工狀態(tài)，動態(tài)調(diào)整加工過程。北京航空航天大學(xué) “基石” 工業(yè)大模型能根據(jù)工業(yè)機(jī)器控制需求，生成機(jī)器操作指令，實(shí)現(xiàn)機(jī)器人自動抓取等復(fù)雜任務(wù)。針對非標(biāo)準(zhǔn)零件加工需求，工業(yè)大模型基于決策和生成能力，輔助工程師制定精確加工方案，提高生產(chǎn)制造環(huán)節(jié)的效率。

試驗(yàn)測試：試驗(yàn)測試用于檢測評估制造出的產(chǎn)品或半成品的性能、可靠性、安全性等，確保其符合設(shè)計(jì)要求和行業(yè)標(biāo)準(zhǔn)，滿足用戶使用需求。在試驗(yàn)測試階段，大模型主要輔助試驗(yàn)方案設(shè)計(jì)、試驗(yàn)設(shè)備控制、測試結(jié)果分析、測試報(bào)告生成等流程。例如，工業(yè)大模型可生成多模態(tài)感知的計(jì)量檢測報(bào)告，替代人工記錄歸檔，并智能解析試驗(yàn)數(shù)據(jù)，給出試驗(yàn)分析結(jié)果，輔助測試人員評估被測件質(zhì)量。同時，工業(yè)大模型跟蹤試驗(yàn)測試過程，記憶流程操作和測試事件，實(shí)現(xiàn)質(zhì)量追溯問答，精準(zhǔn)定位問題部件及問題根因。

經(jīng)營管理：經(jīng)營管理是制造業(yè)企業(yè)為實(shí)現(xiàn)經(jīng)營目標(biāo)，對生產(chǎn)流程、市場營銷、財(cái)務(wù)狀況、人力資源等方面進(jìn)行計(jì)劃、組織、協(xié)調(diào)、控制和優(yōu)化的過程。在經(jīng)營管理階段，工業(yè)大模型主要對計(jì)劃排產(chǎn)、財(cái)務(wù)報(bào)表、產(chǎn)線運(yùn)行狀態(tài)等進(jìn)行輔助分析，并優(yōu)化質(zhì)量、成本、效率條件下的多目標(biāo)生產(chǎn)模式。例如，工業(yè)大模型監(jiān)測生產(chǎn)經(jīng)營過程中的各類報(bào)表數(shù)據(jù)，以問答形式向管理人員匯報(bào)企業(yè)經(jīng)營狀況，生成企業(yè)運(yùn)營報(bào)告，并發(fā)出潛在風(fēng)險(xiǎn)預(yù)警。它還具備基于決策支持的動態(tài)優(yōu)化能力，能根據(jù)訂單插單情況，實(shí)時調(diào)整生產(chǎn)過程中的資源分配，優(yōu)化供應(yīng)鏈和排產(chǎn)計(jì)劃。此外，工業(yè)大模型能發(fā)現(xiàn)多目標(biāo)優(yōu)化生產(chǎn)模式，綜合考量成本控制、生產(chǎn)周期、產(chǎn)品質(zhì)量等因素，基于過往運(yùn)營大數(shù)據(jù)關(guān)聯(lián)分析，改善生產(chǎn)運(yùn)營模式。

圖 7 具身智能機(jī)器人控制指令生成

圖 8 工業(yè)零部件工藝自動生成

運(yùn)維服務(wù)：運(yùn)維服務(wù)為制造設(shè)備和工業(yè)產(chǎn)品提供調(diào)試、維修、保養(yǎng)、升級等技術(shù)支持和售后服務(wù)，確保設(shè)備和產(chǎn)品正常穩(wěn)定運(yùn)行。例如，工業(yè)大模型憑借認(rèn)知能力實(shí)時感知設(shè)備運(yùn)行狀態(tài)，發(fā)現(xiàn)潛在故障，并通過智能問答為維護(hù)人員提供預(yù)防性維修建議。此外，工業(yè)大模型還能生成運(yùn)行樣本和健康狀態(tài)預(yù)測模型輔助運(yùn)維服務(wù)。北京航空航天大學(xué) “基石” 工業(yè)大模型可生成工業(yè)時序數(shù)據(jù)樣本，用戶上傳需求后，模型生成帶標(biāo)簽少樣本的工業(yè)時序數(shù)據(jù)，輔助預(yù)防性維護(hù)預(yù)測。同時，結(jié)合歷史退化數(shù)據(jù)、實(shí)時監(jiān)測數(shù)據(jù)和生成的大規(guī)模數(shù)據(jù)，以及用戶預(yù)測需求，生成工業(yè)時序預(yù)測模型，預(yù)測設(shè)備健康狀態(tài)，輔助維護(hù)決策。

圖 9 工業(yè)時序數(shù)據(jù)樣本生成

圖 10 工業(yè)時序預(yù)測模型生成

6 工業(yè)大模型展望

工業(yè)大模型已展現(xiàn)出巨大的應(yīng)用潛力，作為學(xué)術(shù)界和產(chǎn)業(yè)界關(guān)注的焦點(diǎn)，雖已在部分領(lǐng)域開展初步應(yīng)用探索，但距離廣泛應(yīng)用仍有較大差距。未來，工業(yè)界制造業(yè)企業(yè)需深入挖掘?qū)嶋H應(yīng)用需求，提煉典型應(yīng)用場景，通過實(shí)踐和需求推動工業(yè)大模型能力的提升。從技術(shù)發(fā)展角度看，工業(yè)領(lǐng)域的應(yīng)用目標(biāo)對工業(yè)大模型提出了特殊要求，如工業(yè)多模態(tài)對齊、高可信度和安全性等。工業(yè)大模型正朝著機(jī)理內(nèi)嵌、統(tǒng)一模態(tài)表征、高可信生成與輸出、具身智能交互、大小模型協(xié)同、輕量化、高安全等方向發(fā)展。以下對工業(yè)大模型未來重點(diǎn)技術(shù)發(fā)展方向進(jìn)行展望。

融入工業(yè)世界模型和機(jī)理知識的新型神經(jīng)網(wǎng)絡(luò)底層架構(gòu)：當(dāng)前以 Transformer 為代表的大模型底層神經(jīng)網(wǎng)絡(luò)架構(gòu)，基于概率輸出，在理解客觀物理世界方面存在不足。而無論是離散制造業(yè)還是流程制造業(yè)，其物質(zhì)轉(zhuǎn)化過程都基于物理化學(xué)原理和客觀規(guī)律。工業(yè)大模型的智能問答、場景認(rèn)知、過程決策等核心能力的應(yīng)用，都離不開工業(yè)機(jī)理的支撐。雖然通用大模型常用的 RAG 技術(shù)可檢索外部知識源，但對于復(fù)雜的工業(yè)機(jī)理，難以檢索到精確答案。因此，需對 Transformer 等主流神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行底層改造，探索融入工業(yè)世界模型和機(jī)理知識的新型架構(gòu)。

工業(yè)多模態(tài)數(shù)據(jù)統(tǒng)一表征：工業(yè)大模型需要處理傳感信號時間序列、CAX 模型、工業(yè)圖像、工藝文件、機(jī)器指令等多模態(tài)數(shù)據(jù)的對齊問題?，F(xiàn)有的多模態(tài)對齊方法主要針對文本、圖像、視頻等常見模態(tài)，無法處理工業(yè)應(yīng)用中的專業(yè)化數(shù)據(jù)模式，跨模式整合語義信息的能力也較弱。未來的工業(yè)多模態(tài)對齊方法應(yīng)研究如何對工業(yè)多模態(tài)數(shù)據(jù)進(jìn)行編碼，將不同模態(tài)數(shù)據(jù)表示為統(tǒng)一的語義空間，并開發(fā)端到端的工業(yè)多模態(tài)表示方法，實(shí)現(xiàn)不同工業(yè)模態(tài)的無縫連接和推理。

高可信工業(yè)內(nèi)容生成：工業(yè)大模型的生成任務(wù)涉及工藝策略、機(jī)器控制指令等專業(yè)化內(nèi)容，這些生成結(jié)果必須高度準(zhǔn)確，不能出現(xiàn)幻覺現(xiàn)象。目前提高模型可信度的方法，如后處理、驗(yàn)證機(jī)制、人工反饋和監(jiān)督等，雖能減少幻覺出現(xiàn)，但無法根本避免不符合預(yù)期的結(jié)果。因此，在工業(yè)大模型的構(gòu)建和訓(xùn)練過程中，應(yīng)加強(qiáng)知識嵌入，使模型的表征空間更接近真實(shí)物理世界，還可考慮構(gòu)建完整的世界模型，指導(dǎo)工業(yè)大模型的訓(xùn)練和部署。

基于工業(yè)具身智能體的新型交互范式：在工業(yè)大模型的使用場景中，其不僅以軟件形式存在，還大量依托機(jī)器設(shè)備等硬件載體。通用大模型主要通過人機(jī)交互，不直接作用于物理世界，而工業(yè)大模型需借助機(jī)器人、加工設(shè)備等具身智能體影響和改造物理世界。人 - 工業(yè)具身智能體 - 工業(yè)賽博物理系統(tǒng)構(gòu)成的交互協(xié)作空間，將是工業(yè)大模型的運(yùn)行環(huán)境，需要建立新的交互范式和運(yùn)行機(jī)制。

工業(yè)大小模型協(xié)同：近年來，工業(yè)界企業(yè)應(yīng)用中積累了大量針對具體場景的 AI 小模型，如特定工況下旋轉(zhuǎn)類設(shè)備的故障診斷模型。這些小模型在細(xì)分場景解決單一問題時，應(yīng)用效果可能優(yōu)于工業(yè)大模型。企業(yè)引入工業(yè)大模型后，需要考慮大小模型的協(xié)同問題，明確不同場景下大模型和小模型的適用范圍，發(fā)揮各自優(yōu)勢，獲得最佳效果。

工業(yè)任務(wù)實(shí)時推理控制：工業(yè)現(xiàn)場任務(wù)對實(shí)時性要求極高，如機(jī)械臂控制任務(wù)需達(dá)到毫秒級響應(yīng)。工業(yè)大模型參數(shù)量大、計(jì)算復(fù)雜度高，現(xiàn)有的模型壓縮和加速方法無法滿足工業(yè)邊緣推理和實(shí)時控制的需求，且過高的壓縮比可能降低模型性能。因此，工業(yè)大模型需要在計(jì)算成本和模型精度之間尋求平衡，研究新的高效操作符替代資源密集型計(jì)算，創(chuàng)建新的分布式計(jì)算模型，利用集群智能提高計(jì)算效率。

工業(yè)場景異構(gòu)算力適配：不同行業(yè)的工業(yè)生產(chǎn)場景配備的算力資源不同，如 GPU、CPU、FPGA 等，這些異構(gòu)計(jì)算設(shè)備的計(jì)算和推理模式差異較大，導(dǎo)致工業(yè)大模型難以在這些異構(gòu)算力下部署。所以，需要研究面向工業(yè)大模型的異構(gòu)算力適配框架，使工業(yè)大模型能夠自適應(yīng)不同生產(chǎn)環(huán)境下的異構(gòu)算力資源計(jì)算模式。

工業(yè)大模型安全：工業(yè)界企業(yè)數(shù)據(jù)包含大量商業(yè)秘密，如產(chǎn)品設(shè)計(jì)方案、工藝文件、訂單任務(wù)、經(jīng)營報(bào)表等。工業(yè)大模型處理敏感數(shù)據(jù)時，必須采取有效數(shù)據(jù)保護(hù)措施，防止信息被未經(jīng)授權(quán)的人員或系統(tǒng)訪問、泄露或?yàn)E用。未來需研究工業(yè)大模型的安全防護(hù)方法和技術(shù)，既能保護(hù)企業(yè)隱私數(shù)據(jù)，又能支持工業(yè)大模型的訓(xùn)練和使用。

7 總結(jié)

工業(yè)大模型已成為國內(nèi)外學(xué)術(shù)界和產(chǎn)業(yè)界關(guān)注的新焦點(diǎn)。然而，通用大模型在工業(yè)領(lǐng)域應(yīng)用時面臨諸多挑戰(zhàn)，如工業(yè)跨模態(tài)協(xié)同難、高可信輸出難、多場景泛化難、多流程關(guān)聯(lián)難、高實(shí)時推理難等。因此，工業(yè)大模型并非通用大模型在工業(yè)領(lǐng)域的簡單應(yīng)用，而是一套全新的理論與技術(shù)體系。