煤化工行業(yè)人工智能開發(fā)平臺(簡稱平臺)利用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索與預(yù)訓(xùn)練模型遷移學(xué)習(xí)技術(shù),針對煤化工領(lǐng)域的計(jì)算機(jī)視覺數(shù)據(jù)集,自動尋找適用于該數(shù)據(jù)集的最優(yōu)模型,并結(jié)合各種超參數(shù)組合對模型進(jìn)行優(yōu)化。平臺支持可視化開發(fā),將數(shù)據(jù)導(dǎo)入、數(shù)據(jù)管理、模型開發(fā)、模型部署的全生命周期流程全部可視化,用戶不需要寫任何代碼就可以完成智能應(yīng)用的開發(fā)和部署。使得無人工智能應(yīng)用開發(fā)經(jīng)驗(yàn)的用戶也能夠通過該平臺開發(fā)煤化工行業(yè)的計(jì)算機(jī)視覺應(yīng)用,并自動完成模型的部署,從而提高工作效率,降低人工智能應(yīng)用的開發(fā)門檻。
煤化工行業(yè)人工智能開發(fā)平臺主要包括數(shù)據(jù)管理、模型開發(fā)、模型調(diào)優(yōu)、模型部署和模型管理等功能,如下所示。
1.數(shù)據(jù)管理
本功能實(shí)現(xiàn)包括數(shù)據(jù)上傳、數(shù)據(jù)標(biāo)注以及數(shù)據(jù)集劃分等功能。數(shù)據(jù)上傳功能實(shí)現(xiàn)用戶數(shù)據(jù)上傳到平臺。數(shù)據(jù)標(biāo)注暫時(shí)支持手動標(biāo)注,需要用戶自己手動對計(jì)算機(jī)視覺數(shù)據(jù)集進(jìn)行標(biāo)注。數(shù)據(jù)集根據(jù)用戶自定義輸入比例進(jìn)行劃分,將數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集。其中訓(xùn)練集供模型搜索和調(diào)優(yōu),驗(yàn)證集用于訓(xùn)練時(shí)驗(yàn)證模型的好壞。
2.模型開發(fā)
模型開發(fā)支持業(yè)界當(dāng)前最流行的深度學(xué)習(xí)框架Pytorch、TensorFlow,以滿足用戶不同的開發(fā)需求。模型生成設(shè)置時(shí),可視化界面提供模型生成的各選項(xiàng),包括模型搜索空間、優(yōu)化算法。可視化的智能模型設(shè)計(jì)操作界面提供不少于兩類的智能算法,對煤化工領(lǐng)域的智能應(yīng)用開發(fā)提供不同的選擇。同時(shí)提供多種常用的深度學(xué)習(xí)模型,用戶可以選擇預(yù)訓(xùn)練模型也可以進(jìn)行神經(jīng)架構(gòu)搜索。
3.模型優(yōu)化
提供智能模型壓縮優(yōu)化功能,包含模型量化、模型剪枝等,支持自動模型壓縮優(yōu)化。
(1)模型量化:模型由大量的浮點(diǎn)型權(quán)重組成,如果能用float32替代原有的float64表示,模型就近乎減小一倍的體積,量化也是最容易實(shí)現(xiàn)的一種壓縮方式。
(2)模型剪枝:模型的構(gòu)成是由許多浮點(diǎn)型的神經(jīng)元相連接,每一層根據(jù)神經(jīng)元的權(quán)重將信息向下傳遞。但是有一些神經(jīng)元的權(quán)重非常小,這類神經(jīng)元對整個(gè)模型的加載的信息的影響也就微乎其微。如果可以把這些權(quán)重較小的神經(jīng)元刪減掉,既減少了模型大小,也不會對模型的效果帶來大的影響。
4.模型部署
支持智能模型的統(tǒng)一部署管理,提供兩種智能模型部署方式,包括在線服務(wù)發(fā)布和離線安裝包部署。在線服務(wù)發(fā)布支持對智能模型的引擎封裝并快速部署上線,封裝后的模型可對外直接提供服務(wù),支持高并發(fā)、低延時(shí)、彈性伸縮等功能。支持生成簡易化安裝的智能服務(wù)運(yùn)行包,用戶可以離線一鍵安裝。
5.模型管理
提供模型注冊和模型版本管理等功能,支持從分租戶、分類別、分版本、分視圖等四個(gè)方面對深度學(xué)習(xí)模型進(jìn)行管理。提供模型門戶界面,支持模型的編目管理,提供模型詳細(xì)信息的預(yù)覽和下載功能。支持注冊、發(fā)布數(shù)據(jù)業(yè)務(wù)領(lǐng)域?qū)S媚P?。支持?jǐn)?shù)據(jù)交換接口和轉(zhuǎn)換適配工具。提供模型資源和調(diào)用功能,支持API接口獲取與交互操作界面,支持統(tǒng)一的訪問入口。
煤化工行業(yè)人工智能開發(fā)平臺(簡稱平臺)利用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索與預(yù)訓(xùn)練模型遷移學(xué)習(xí)技術(shù),針對煤化工領(lǐng)域的計(jì)算機(jī)視覺數(shù)據(jù)集,自動尋找適用于該數(shù)據(jù)集的最優(yōu)模型,并結(jié)合各種超參數(shù)組合對模型進(jìn)行優(yōu)化。平臺支持可視化開發(fā),將數(shù)據(jù)導(dǎo)入、數(shù)據(jù)管理、模型開發(fā)、模型部署的全生命周期流程全部可視化,用戶不需要寫任何代碼就可以完成智能應(yīng)用的開發(fā)和部署。使得無人工智能應(yīng)用開發(fā)經(jīng)驗(yàn)的用戶也能夠通過該平臺開發(fā)煤化工行業(yè)的計(jì)算機(jī)視覺應(yīng)用,并自動完成模型的部署,從而提高工作效率,降低人工智能應(yīng)用的開發(fā)門檻。
煤化工行業(yè)人工智能開發(fā)平臺主要包括數(shù)據(jù)管理、模型開發(fā)、模型調(diào)優(yōu)、模型部署和模型管理等功能,如下所示。
1.數(shù)據(jù)管理
本功能實(shí)現(xiàn)包括數(shù)據(jù)上傳、數(shù)據(jù)標(biāo)注以及數(shù)據(jù)集劃分等功能。數(shù)據(jù)上傳功能實(shí)現(xiàn)用戶數(shù)據(jù)上傳到平臺。數(shù)據(jù)標(biāo)注暫時(shí)支持手動標(biāo)注,需要用戶自己手動對計(jì)算機(jī)視覺數(shù)據(jù)集進(jìn)行標(biāo)注。數(shù)據(jù)集根據(jù)用戶自定義輸入比例進(jìn)行劃分,將數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集。其中訓(xùn)練集供模型搜索和調(diào)優(yōu),驗(yàn)證集用于訓(xùn)練時(shí)驗(yàn)證模型的好壞。
2.模型開發(fā)
模型開發(fā)支持業(yè)界當(dāng)前最流行的深度學(xué)習(xí)框架Pytorch、TensorFlow,以滿足用戶不同的開發(fā)需求。模型生成設(shè)置時(shí),可視化界面提供模型生成的各選項(xiàng),包括模型搜索空間、優(yōu)化算法??梢暬闹悄苣P驮O(shè)計(jì)操作界面提供不少于兩類的智能算法,對煤化工領(lǐng)域的智能應(yīng)用開發(fā)提供不同的選擇。同時(shí)提供多種常用的深度學(xué)習(xí)模型,用戶可以選擇預(yù)訓(xùn)練模型也可以進(jìn)行神經(jīng)架構(gòu)搜索。
3.模型優(yōu)化
提供智能模型壓縮優(yōu)化功能,包含模型量化、模型剪枝等,支持自動模型壓縮優(yōu)化。
(1)模型量化:模型由大量的浮點(diǎn)型權(quán)重組成,如果能用float32替代原有的float64表示,模型就近乎減小一倍的體積,量化也是最容易實(shí)現(xiàn)的一種壓縮方式。
(2)模型剪枝:模型的構(gòu)成是由許多浮點(diǎn)型的神經(jīng)元相連接,每一層根據(jù)神經(jīng)元的權(quán)重將信息向下傳遞。但是有一些神經(jīng)元的權(quán)重非常小,這類神經(jīng)元對整個(gè)模型的加載的信息的影響也就微乎其微。如果可以把這些權(quán)重較小的神經(jīng)元刪減掉,既減少了模型大小,也不會對模型的效果帶來大的影響。
4.模型部署
支持智能模型的統(tǒng)一部署管理,提供兩種智能模型部署方式,包括在線服務(wù)發(fā)布和離線安裝包部署。在線服務(wù)發(fā)布支持對智能模型的引擎封裝并快速部署上線,封裝后的模型可對外直接提供服務(wù),支持高并發(fā)、低延時(shí)、彈性伸縮等功能。支持生成簡易化安裝的智能服務(wù)運(yùn)行包,用戶可以離線一鍵安裝。
5.模型管理
提供模型注冊和模型版本管理等功能,支持從分租戶、分類別、分版本、分視圖等四個(gè)方面對深度學(xué)習(xí)模型進(jìn)行管理。提供模型門戶界面,支持模型的編目管理,提供模型詳細(xì)信息的預(yù)覽和下載功能。支持注冊、發(fā)布數(shù)據(jù)業(yè)務(wù)領(lǐng)域?qū)S媚P?。支持?jǐn)?shù)據(jù)交換接口和轉(zhuǎn)換適配工具。提供模型資源和調(diào)用功能,支持API接口獲取與交互操作界面,支持統(tǒng)一的訪問入口。