前言
一、適用范圍
二、主要概念
(一)人工智能醫(yī)療器械
(二)人工智能醫(yī)療器械類型
(三)人工智能算法更新
三、基本原則
(一)基于算法特性
(二)風(fēng)險導(dǎo)向
(三)全生命周期管理
四、人工智能醫(yī)療器械生存周期過程
(一)需求分析
(二)數(shù)據(jù)收集
(三)算法設(shè)計
(四)驗證與確認(rèn)
(五)更新控制
五、技術(shù)考量
(一)注冊單元與檢測單元
(二)網(wǎng)絡(luò)安全與數(shù)據(jù)安全
(三)移動計算與云計算
(四)人因設(shè)計與可用性
(五)壓力測試
(六)對抗測試
(七)第三方數(shù)據(jù)庫
(八)基于模型的算法
(九)遷移學(xué)習(xí)
(十)強化學(xué)習(xí)
(十一)聯(lián)邦學(xué)習(xí)
(十二)生成對抗網(wǎng)絡(luò)
(十三)基于數(shù)據(jù)的無監(jiān)督學(xué)習(xí)
(十四)人工智能算法框架
(十五)人工智能芯片
六、算法研究資料
(一)算法研究報告
(二)算法更新研究報告
七、注冊申報資料補充說明
(一)產(chǎn)品注冊
(二)許可事項變更
(三)延續(xù)注冊
八、編寫單位
九、參考文獻
人工智能醫(yī)療器械注冊審查指導(dǎo)原則
(征求意見稿)
本指導(dǎo)原則旨在指導(dǎo)注冊人建立人工智能醫(yī)療器械生存周期過程和準(zhǔn)備人工智能醫(yī)療器械注冊申報資料,同時規(guī)范人工智能醫(yī)療器械技術(shù)審評要求。
本指導(dǎo)原則是對人工智能醫(yī)療器械的一般要求。注冊人應(yīng)依據(jù)產(chǎn)品具體特性和風(fēng)險程度確定本指導(dǎo)原則具體內(nèi)容的適用性,若不適用應(yīng)詳述理由。注冊人也可采用其他滿足法規(guī)要求的替代方法,但應(yīng)提供詳盡的支持資料。
本指導(dǎo)原則是在現(xiàn)行法規(guī)、強制性標(biāo)準(zhǔn)體系以及當(dāng)前科技能力、認(rèn)知水平下制定的,隨著法規(guī)、強制性標(biāo)準(zhǔn)體系的不斷完善以及科技能力、認(rèn)知水平的不斷發(fā)展,本指導(dǎo)原則相關(guān)內(nèi)容也將適時調(diào)整。
本指導(dǎo)原則是供注冊人、審評人員和檢查人員使用的指導(dǎo)文件,不涉及行政審批事項,亦不作為法規(guī)強制執(zhí)行,應(yīng)在遵循相關(guān)法規(guī)的前提下使用本指導(dǎo)原則。
本指導(dǎo)原則作為數(shù)字醫(yī)療指導(dǎo)原則體系的重要組成部分,遵循醫(yī)療器械軟件、醫(yī)療器械網(wǎng)絡(luò)安全、移動醫(yī)療器械、醫(yī)療器械人因設(shè)計、醫(yī)療器械獨立軟件生產(chǎn)質(zhì)量現(xiàn)場檢查等數(shù)字醫(yī)療相關(guān)指導(dǎo)原則要求。
本指導(dǎo)原則是人工智能醫(yī)療器械的通用指導(dǎo)原則,其他含有人工智能技術(shù)的醫(yī)療器械指導(dǎo)原則可在本指導(dǎo)原則基礎(chǔ)上結(jié)合具體情況進行有針對性的調(diào)整、修改和完善。采用人工智能技術(shù)進行醫(yī)療器械的設(shè)計、生產(chǎn),亦可參考本指導(dǎo)原則適用要求。
本指導(dǎo)原則適用于人工智能醫(yī)療器械(含體外診斷醫(yī)療器械)的注冊申報,包括第二類、第三類人工智能獨立軟件和含有人工智能軟件組件的醫(yī)療器械。
本指導(dǎo)原則也可用作人工智能醫(yī)療器械體系核查的參考。
(一)人工智能醫(yī)療器械
本指導(dǎo)原則所述人工智能醫(yī)療器械是指基于“醫(yī)療器械數(shù)據(jù)”,采用人工智能技術(shù)實現(xiàn)其預(yù)期用途的醫(yī)療器械。
醫(yī)療器械數(shù)據(jù)是指醫(yī)療器械產(chǎn)生的客觀醫(yī)療數(shù)據(jù),如醫(yī)學(xué)影像設(shè)備產(chǎn)生的醫(yī)學(xué)圖像數(shù)據(jù)(如X射線、CT、MRI、超聲等圖像)、醫(yī)用電子設(shè)備產(chǎn)生的生理參數(shù)數(shù)據(jù)(如心電、腦電、血壓、無創(chuàng)血糖等波形數(shù)據(jù))、體外診斷設(shè)備產(chǎn)生的體外診斷數(shù)據(jù)(如病理圖像、顯微圖像、有創(chuàng)血糖波形數(shù)據(jù)等);通用設(shè)備產(chǎn)生的用于醫(yī)療用途的客觀數(shù)據(jù)亦屬于醫(yī)療器械數(shù)據(jù),如數(shù)碼相機拍攝的用于皮膚疾病診斷的皮膚照片、健康電子產(chǎn)品采集的用于心臟疾病預(yù)警的心電數(shù)據(jù)等?;卺t(yī)療器械數(shù)據(jù)包括單獨使用醫(yī)療器械數(shù)據(jù),或者以醫(yī)療器械數(shù)據(jù)為主聯(lián)合使用非醫(yī)療器械數(shù)據(jù)(如電子病歷、醫(yī)學(xué)檢查報告的結(jié)果文本等)。
人工智能是指機器表現(xiàn)出與人類智能相關(guān)行為的能力,通常是指通過感知周圍環(huán)境做出合理行動以達到預(yù)期目標(biāo)的計算機軟件或系統(tǒng)。機器學(xué)習(xí)是指與人類學(xué)習(xí)行為相關(guān)的人工智能,通常是指通過整理現(xiàn)有數(shù)據(jù)和/或獲取新數(shù)據(jù)以提升性能的計算機軟件或系統(tǒng)。機器學(xué)習(xí)雖是人工智能的子集,但卻為人工智能的核心領(lǐng)域,二者當(dāng)前對于醫(yī)療器械而言含義基本相同,故本指導(dǎo)原則對二者不做嚴(yán)格區(qū)分,統(tǒng)一采用人工智能進行表述。
基于非醫(yī)療器械數(shù)據(jù)的醫(yī)學(xué)人工智能產(chǎn)品,或者采用人工智能技術(shù)實現(xiàn)非醫(yī)療用途的醫(yī)療器械均非人工智能醫(yī)療器械。醫(yī)學(xué)人工智能產(chǎn)品是否屬于人工智能醫(yī)療器械,必要時可申請醫(yī)療器械分類界定。
(二)人工智能醫(yī)療器械類型
從醫(yī)療器械軟件角度,人工智能醫(yī)療器械可分為人工智能獨立軟件和人工智能軟件組件,故其類型劃分可參考醫(yī)療器械軟件指導(dǎo)原則相關(guān)維度。
人工智能醫(yī)療器械從用途角度可分為輔助決策類和非輔助決策類。其中,輔助決策是指通過提供診療活動建議輔助醫(yī)務(wù)人員進行臨床決策,如通過異常識別、病灶性質(zhì)判定、自動制定手術(shù)計劃進行輔助分診、輔助檢測、輔助診斷、輔助治療等,相當(dāng)于醫(yī)務(wù)人員的“助手”。反之即為非輔助決策,包括流程優(yōu)化、診療驅(qū)動,如診療流程簡化、自動測量、三維重建等,相當(dāng)于醫(yī)務(wù)人員的“工具”。
人工智能醫(yī)療器械從功能角度大體上可分為控制功能、處理功能,處理功能又可分為前處理功能和后處理功能。其中,控制功能是指控制/驅(qū)動醫(yī)療器械硬件運行的功能,如控制機械臂運動等。前處理功能是指采集人體解剖、生理信息生成醫(yī)療器械數(shù)據(jù)過程的處理功能,如成像質(zhì)量改善、成像流程簡化等。后處理功能是指利用醫(yī)療器械數(shù)據(jù)生成診療信息過程的處理功能,如診療流程簡化、自動測量、三維重建、異常識別、病灶性質(zhì)判定、自動制定手術(shù)計劃等。
人工智能醫(yī)療器械從算法角度具有多種類型劃分維度。從學(xué)習(xí)策略角度可分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí),前者需要對訓(xùn)練數(shù)據(jù)進行標(biāo)注,如回歸、分類等典型算法,后者無需對訓(xùn)練數(shù)據(jù)進行標(biāo)注,如聚類、降維等典型算法,前者對于數(shù)據(jù)標(biāo)注的要求高于后者。從學(xué)習(xí)方法角度可分為基于模型的算法和基于數(shù)據(jù)的算法,前者采用統(tǒng)計模型、規(guī)則推理等方法,后者主要基于大數(shù)據(jù)方法,前者對于訓(xùn)練數(shù)據(jù)量的要求低于后者。從可解釋性角度可分為白盒算法和黑盒算法,前者特征提取需要人為干預(yù),可與現(xiàn)有醫(yī)學(xué)知識建立關(guān)聯(lián),后者自動完成特征提取,難與現(xiàn)有醫(yī)學(xué)知識建立關(guān)聯(lián),前者可解釋性優(yōu)于后者。
上述類型劃分維度相互交叉,例如:前處理和后處理均可采用不同類型的人工智能算法實現(xiàn)輔助決策、非輔助決策用途。同時,同一維度亦不存在嚴(yán)格的劃分界線,例如:在用途方面,通過圖像識別技術(shù)進行流程優(yōu)化則需考慮診療驅(qū)動相關(guān)要求,自動測量結(jié)果若為臨床決策指標(biāo)則屬于輔助決策范疇;在功能方面,控制功能可與處理功能相結(jié)合,前處理過程可包含后處理功能;在算法方面,有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)可結(jié)合為半監(jiān)督學(xué)習(xí),統(tǒng)計模型可基于大數(shù)據(jù),白盒算法和黑盒算法可結(jié)合為灰盒算法。
人工智能醫(yī)療器械可同時采用多種、多個人工智能算法,在前處理、后處理過程中實現(xiàn)輔助決策、非輔助決策用途。因此,應(yīng)結(jié)合人工智能醫(yī)療器械的預(yù)期用途、使用場景、核心功能以及所用算法的類型特點、技術(shù)特征、組合形式開展相應(yīng)產(chǎn)品質(zhì)控工作,以保證產(chǎn)品的安全有效性。
(三)人工智能算法更新
人工智能算法特別是基于數(shù)據(jù)的算法,具有快速迭代更新的特性。人工智能算法更新屬于軟件更新范疇,故遵循軟件更新的一般原則及要求:人工智能算法更新若影響到人工智能醫(yī)療器械的安全性或有效性則屬于重大軟件更新,應(yīng)申請許可事項變更;反之,人工智能算法更新若未影響到人工智能醫(yī)療器械的安全性和有效性則屬于輕微軟件更新,通過質(zhì)量管理體系進行控制,無需申請許可事項變更。
人工智能算法更新可分為算法驅(qū)動型更新和數(shù)據(jù)驅(qū)動型更新。其中,算法驅(qū)動型更新是指人工智能醫(yī)療器械所用算法、算法結(jié)構(gòu)、算法流程、算法框架(詳見后文)、輸入輸出等發(fā)生改變,通常屬于重大軟件更新。算法重新訓(xùn)練即棄用原有訓(xùn)練數(shù)據(jù)而采用全新訓(xùn)練數(shù)據(jù)進行算法訓(xùn)練,亦屬于算法驅(qū)動型更新。
數(shù)據(jù)驅(qū)動型更新是指僅由訓(xùn)練數(shù)據(jù)量增加而發(fā)生的算法更新。數(shù)據(jù)驅(qū)動型更新是否屬于重大軟件更新原則上以算法性能評估結(jié)果(基于相同測試集)為準(zhǔn),算法性能評估結(jié)果若發(fā)生顯著性改變則屬于重大軟件更新,即算法性能評估結(jié)果與前次注冊相比存在統(tǒng)計學(xué)差異,反之屬于輕微軟件更新。
軟件版本命名規(guī)則應(yīng)涵蓋算法驅(qū)動型更新和數(shù)據(jù)驅(qū)動型更新,明確并區(qū)分重大軟件更新和輕微軟件更新,其中重大軟件更新列舉全部典型情況。
人工智能醫(yī)療器械其他類型的算法更新、軟件更新以及重大軟件更新判定原則詳見醫(yī)療器械軟件指導(dǎo)原則、醫(yī)療器械網(wǎng)絡(luò)安全指導(dǎo)原則。軟件版本命名規(guī)則的一般要求詳見醫(yī)療器械軟件指導(dǎo)原則。
(一)基于算法特性
人工智能技術(shù)從發(fā)展驅(qū)動要素角度實為基于模型/數(shù)據(jù)和算力的算法,其中模型/數(shù)據(jù)是人工智能技術(shù)的基礎(chǔ),算力是人工智能技術(shù)的保證,算法是人工智能技術(shù)的核心。
由于算力所用計算資源本身不屬于監(jiān)管對象,計算資源的監(jiān)管要求取決于其所屬的計算平臺類型(參見后文人工智能芯片要求)。故從監(jiān)管角度出發(fā),人工智能醫(yī)療器械安全有效性評價以算法特性為核心重點關(guān)注其泛化能力,以模型/數(shù)據(jù)為基礎(chǔ)重點關(guān)注其質(zhì)控情況,同時兼顧算力不足與失效的影響及風(fēng)險。
人工智能算法的類型不同,其算法特性、適用場景也不同,評價重點亦有所側(cè)重;同時,不同類型的人工智能算法可組合使用,需結(jié)合各算法特性和算法組合形式進行整體評價。因此,應(yīng)結(jié)合人工智能醫(yī)療器械的預(yù)期用途、使用場景、核心功能選擇與之相適宜的人工智能算法或算法組合,基于算法特性并結(jié)合風(fēng)險管理開展相應(yīng)驗證與確認(rèn)工作。
以深度學(xué)習(xí)為例,其是指通過訓(xùn)練具有多個隱層的神經(jīng)網(wǎng)絡(luò)而獲得輸入輸出映射關(guān)系的人工智能算法,實為基于海量數(shù)據(jù)和高算力的黑盒算法。因此,對于采用深度學(xué)習(xí)技術(shù)的人工智能醫(yī)療器械,重點關(guān)注其算法泛化能力、數(shù)據(jù)質(zhì)控、可解釋性等問題,同時,深度學(xué)習(xí)若與其他類型的人工智能算法組合使用,還應(yīng)基于各算法特性重點關(guān)注算法組合的整體評價問題。
人工智能新算法研究處于深入發(fā)展階段,如基于小樣本數(shù)據(jù)、基于弱標(biāo)注數(shù)據(jù)、基于非結(jié)構(gòu)化數(shù)據(jù)的算法。人工智能醫(yī)療器械若使用人工智能新算法,亦需基于算法特性并結(jié)合風(fēng)險管理開展相應(yīng)驗證與確認(rèn)工作,以保證產(chǎn)品的安全有效性。
(二)風(fēng)險導(dǎo)向
人工智能醫(yī)療器械的風(fēng)險水平亦可用軟件安全性級別進行表述,軟件安全性級別越高,其生存周期質(zhì)控要求越嚴(yán)格,注冊申報資料越詳盡,具體要求詳見醫(yī)療器械軟件指導(dǎo)原則。
人工智能醫(yī)療器械的軟件安全性級別可基于產(chǎn)品的預(yù)期用途、使用場景、核心功能進行綜合判定,其中預(yù)期用途主要考慮用途類型、重要程度、緊迫程度等因素,使用場景主要考慮使用場合、疾病特征、適用人群、目標(biāo)用戶等因素,核心功能主要考慮功能類型、核心算法、輸入輸出、接口等因素。亦可根據(jù)風(fēng)險管理所確定的風(fēng)險等級進行判定,軟件安全性級別與風(fēng)險等級的分級可以不同,但二者存在對應(yīng)關(guān)系,因此可根據(jù)風(fēng)險等級來判定軟件安全性級別,但應(yīng)在采取風(fēng)險緩解措施之前進行判定。
人工智能醫(yī)療器械的主要風(fēng)險從算法角度包括過擬合和欠擬合,其中過擬合是指算法對于訓(xùn)練數(shù)據(jù)過度學(xué)習(xí)而將非普遍規(guī)律作為重要特征,欠擬合是算法對于訓(xùn)練數(shù)據(jù)學(xué)習(xí)不充分而遺漏重要特征,均會降低算法泛化能力。從用途角度,輔助決策主要包括假陰性和假陽性,其中假陰性即漏診,可能導(dǎo)致后續(xù)診療活動延誤,特別是要考慮快速進展疾病的診療活動延誤風(fēng)險,而假陽性即誤診,可能導(dǎo)致后續(xù)不必要的診療活動;非輔助決策從算法設(shè)計目標(biāo)能否得以實現(xiàn)角度,亦可參考輔助決策分為假陰性和假陽性。此外,進口人工智能醫(yī)療器械還需考慮中外差異風(fēng)險,如中外在人種、流行病學(xué)特征、臨床診療規(guī)范等差異。
人工智能醫(yī)療器械應(yīng)結(jié)合產(chǎn)品的預(yù)期用途、使用場景、核心功能開展相應(yīng)風(fēng)險管理活動,采取有效的風(fēng)險控制措施將風(fēng)險降至可接受水平,并貫穿于人工智能醫(yī)療器械全生命周期過程。
(三)全生命周期管理
注冊人應(yīng)結(jié)合質(zhì)量管理體系要求,參考軟件、人工智能相關(guān)標(biāo)準(zhǔn)和良好工程實踐,建立人工智能醫(yī)療器械生存周期過程,開展與軟件安全性級別相匹配的產(chǎn)品質(zhì)量保證工作,將風(fēng)險管理、可追溯分析貫穿于生存周期全程,形成記錄以供體系核查。
上市前應(yīng)開展充分、適宜、有效的驗證與確認(rèn)活動,保證算法泛化能力滿足臨床需求,識別可預(yù)見風(fēng)險并將其降至可接受水平,明確產(chǎn)品使用限制(含技術(shù)限制,下同)和必要警示提示信息。上市后持續(xù)開展算法泛化能力研究,結(jié)合用戶投訴、不良事件和召回等情況,識別前期未預(yù)見風(fēng)險并采取有效的風(fēng)險控制措施將風(fēng)險降至可接受水平,同時根據(jù)產(chǎn)品更新需求,經(jīng)評估后實施更新活動,開展與之相適宜的驗證與確認(rèn)活動,保證算法泛化能力持續(xù)滿足臨床需求。
人工智能醫(yī)療器械生存周期(即生命周期)過程可基于軟件生存周期過程予以建立,具體要求詳見醫(yī)療器械獨立軟件生產(chǎn)質(zhì)量管理規(guī)范及其現(xiàn)場檢查指導(dǎo)原則。
考慮到有監(jiān)督深度學(xué)習(xí)是當(dāng)前人工智能醫(yī)療器械的主流算法,故本指導(dǎo)原則以有監(jiān)督深度學(xué)習(xí)為例詳述人工智能醫(yī)療器械生存周期過程質(zhì)控要求,主要包括需求分析、數(shù)據(jù)收集、算法設(shè)計、驗證與確認(rèn)、更新控制等階段。其他類型的人工智能算法可參照執(zhí)行,不適用內(nèi)容詳述理由并予以記錄。
(一)需求分析
需求分析以臨床需求與風(fēng)險為導(dǎo)向,結(jié)合產(chǎn)品的預(yù)期用途、使用場景、核心功能,綜合考慮法規(guī)、標(biāo)準(zhǔn)、用戶、產(chǎn)品、數(shù)據(jù)、功能、性能、接口、用戶界面、網(wǎng)絡(luò)安全、警示提示等需求,重點考慮數(shù)據(jù)收集、算法性能、使用限制等要求。
數(shù)據(jù)收集需考慮數(shù)據(jù)來源的合規(guī)性和多樣性、數(shù)據(jù)分布的科學(xué)性和合理性、數(shù)據(jù)質(zhì)控的充分性和有效性。數(shù)據(jù)來源在合規(guī)性基礎(chǔ)上保證多樣性,以提高算法泛化能力,例如:盡可能來源于多家、多地域、多層級的代表性臨床機構(gòu),盡可能來源于多家、多種、多參數(shù)的代表性采集設(shè)備。數(shù)據(jù)分布的科學(xué)性和合理性需結(jié)合目標(biāo)疾病流行病學(xué)特征予以考慮,包括但不限于疾病構(gòu)成(如分型、分級、分期)、人群分布(如健康、患者,性別、年齡、職業(yè)、地域、生活方式)、統(tǒng)計指標(biāo)(如發(fā)病率、患病率、治愈率、死亡率、生存率)等情況,以及目標(biāo)疾病并發(fā)癥與類似疾病的影響情況。數(shù)據(jù)質(zhì)控的充分性和有效性需結(jié)合數(shù)據(jù)采集與數(shù)據(jù)標(biāo)注的人員、設(shè)備、過程等影響因素予以考慮,具體要求詳見后文。
算法性能需結(jié)合臨床實際和產(chǎn)品定位,綜合考慮假陰性與假陽性、重復(fù)性與再現(xiàn)性、魯棒性/健壯性等性能指標(biāo)要求,兼顧不同性能指標(biāo)的制約關(guān)系,如假陰性與假陽性等。
使用限制需考慮產(chǎn)品禁用、慎用等場景,準(zhǔn)確表述產(chǎn)品使用場景,提供必要警示提示信息。
(二)數(shù)據(jù)收集
數(shù)據(jù)收集基于合規(guī)性要求,主要考慮數(shù)據(jù)采集、數(shù)據(jù)整理、數(shù)據(jù)標(biāo)注、數(shù)據(jù)集構(gòu)建等活動的質(zhì)控要求,以保證數(shù)據(jù)質(zhì)量和算法訓(xùn)練效果。
1.數(shù)據(jù)采集
數(shù)據(jù)采集需考慮采集設(shè)備、采集過程、數(shù)據(jù)脫敏等質(zhì)控要求,并建立數(shù)據(jù)采集操作規(guī)范。數(shù)據(jù)采集亦可使用歷史數(shù)據(jù),需結(jié)合樣本規(guī)模、采集難度等影響因素合理選擇數(shù)據(jù)采集方式。
采集設(shè)備質(zhì)控包括采集設(shè)備的兼容性和采集特征等要求。兼容性基于數(shù)據(jù)生成方式(直接生成、間接生成)考慮采集設(shè)備的兼容性要求,如采集設(shè)備的名稱、型號規(guī)格、制造商、性能指標(biāo)等要求,若無需考慮兼容性要求詳述理由并予以記錄。采集特征考慮采集設(shè)備的采集方式(如常規(guī)成像、增強成像)、采集協(xié)議(如MRI成像序列)、采集參數(shù)(如CT加載電壓、加載電流、加載時間、層厚)、采集精度(如分辨率、采樣率)等要求。
采集過程質(zhì)控包括人員管理、采集流程、采集質(zhì)量評估等要求。人員管理考慮采集人員、審核人員的選拔(如職稱、工作年限、工作經(jīng)驗、所在機構(gòu),若有國外人員明確其資質(zhì)要求)、培訓(xùn)(如培訓(xùn)材料、培訓(xùn)方案)、考核(如方法、頻次、指標(biāo)、通過準(zhǔn)則、一致性)等要求。采集流程考慮人員職責(zé)、采集步驟、結(jié)果審核等要求。采集質(zhì)量評估考慮評估人員、評估方法、評估指標(biāo)、通過準(zhǔn)則等要求,并記錄評估結(jié)果。
數(shù)據(jù)采集若使用歷史數(shù)據(jù),需列明采集設(shè)備及采集特征要求,并開展數(shù)據(jù)采集質(zhì)量評估工作。
采集的數(shù)據(jù)應(yīng)進行數(shù)據(jù)脫敏以保護患者隱私,數(shù)據(jù)脫敏需明確脫敏的類型(靜態(tài)、動態(tài))、規(guī)則、程度、方法。
2.數(shù)據(jù)整理
脫敏數(shù)據(jù)匯總形成原始數(shù)據(jù)庫,不同模態(tài)的數(shù)據(jù)在原始數(shù)據(jù)庫中需加以區(qū)分(下同)。
數(shù)據(jù)整理基于原始數(shù)據(jù)庫考慮數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理的質(zhì)控要求。數(shù)據(jù)清洗需明確清洗的規(guī)則、方法、結(jié)果,數(shù)據(jù)預(yù)處理需明確處理的方法(如濾波、增強、重采樣、尺寸裁剪、均一化等)、結(jié)果。數(shù)據(jù)整理所用軟件工具均需明確名稱、型號規(guī)格、完整版本、制造商、運行環(huán)境,并進行軟件確認(rèn)。
數(shù)據(jù)經(jīng)整理后形成基礎(chǔ)數(shù)據(jù)庫,需明確樣本類型、樣本量、樣本分布等信息。樣本類型以適用人群為單位可分為單一數(shù)據(jù)、數(shù)據(jù)序列(由多個單一數(shù)據(jù)組成,如結(jié)構(gòu)序列、功能序列、時間序列)。樣本量需考慮樣本規(guī)模的充分性,明確樣本總量確定依據(jù)。樣本分布需考慮樣本的多樣性和偏倚控制問題,依據(jù)疾病構(gòu)成、適用人群、數(shù)據(jù)來源機構(gòu)、采集設(shè)備、樣本類型等因素明確數(shù)據(jù)分布情況。
3.數(shù)據(jù)標(biāo)注
數(shù)據(jù)標(biāo)注作為有監(jiān)督學(xué)習(xí)數(shù)據(jù)質(zhì)控的關(guān)鍵環(huán)節(jié),應(yīng)建立數(shù)據(jù)標(biāo)注操作規(guī)范,明確標(biāo)注資源管理、標(biāo)注過程質(zhì)控、標(biāo)注質(zhì)量評估等要求。
標(biāo)注資源管理包括人員管理和基礎(chǔ)設(shè)施管理。人員管理考慮標(biāo)注人員、審核人員和仲裁人員的選拔(如職稱、工作年限、工作經(jīng)驗、所在機構(gòu),若有國外人員明確其資質(zhì)要求)、培訓(xùn)(如培訓(xùn)材料、培訓(xùn)方案)、考核(如方法、頻次、指標(biāo)、通過準(zhǔn)則、一致性)等要求?;A(chǔ)設(shè)施管理考慮標(biāo)注場所(真實場所或模擬場所,模擬場所可根據(jù)產(chǎn)品實際情況調(diào)整模擬程度,詳述調(diào)整理由并予以記錄)、標(biāo)注環(huán)境條件(如空間、照明、溫度、濕度、氣壓)、標(biāo)注軟件(名稱、型號規(guī)格、完整版本、制造商、運行環(huán)境、軟件確認(rèn))等要求。
標(biāo)注過程質(zhì)控包括人員職責(zé)(如資質(zhì)、數(shù)量、職責(zé))、標(biāo)注規(guī)則(如臨床指南、專家共識、專家評議、文獻分析)、標(biāo)注流程(如標(biāo)注對象、標(biāo)注形式、標(biāo)注輪次、標(biāo)注步驟、結(jié)果審核)、分歧處理(如仲裁人員、仲裁方式)、可追溯性(如數(shù)據(jù)、操作)等要求。
標(biāo)注質(zhì)量評估包括評估人員、評估方法、評估指標(biāo)、通過準(zhǔn)則等要求,并記錄評估結(jié)果。
數(shù)據(jù)經(jīng)標(biāo)注后形成標(biāo)注數(shù)據(jù)庫,其樣本類型可分為數(shù)據(jù)塊(如圖像區(qū)域、數(shù)據(jù)片段)、單一數(shù)據(jù)(由多個數(shù)據(jù)塊組成)、數(shù)據(jù)序列(由多個單一數(shù)據(jù)組成)。樣本量、樣本分布等要求及風(fēng)險考量與基礎(chǔ)數(shù)據(jù)庫相同。
數(shù)據(jù)標(biāo)注可使用自動標(biāo)注軟件,但自動標(biāo)注結(jié)果不得直接使用,應(yīng)由標(biāo)注人員審核后方可使用;同時,自動標(biāo)注軟件亦需明確名稱、型號規(guī)格、完整版本、制造商、運行環(huán)境等信息,并進行軟件確認(rèn)。
4.數(shù)據(jù)集構(gòu)建
基于標(biāo)注數(shù)據(jù)庫構(gòu)建訓(xùn)練集(用于算法訓(xùn)練)、調(diào)優(yōu)集[ 人工智能領(lǐng)域稱之為驗證集(Validation set)。為避免與醫(yī)療器械領(lǐng)域所用術(shù)語驗證(Verification)、確認(rèn)(Validation)相混淆,本指導(dǎo)原則將其改稱為調(diào)優(yōu)集。](若有,用于算法超參數(shù)調(diào)優(yōu))、測試集(用于算法性能評估),明確訓(xùn)練集、調(diào)優(yōu)集、測試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例。訓(xùn)練集需保證樣本分布具有均衡性,測試集、調(diào)優(yōu)集原則上需保證樣本分布符合臨床實際情況,訓(xùn)練集、調(diào)優(yōu)集、測試集的樣本應(yīng)兩兩無交集并通過查重予以驗證。
為解決樣本分布不滿足預(yù)期的問題,可對訓(xùn)練集、調(diào)優(yōu)集小樣本量數(shù)據(jù)進行擴增,原則上不得對測試集進行數(shù)據(jù)擴增,對抗測試(詳見后文)除外。數(shù)據(jù)擴增需明確擴增的對象、方式(離線、在線)、方法(如翻轉(zhuǎn)、旋轉(zhuǎn)、鏡像、平移、縮放、濾波、生成對抗網(wǎng)絡(luò)等)、倍數(shù),擴增倍數(shù)過大應(yīng)考慮數(shù)據(jù)偏倚的影響及風(fēng)險。若采用生成對抗網(wǎng)絡(luò)(詳見后文)進行數(shù)據(jù)擴增,需明確算法基本信息以及算法選用依據(jù)。
數(shù)據(jù)經(jīng)擴增后形成擴增數(shù)據(jù)庫,需列表對比擴增數(shù)據(jù)庫與標(biāo)注數(shù)據(jù)庫在樣本量、樣本分布(注明擴增倍數(shù))等差異,以證實擴增數(shù)據(jù)庫樣本量的充分性以及樣本分布的合理性。
(三)算法設(shè)計
人工智能算法作為人工智能醫(yī)療器械的核心,其設(shè)計主要考慮算法選擇、算法訓(xùn)練、算法性能評估等要求。對于黑盒算法,算法設(shè)計應(yīng)開展算法性能影響因素分析,同時建議與現(xiàn)有醫(yī)學(xué)知識[ 醫(yī)學(xué)知識作為醫(yī)療器械的外部參考準(zhǔn)則,其自身評價問題不屬于醫(yī)療器械安全有效性評價范疇。]建立關(guān)聯(lián),以提升算法可解釋性。
1.算法選擇
算法選擇提供所用算法的名稱、類型、結(jié)構(gòu)(如層數(shù)、參數(shù)規(guī)模)、輸入輸出、流程圖、算法框架(含自研框架、現(xiàn)成框架)、運行環(huán)境等基本信息,并明確算法選用依據(jù),包括選用的理由和基本原則。
若組合使用遷移學(xué)習(xí)(詳見后文)、強化學(xué)習(xí)(詳見后文),亦需提供算法基本信息以及算法選用依據(jù)。
2.算法訓(xùn)練
算法訓(xùn)練需基于訓(xùn)練集、調(diào)優(yōu)集進行訓(xùn)練和調(diào)優(yōu),考慮評估指標(biāo)、訓(xùn)練方法、訓(xùn)練目標(biāo)、調(diào)優(yōu)方法、訓(xùn)練數(shù)據(jù)量-評估指標(biāo)曲線等要求。
評估指標(biāo)建議根據(jù)臨床需求進行選擇,輔助決策可選擇敏感性、特異性等指標(biāo),非輔助決策可選擇圖像質(zhì)量、測量準(zhǔn)確性等指標(biāo)。訓(xùn)練方法包括但不限于留出法和交叉驗證法,若組合使用聯(lián)邦學(xué)習(xí)(詳見后文)亦需明確算法選用依據(jù),并提供算法基本信息。訓(xùn)練目標(biāo)根據(jù)臨床情況詳述目標(biāo)確定依據(jù),提供ROC曲線等證據(jù)予以證實。調(diào)優(yōu)方法明確優(yōu)化策略和實現(xiàn)方法。訓(xùn)練數(shù)據(jù)量-評估指標(biāo)曲線用于證實算法訓(xùn)練的充分性和有效性。
3.算法性能評估
算法性能評估作為軟件驗證的重要組成部分,需基于測試集對算法設(shè)計結(jié)果進行評估,綜合考慮假陰性與假陽性、重復(fù)性與再現(xiàn)性、魯棒性/健壯性等評估要求,以證實算法性能滿足算法設(shè)計目標(biāo),并作為軟件驗證、軟件確認(rèn)的基礎(chǔ)。亦可基于第三方數(shù)據(jù)庫(詳見后文)開展算法性能評估。
同時,開展算法性能影響因素分析以提升算法可解釋性,詳述影響算法性能的主要因素及其影響程度,如采集設(shè)備、采集參數(shù)、疾病構(gòu)成、病變特征等因素,基于分析結(jié)果明確產(chǎn)品使用限制和必要警示提示信息。
此外,根據(jù)產(chǎn)品實際情況開展壓力測試(詳見后文)、對抗測試等測試,以全面深入評估算法性能。
(四)驗證與確認(rèn)
1.軟件驗證
軟件驗證是指通過提供客觀證據(jù)認(rèn)定軟件開發(fā)、軟件更新某一階段的輸出滿足輸入要求,包括軟件驗證測試(單元測試、集成測試、系統(tǒng)測試)、設(shè)計評審等系列活動。
軟件驗證通過法規(guī)、標(biāo)準(zhǔn)、用戶、產(chǎn)品、數(shù)據(jù)、功能、性能、接口、用戶界面、網(wǎng)絡(luò)安全、警示提示等測試,驗證軟件的安全有效性,并作為軟件確認(rèn)的基礎(chǔ)。
2.軟件確認(rèn)
軟件確認(rèn)是指通過提供客觀證據(jù)認(rèn)定軟件滿足用戶需求和預(yù)期目的,包括軟件確認(rèn)測試(用戶測試)、臨床評價、設(shè)計評審等系列活動。根據(jù)產(chǎn)品實際情況,軟件確認(rèn)方式可單一使用,亦可組合使用。
軟件確認(rèn)測試基于軟件需求在真實或模擬使用場景下予以開展,亦可基于測評數(shù)據(jù)庫(詳見后文)予以開展。
臨床評價基本原則詳見醫(yī)療器械軟件指導(dǎo)原則,對于非輔助決策類功能,可基于核心功能開展同品種醫(yī)療器械比對,全新的功能、算法和用途原則上均需開展臨床評價;對于輔助決策類功能,需基于核心算法開展同品種醫(yī)療器械比對,所選同品種醫(yī)療器械的臨床證據(jù)需基于臨床試驗(可使用歷史數(shù)據(jù)),全新的功能、算法和用途原則上均需開展臨床試驗。具體要求詳見臨床評價、臨床試驗設(shè)計、境外臨床試驗數(shù)據(jù)接受等通用指導(dǎo)原則,以及人工智能醫(yī)療器械臨床評價等專用指導(dǎo)原則。
同時,開展算法性能比較分析,詳述各類測試場景(含臨床評價)算法性能變異度較大的原因,基于分析結(jié)果明確產(chǎn)品使用限制和必要警示提示信息。
最后,結(jié)合算法訓(xùn)練、算法性能評估、臨床評價等結(jié)果開展算法性能綜合評價,針對訓(xùn)練樣本量和測試樣本量過少、測試結(jié)果明顯低于算法設(shè)計目標(biāo)、算法性能變異度過大等情況,對產(chǎn)品的適用范圍、使用場景、核心功能進行必要限制。
(五)更新控制
人工智能醫(yī)療器械若發(fā)生算法更新、軟件更新,均應(yīng)當(dāng)按照質(zhì)量管理體系的要求,開展與算法更新、軟件更新的類型、內(nèi)容和程度相適宜的驗證與確認(rèn)活動,將風(fēng)險管理、可追溯分析貫穿于更新全程,形成記錄以供體系核查。
對于算法更新,無論算法驅(qū)動型更新還是數(shù)據(jù)驅(qū)動型更新,均應(yīng)開展算法性能評估、臨床評價等驗證與確認(rèn)活動,以保證算法更新的安全有效性。對于軟件更新,具體要求詳見醫(yī)療器械軟件指導(dǎo)原則、醫(yī)療器械獨立軟件生產(chǎn)質(zhì)量現(xiàn)場檢查指導(dǎo)原則。
總之,人工智能醫(yī)療器械所含的每個人工智能算法,均應(yīng)獨立開展需求分析、數(shù)據(jù)收集、算法設(shè)計、驗證與確認(rèn)、更新控制等活動,同時考慮人工智能算法組合的整體評價要求,以保證產(chǎn)品的安全有效性。
前期已開發(fā)的人工智能醫(yī)療器械若不滿足本指導(dǎo)原則的適用要求,應(yīng)開展差距分析并予以記錄,明確產(chǎn)品使用限制和必要警示提示信息。必要時采取補救措施,以滿足質(zhì)量管理體系要求,并保證產(chǎn)品的安全有效性。
(一)注冊單元與檢測單元
人工智能醫(yī)療器械的注冊單元與檢測單元劃分原則詳見醫(yī)療器械軟件指導(dǎo)原則,人工智能獨立軟件、人工智能軟件組件分別參照獨立軟件、軟件組件的要求。
若軟件核心功能相同但核心算法類型不同,則每類核心算法均需在產(chǎn)品技術(shù)要求中注明并檢測。
(二)網(wǎng)絡(luò)安全與數(shù)據(jù)安全
人工智能醫(yī)療器械應(yīng)結(jié)合預(yù)期用途、使用場景、核心功能,基于保密性、完整性、可得性等網(wǎng)絡(luò)安全特性,確定網(wǎng)絡(luò)安全能力建設(shè)要求,以應(yīng)對網(wǎng)絡(luò)攻擊和數(shù)據(jù)竊取等網(wǎng)絡(luò)威脅,如算法框架漏洞攻擊、數(shù)據(jù)污染等。具體要求詳見醫(yī)療器械網(wǎng)絡(luò)安全指導(dǎo)原則。
除此之外,還應(yīng)在人工智能醫(yī)療器械全生命周期過程中考慮數(shù)據(jù)安全問題,包括上市前設(shè)計開發(fā)階段和上市后使用階段。數(shù)據(jù)轉(zhuǎn)移需明確轉(zhuǎn)移方法、數(shù)據(jù)污染防護措施、數(shù)據(jù)銷毀等要求。數(shù)據(jù)整理、數(shù)據(jù)集構(gòu)建、算法訓(xùn)練、算法性能評估、軟件驗證等內(nèi)部活動需在封閉網(wǎng)絡(luò)環(huán)境下開展以防止數(shù)據(jù)污染。數(shù)據(jù)標(biāo)注、軟件確認(rèn)等涉及外方的活動需明確數(shù)據(jù)污染防護措施,特別是在開放網(wǎng)絡(luò)環(huán)境下。各數(shù)據(jù)庫(集)均需進行數(shù)據(jù)備份,明確備份的方法、頻次、數(shù)據(jù)恢復(fù)方法。數(shù)據(jù)采集、上市后使用需考慮臨床機構(gòu)關(guān)于網(wǎng)絡(luò)安全與數(shù)據(jù)安全的接口要求。
(三)移動計算與云計算
人工智能醫(yī)療器械若使用移動計算、云計算等技術(shù),遵循相關(guān)指導(dǎo)原則要求。具體而言,移動計算相關(guān)要求詳見移動醫(yī)療器械指導(dǎo)原則,云計算相關(guān)要求詳見醫(yī)療器械軟件指導(dǎo)原則,移動計算與云計算的網(wǎng)絡(luò)安全相關(guān)要求詳見醫(yī)療器械網(wǎng)絡(luò)安全指導(dǎo)原則。
(四)人因設(shè)計與可用性
人工智能醫(yī)療器械建議加強用戶接口人因設(shè)計以提升可用性,并將用戶錯誤使用的風(fēng)險降至可接受水平,特別是對軟件用戶界面。具體要求詳見醫(yī)療器械人因設(shè)計相關(guān)指導(dǎo)原則。
(五)壓力測試
本指導(dǎo)原則所述壓力測試[ 本指導(dǎo)原則所述壓力測試與軟件工程領(lǐng)域的壓力測試含義不同。]是指采用罕見或特殊臨床真實數(shù)據(jù)樣本開展的算法性能測試,側(cè)重于評估算法泛化能力的極限。
注冊人應(yīng)根據(jù)產(chǎn)品實際情況開展壓力測試,以全面深入評估算法性能。若未開展相應(yīng)測試或測試結(jié)果不佳,均需對產(chǎn)品的適用范圍、使用場景、核心功能進行必要限制,并在說明書中明確產(chǎn)品使用限制和必要警示提示信息。
(六)對抗測試
本指導(dǎo)原則所述對抗測試是指基于臨床真實數(shù)據(jù)樣本利用數(shù)據(jù)擾動、生成對抗網(wǎng)絡(luò)等技術(shù)產(chǎn)生對抗樣本,并采用對抗樣本開展的算法性能測試,側(cè)重于評估算法的魯棒性/健壯性。
若條件具備,建議注冊人開展對抗測試,以全面深入評估算法性能。若未開展相應(yīng)測試或測試結(jié)果不佳,均需明確產(chǎn)品使用限制和必要警示提示信息。
(七)第三方數(shù)據(jù)庫
第三方數(shù)據(jù)庫可用于算法性能評估,但其類型、用途等情況各不相同,未必能夠完全滿足軟件確認(rèn)測試的要求。因此,使用第三方數(shù)據(jù)庫進行軟件確認(rèn)測試,應(yīng)評估其滿足軟件確認(rèn)測試的充分性、適宜性和有效性。
可用于軟件確認(rèn)測試的第三方數(shù)據(jù)庫即為測評數(shù)據(jù)庫。測評數(shù)據(jù)庫除滿足數(shù)據(jù)庫通用要求(如數(shù)據(jù)管理、網(wǎng)絡(luò)安全與數(shù)據(jù)安全、可擴展性等)外,還應(yīng)滿足以下專用要求。
1.權(quán)威性:測評數(shù)據(jù)庫的數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注及其質(zhì)控工作應(yīng)由相應(yīng)臨床專業(yè)領(lǐng)域的權(quán)威機構(gòu)(如國家臨床醫(yī)學(xué)研究中心)負(fù)責(zé),以保證數(shù)據(jù)準(zhǔn)確性;標(biāo)注人員、審核人員、仲裁人員需具備與其崗位職責(zé)相匹配的臨床實踐經(jīng)驗。
2.科學(xué)性:測評數(shù)據(jù)庫的數(shù)據(jù)樣本均應(yīng)為臨床真實數(shù)據(jù),不得進行數(shù)據(jù)擴增;樣本分布符合目標(biāo)疾病流行病學(xué)特征情況,樣本總量基于目標(biāo)疾病流行病學(xué)統(tǒng)計指標(biāo)、測試抽樣誤差控制要求,通過統(tǒng)計學(xué)計算予以確定;單次測試原則上根據(jù)測評數(shù)據(jù)庫樣本分布情況等比例隨機抽取測試樣本,且其樣本量滿足測試抽樣誤差控制要求。
3.規(guī)范性:測評數(shù)據(jù)庫的數(shù)據(jù)采集、數(shù)據(jù)脫敏、數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注、數(shù)據(jù)更換、數(shù)據(jù)管理、數(shù)據(jù)安全保證等數(shù)據(jù)治理活動以及測評活動均應(yīng)建立質(zhì)控程序文件,并滿足可追溯性要求。
4.多樣性:測評數(shù)據(jù)庫的樣本應(yīng)來源于多家、多地域、多層級的代表性臨床機構(gòu)以及多家、多種、多參數(shù)的代表性采集設(shè)備,以保證數(shù)據(jù)多樣性能夠滿足算法泛化能力評估要求;若條件具備,測評數(shù)據(jù)庫可包含適當(dāng)比例的罕見或特殊臨床真實數(shù)據(jù)樣本,以便開展壓力測試深入評估算法泛化能力的極限。
5.封閉性:測評數(shù)據(jù)庫應(yīng)封閉管理,樣本總量需遠大于單次測試樣本量,測評活動亦需封閉管理,以保證算法性能評價的客觀性、公正性、公平性。
6.動態(tài)性:測評數(shù)據(jù)庫應(yīng)定期更換一定比例的數(shù)據(jù)樣本,以保證其具備持續(xù)的多樣性和封閉性;數(shù)據(jù)更換的頻率、比例需有確定依據(jù),并滿足規(guī)范性要求;更換出庫的數(shù)據(jù)樣本由測評數(shù)據(jù)庫責(zé)任方自行確定其處理方案。
基于測評數(shù)據(jù)庫,利用數(shù)據(jù)擾動、生成對抗網(wǎng)絡(luò)等技術(shù),可衍生出對抗測評數(shù)據(jù)庫。若條件具備,建議基于測評數(shù)據(jù)庫建設(shè)對抗測評數(shù)據(jù)庫,以全面深入評價算法性能。
第三方數(shù)據(jù)庫經(jīng)評估符合要求后可成為測評數(shù)據(jù)庫(含對抗測評數(shù)據(jù)庫),測評數(shù)據(jù)庫名錄另行制定并動態(tài)調(diào)整。
公開數(shù)據(jù)庫因不具備封閉性而不能用作測評數(shù)據(jù)庫,但可用于算法性能評估,若用于算法訓(xùn)練應(yīng)重新進行質(zhì)量評估。使用公開數(shù)據(jù)庫應(yīng)根據(jù)其使用情況開展必要評估工作,并在注冊申報資料中予以說明。
其他類型第三方數(shù)據(jù)庫可參照測評數(shù)據(jù)庫和公開數(shù)據(jù)庫的要求予以使用,同時考慮其適用場景、數(shù)據(jù)質(zhì)量評估、時效性等要求。
(八)基于模型的算法
基于模型的算法對于訓(xùn)練數(shù)據(jù)的數(shù)量要求相對較低,通常為白盒算法,特征提取需要人為干預(yù),可與現(xiàn)有醫(yī)學(xué)知識建立關(guān)聯(lián),可解釋性相對較高。
對于此類算法,有監(jiān)督學(xué)習(xí)的模型/數(shù)據(jù)質(zhì)控要求參照有監(jiān)督深度學(xué)習(xí)執(zhí)行,不適用內(nèi)容詳述理由并予以記錄。同理,無監(jiān)督學(xué)習(xí)的模型/數(shù)據(jù)質(zhì)控要求亦參照有監(jiān)督深度學(xué)習(xí)執(zhí)行,其中數(shù)據(jù)標(biāo)注不適用,其余不適用內(nèi)容詳述理由并予以記錄。
此類算法無論有監(jiān)督學(xué)習(xí)還是無監(jiān)督學(xué)習(xí),均需明確特征信息,包括但不限于特征分類(如人口統(tǒng)計學(xué)、生物學(xué)、形態(tài)學(xué))、特征屬性(如形態(tài)、紋理、性質(zhì)、尺寸、邊界)、特征展現(xiàn)方式(如形狀、尺寸、邊界、顏色、數(shù)量)等信息。
(九)遷移學(xué)習(xí)
遷移學(xué)習(xí)是指將在某領(lǐng)域或任務(wù)學(xué)習(xí)到的模型應(yīng)用于不同但相關(guān)的領(lǐng)域或任務(wù)的人工智能算法,如將在自然圖像領(lǐng)域?qū)W習(xí)形成的模型應(yīng)用于醫(yī)學(xué)圖像領(lǐng)域。遷移學(xué)習(xí)主要包括基于特征和基于模型的算法,并可與深度學(xué)習(xí)、聯(lián)邦學(xué)習(xí)等人工智能算法組合使用。
人工智能醫(yī)療器械若使用遷移學(xué)習(xí)算法,注冊申報資料需明確算法的名稱、類型、輸入輸出、流程圖、運行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)遷移學(xué)習(xí)的類型及其算法特性提供預(yù)訓(xùn)練模型的數(shù)據(jù)集構(gòu)建、驗證與確認(rèn)等資料。
(十)強化學(xué)習(xí)
強化學(xué)習(xí)是指基于行動與環(huán)境的交互,實現(xiàn)行動從環(huán)境所獲累積獎勵最大化的人工智能算法,采用“試錯”的學(xué)習(xí)策略。強化學(xué)習(xí)從不同角度具有不同類型劃分維度,如有模型與無模型的算法、基于策略和基于價值的算法等,并可與深度學(xué)習(xí)等人工智能算法組合使用。
人工智能醫(yī)療器械若使用強化學(xué)習(xí)算法,注冊申報資料需明確算法的名稱、類型、輸入輸出、流程圖、運行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)強化學(xué)習(xí)類型及其算法特性提供算法驗證與確認(rèn)資料。
(十一)聯(lián)邦學(xué)習(xí)
聯(lián)邦學(xué)習(xí)是基于多個數(shù)據(jù)源協(xié)同建立學(xué)習(xí)模型的人工智能算法,即每個數(shù)據(jù)源獨立進行本地數(shù)據(jù)學(xué)習(xí),通過交換數(shù)據(jù)模型共同建立學(xué)習(xí)模型,實為分布式算法訓(xùn)練技術(shù),亦屬于隱私計算技術(shù)。聯(lián)邦學(xué)習(xí)主要包括橫向聯(lián)邦(基于樣本)和縱向聯(lián)邦(基于特征)等算法,并可與遷移學(xué)習(xí)等人工智能算法組合使用。
人工智能醫(yī)療器械若使用聯(lián)邦學(xué)習(xí)算法等隱私計算技術(shù)進行算法訓(xùn)練,注冊申報資料需明確算法的名稱、類型、輸入輸出、流程圖、運行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)聯(lián)邦學(xué)習(xí)等隱私計算技術(shù)的算法類型及其算法特性提供算法驗證與確認(rèn)資料。
(十二)生成對抗網(wǎng)絡(luò)
生成對抗網(wǎng)絡(luò)是通過生成器和判別器的互相博弈學(xué)習(xí)而產(chǎn)生與臨床真實數(shù)據(jù)類似樣本的人工智能算法,主要用于數(shù)據(jù)擴增或者對抗測試的樣本生成,并可與深度學(xué)習(xí)等人工智能算法組合使用。
人工智能醫(yī)療器械若使用生成對抗網(wǎng)絡(luò)進行數(shù)據(jù)擴增,注冊申報資料需明確算法的名稱、類型、輸入輸出、流程圖、運行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)生成對抗網(wǎng)絡(luò)類型及其算法特性提供算法驗證與確認(rèn)資料。
(十三)基于數(shù)據(jù)的無監(jiān)督學(xué)習(xí)
基于數(shù)據(jù)的無監(jiān)督學(xué)習(xí)具備自學(xué)習(xí)的能力,在臨床機構(gòu)部署后可通過持續(xù)學(xué)習(xí)該臨床機構(gòu)的數(shù)據(jù)而進行產(chǎn)品快速更新。此時,臨床機構(gòu)亦成為產(chǎn)品開發(fā)者,與注冊人共同承擔(dān)產(chǎn)品質(zhì)量責(zé)任和法律責(zé)任;同時,此種更新對于產(chǎn)品安全有效性的影響具有高度不確定性,特別是人工智能黑盒算法。
因此,在當(dāng)前法律法規(guī)體系和技術(shù)水平條件下,基于數(shù)據(jù)的無監(jiān)督學(xué)習(xí)應(yīng)關(guān)閉自學(xué)習(xí)功能,或者雖開放自學(xué)習(xí)功能但不得投入臨床使用,即臨床始終使用產(chǎn)品原有功能,自學(xué)習(xí)功能僅用于算法訓(xùn)練或臨床科研。
注冊人應(yīng)按照質(zhì)量管理體系要求,對自學(xué)習(xí)功能所產(chǎn)生的產(chǎn)品更新的安全有效性進行驗證與確認(rèn),若適用還應(yīng)根據(jù)法律法規(guī)要求申請許可事項變更,待批準(zhǔn)后方能將自學(xué)習(xí)功能所產(chǎn)生的產(chǎn)品更新投入臨床使用。
(十四)人工智能算法框架
人工智能算法框架從開發(fā)者角度可分為自研算法框架和現(xiàn)成算法框架,其中自研算法框架即注冊人自行研發(fā)的算法框架,屬于自研軟件范疇;現(xiàn)成算法框架是指注冊人所使用的由第三方開發(fā)的算法框架(如Tensorflow、PyTorch等),視為現(xiàn)成軟件,現(xiàn)成算法框架開發(fā)者視為醫(yī)療器械供應(yīng)商。
人工智能算法框架更新包括產(chǎn)品更新(即更換算法框架)、版本更新、補丁更新,其中產(chǎn)品更新、非效率型版本更新對于人工智能醫(yī)療器械而言屬于重大軟件更新,效率型版本更新(即運算效率單純提高)、補丁更新對于人工智能醫(yī)療器械而言一般屬于輕微軟件更新,除非影響到人工智能醫(yī)療器械的安全性或有效性。人工智能算法框架同時發(fā)生多種類型的更新,同樣遵循風(fēng)險從高原則。
人工智能算法框架可參照自研軟件、現(xiàn)成軟件相關(guān)要求提交相應(yīng)注冊申報資料,均需明確算法框架的名稱、類型(自研框架、現(xiàn)成框架)、型號規(guī)格、完整版本、制造商等信息。
(十五)人工智能芯片
人工智能芯片作為計算資源的組成部分,本身不屬于監(jiān)管對象,需要根據(jù)其所屬的計算平臺類型考慮監(jiān)管要求。對于人工智能獨立軟件,人工智能芯片屬于通用計算平臺的組成部分,不屬于產(chǎn)品結(jié)構(gòu)組成,作為軟件運行環(huán)境予以考慮。對于人工智能軟件組件,人工智能芯片屬于醫(yī)用計算平臺的組成部分,屬于產(chǎn)品結(jié)構(gòu)組成,需與產(chǎn)品進行整體評價。
無論何種情況,使用人工智能芯片均應(yīng)在注冊申報資料中明確其名稱、型號規(guī)格、制造商、性能指標(biāo)等信息。
(一)算法研究報告
算法研究報告適用于人工智能算法或算法組合的初次發(fā)布和再次發(fā)布,包括算法基本信息、算法風(fēng)險管理、算法需求規(guī)范、數(shù)據(jù)質(zhì)控、算法訓(xùn)練、算法驗證與確認(rèn)、算法可追溯性分析、結(jié)論等內(nèi)容,不適用內(nèi)容詳述理由。
1.算法基本信息
明確算法的名稱、類型、結(jié)構(gòu)、輸入輸出、流程圖、算法框架、運行環(huán)境等基本信息以及算法選用依據(jù)。
其中,算法類型從學(xué)習(xí)策略、學(xué)習(xí)方法、可解釋性等角度明確算法特性。算法結(jié)構(gòu)明確算法的層數(shù)、參數(shù)規(guī)模等超參數(shù)信息。算法框架明確所用人工智能算法框架的基本信息,包括名稱、類型(自研框架、現(xiàn)成框架)、型號規(guī)格、完整版本、制造商等信息。運行環(huán)境明確算法正常運行所需的典型運行環(huán)境,包括硬件配置、外部軟件環(huán)境、網(wǎng)絡(luò)條件;若使用人工智能芯片需明確其名稱、型號規(guī)格、制造商、性能指標(biāo)等信息。算法選用依據(jù)詳述人工智能算法或算法組合選用的理由和基本原則。
2.算法風(fēng)險管理
明確算法的軟件安全性級別(輕微、中等、嚴(yán)重)并詳述判定理由。提供算法風(fēng)險管理資料,明確過擬合與欠擬合、假陰性與假陽性、數(shù)據(jù)擴增與數(shù)據(jù)偏倚等風(fēng)險的控制措施。若無單獨文檔可提供軟件風(fēng)險管理資料,并注明算法風(fēng)險管理所在位置。
3.算法需求規(guī)范
提供算法需求規(guī)范,若無單獨文檔可提供軟件需求規(guī)范,并注明算法需求所在位置。
4.數(shù)據(jù)質(zhì)控
提供數(shù)據(jù)來源合規(guī)性聲明,列明數(shù)據(jù)來源機構(gòu)的名稱、所在地域、數(shù)據(jù)收集量、倫理批件編號等信息。
提供數(shù)據(jù)采集操作規(guī)范,根據(jù)數(shù)據(jù)采集方式明確采集設(shè)備、采集過程、數(shù)據(jù)脫敏等質(zhì)控要求。
提供數(shù)據(jù)標(biāo)注操作規(guī)范,明確數(shù)據(jù)整理、標(biāo)注資源管理、標(biāo)注過程質(zhì)控、標(biāo)注質(zhì)量評估、數(shù)據(jù)安全保證等要求。
若適用,提供數(shù)據(jù)擴增情況說明,明確擴增的對象、方式、方法、倍數(shù)等信息。
依據(jù)疾病構(gòu)成、適用人群、數(shù)據(jù)來源機構(gòu)、采集設(shè)備、樣本類型等因素提供原始數(shù)據(jù)庫、基礎(chǔ)數(shù)據(jù)庫、標(biāo)注數(shù)據(jù)庫、擴增數(shù)據(jù)庫的數(shù)據(jù)分布情況。
若數(shù)據(jù)來自公開數(shù)據(jù)庫,提供公開數(shù)據(jù)庫的基本信息(如名稱、創(chuàng)建者、數(shù)據(jù)總量等)和使用情況(如數(shù)據(jù)使用量、數(shù)據(jù)質(zhì)量評估、數(shù)據(jù)分布等)。
5.算法訓(xùn)練
依據(jù)疾病構(gòu)成、適用人群、數(shù)據(jù)來源機構(gòu)、采集設(shè)備、樣本類型等因素提供訓(xùn)練集、調(diào)優(yōu)集的數(shù)據(jù)分布情況。
明確算法訓(xùn)練所用的評估指標(biāo)、訓(xùn)練方法、訓(xùn)練目標(biāo)、調(diào)優(yōu)方法,提供ROC曲線證明訓(xùn)練目標(biāo)滿足臨床要求,提供訓(xùn)練數(shù)據(jù)量-評估指標(biāo)曲線以證實算法訓(xùn)練的充分性和有效性。
6.算法驗證與確認(rèn)
依據(jù)疾病構(gòu)成、適用人群、數(shù)據(jù)來源機構(gòu)、采集設(shè)備、樣本類型等因素提供測試集的數(shù)據(jù)分布情況。
提供假陰性與假陽性、重復(fù)性與再現(xiàn)性、魯棒性/健壯性等算法性能指標(biāo)評估結(jié)果,以證明算法性能滿足算法設(shè)計目標(biāo)。
若使用第三方數(shù)據(jù)庫開展算法性能評估,提供第三方數(shù)據(jù)庫的基本信息(如名稱、創(chuàng)建者、數(shù)據(jù)總量等)和使用情況(如測試數(shù)據(jù)樣本量、評估指標(biāo)、評估結(jié)果等)。
若適用,提供算法性能影響因素分析報告,明確影響算法性能的主要因素及其影響程度,以及產(chǎn)品使用限制和必要警示提示信息。
若適用,提供壓力測試、對抗測試等測試報告。若未開展相應(yīng)測試或測試結(jié)果不佳,均需明確產(chǎn)品使用限制和必要警示提示信息。
若基于測評數(shù)據(jù)庫進行算法確認(rèn),提供測評數(shù)據(jù)庫的基本信息(如名稱、創(chuàng)建者、數(shù)據(jù)總量等)和使用情況(如評估指標(biāo)、評估結(jié)果等)。若基于臨床評價方式進行算法確認(rèn),指向臨床評價資料即可。
提供上述各類測試場景(含臨床評價)下的算法性能評估結(jié)果比較分析報告,明確產(chǎn)品使用限制和必要警示提示信息。
7.算法可追溯性分析
提供算法可追溯性分析報告,即追溯算法需求、算法設(shè)計、源代碼(明確軟件單元名稱即可)、算法測試、算法風(fēng)險管理的關(guān)系表。
若無單獨文檔可提供軟件可追溯性分析報告,并注明算法可追溯性分析所在位置。
8.結(jié)論
簡述算法性能綜合評價結(jié)果,明確對產(chǎn)品的適用范圍、使用場景、核心功能所做的必要限制,并判定人工智能算法或算法組合的安全有效性是否滿足要求。
(二)算法更新研究報告
算法更新研究報告僅適用于人工智能算法或算法組合的再次發(fā)布,在算法研究報告相應(yīng)內(nèi)容中明確算法更新情況。
其中,算法基本信息描述申報算法情況,若適用詳述與前次注冊相比的變化情況;算法風(fēng)險管理、算法需求規(guī)范、數(shù)據(jù)質(zhì)控、算法訓(xùn)練、算法驗證與確認(rèn)、算法可追溯性分析描述算法更新的具體情況;結(jié)論簡述算法性能綜合評價結(jié)果,并判定人工智能算法或算法組合更新的安全有效性是否滿足要求。
注冊申報資料應(yīng)在符合醫(yī)療器械注冊申報資料要求等文件要求基礎(chǔ)上,滿足醫(yī)療器械軟件、醫(yī)療器械網(wǎng)絡(luò)安全、移動醫(yī)療器械等相關(guān)指導(dǎo)原則要求,同時需要重點關(guān)注以下要求。
(一)產(chǎn)品注冊
1. 申請表信息
(1)人工智能獨立軟件
產(chǎn)品名稱應(yīng)符合通用名稱命名規(guī)范要求,通常體現(xiàn)輸入數(shù)據(jù)(如CT圖像、眼底照片)、目標(biāo)疾?。ê∽儭⒓膊〉膶傩裕?、預(yù)期用途(如輔助分診、輔助檢測、輔助診斷)等特征詞。
適用范圍基于預(yù)期用途、使用場景、核心功能予以規(guī)范,包括但不限于處理對象、目標(biāo)疾病、臨床用途、適用人群、目標(biāo)用戶、使用場所、采集設(shè)備要求、使用限制等內(nèi)容。
(2)人工智能軟件組件
人工智能軟件組件通常無需在注冊證載明信息中體現(xiàn)。其軟件功能名稱可參照人工智能獨立軟件要求。若有,適用范圍體現(xiàn)輔助決策類軟件功能的情況。
2. 算法研究資料
在軟件研究資料中以算法為單位,提交每個人工智能算法的算法研究報告,具體要求詳見第六章。
3. 產(chǎn)品技術(shù)要求
產(chǎn)品技術(shù)要求若含有基于測評數(shù)據(jù)庫測試的性能指標(biāo),應(yīng)明確測評數(shù)據(jù)庫的基本信息(如名稱、型號規(guī)格、完整版本、責(zé)任方等)。
基于其他類型第三方數(shù)據(jù)庫測試的性能指標(biāo),原則上無需在產(chǎn)品技術(shù)要求中體現(xiàn)。
4. 說明書
根據(jù)算法性能綜合評價結(jié)果,對產(chǎn)品的適用范圍、使用場景、核心功能進行必要限制,并在說明書中明確產(chǎn)品使用限制和必要警示提示信息。若適用,明確數(shù)據(jù)采集設(shè)備和數(shù)據(jù)采集過程相關(guān)要求。
對于輔助決策類產(chǎn)品,說明書應(yīng)明確人工智能算法的算法性能評估總結(jié)(測試集基本信息、評估指標(biāo)與結(jié)果)、臨床評價總結(jié)(臨床數(shù)據(jù)基本信息、評價指標(biāo)與結(jié)果)、決策指標(biāo)定義(或提供決策指標(biāo)定義所依據(jù)的臨床指南、專家共識等參考文獻)等信息。此時若采用基于數(shù)據(jù)的人工智能算法,說明書還應(yīng)補充算法訓(xùn)練總結(jié)信息(訓(xùn)練集基本信息、訓(xùn)練指標(biāo)與結(jié)果)。
若產(chǎn)品采用人工智能黑盒算法,根據(jù)算法影響因素分析報告,在說明書中明確產(chǎn)品使用限制和必要警示提示信息。
對于軟件安全性級別為嚴(yán)重級別的產(chǎn)品,原則上需提供用戶培訓(xùn)材料。
(二)許可事項變更
1. 算法研究資料
根據(jù)人工智能算法的更新情況,在軟件研究資料中以算法為單位,提交每個人工智能算法的算法更新研究報告(或算法研究報告),具體要求詳見第六章。
2. 產(chǎn)品技術(shù)要求
若適用,產(chǎn)品技術(shù)要求變更對比表需體現(xiàn)測評數(shù)據(jù)庫的變化情況。
3. 說明書
若適用,提交用戶培訓(xùn)材料。
(三)延續(xù)注冊
延續(xù)注冊通常無需提交算法相關(guān)研究資料。若適用,根據(jù)注冊證“備注”所載明的要求提交相應(yīng)算法研究資料。
本指導(dǎo)原則編寫單位為國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心。
[1] 國家藥品監(jiān)督管理局. 醫(yī)療器械注冊管理辦法(修訂草案征求意見稿),2021.3
[2] 原國家食品藥品監(jiān)督管理總局. 醫(yī)療器械說明書和標(biāo)簽管理規(guī)定(總局令第6號),2014.7
[3] 國家藥品監(jiān)督管理局. 醫(yī)療器械注冊申報資料要求和批準(zhǔn)證明文件格式(修訂草案征求意見稿),2021.5
[4] 國家藥品監(jiān)督管理局. 醫(yī)療器械主文檔登記事項(2021年第36號公告),2021.3
[5] 國家藥品監(jiān)督管理局. 醫(yī)療器械通用名稱命名指導(dǎo)原則(2019年第99號通告),2019.12
[6] 國家藥品監(jiān)督管理局. 醫(yī)療器械安全和性能的基本原則(2020年第18號通告),2020.3
[7] 國家藥品監(jiān)督管理局. 醫(yī)療器械臨床評價技術(shù)指導(dǎo)原則(征求意見稿),2021.5
[8] 國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心. 醫(yī)療器械軟件技術(shù)審查指導(dǎo)原則(第二版)(征求意見稿),2020.6
[9] 國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心. 醫(yī)療器械網(wǎng)絡(luò)安全技術(shù)審查指導(dǎo)原則(第二版)(征求意見稿),2020.9
[10] 原國家食品藥品監(jiān)督管理總局. 移動醫(yī)療器械注冊技術(shù)審查指導(dǎo)原則(2017年第222號通告),2017.12
[11] 國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心. 醫(yī)療器械人因設(shè)計技術(shù)審查指導(dǎo)原則(報批稿),2020.10
[12] 國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心. 人工智能醫(yī)療器械臨床評價技術(shù)審查指導(dǎo)原則(草稿),2021.
[13] 國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心. 肺結(jié)節(jié)CT影像輔助決策軟件注冊技術(shù)審查指導(dǎo)原則(草稿),2021.
[14] 國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心. 肺結(jié)節(jié)CT影像輔助決策軟件臨床評價技術(shù)審查指導(dǎo)原則(草稿),2021.
[15] 國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心. 眼底照片輔助決策軟件注冊技術(shù)審查指導(dǎo)原則(草稿),2021.
[16] 國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心. 眼底照片輔助決策軟件臨床評價技術(shù)審查指導(dǎo)原則(草稿),2021.
[17] 國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心. 深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評要點(2019年第7號通告),2019.7
[18] 國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心. 肺炎CT影像輔助分診與評估軟件審評要點(試行)(2020年第8號通告),2020.3
[19] 原國家食品藥品監(jiān)督管理總局. 醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范(2014年第64號公告),2014.12
[20] 國家藥品監(jiān)督管理局. 醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范附錄獨立軟件(2019年第43號通告),2019.7
[21] 國家藥品監(jiān)督管理局. 醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范獨立軟件現(xiàn)場檢查指導(dǎo)原則(藥監(jiān)綜械管〔2020〕57號),2020.5
[22] 國家藥品監(jiān)督管理局標(biāo)準(zhǔn)管理中心. 人工智能類醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則(征求意見稿),2021.4
[23] 國家藥品監(jiān)督管理局標(biāo)準(zhǔn)管理中心. 輔助決策類醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則(征求意見稿),2021.6
[24] 國家衛(wèi)生健康委員會. 人工智能輔助診斷技術(shù)管理規(guī)范(國衛(wèi)辦醫(yī)發(fā)〔2017〕7號),2017.2
[25] 國家衛(wèi)生健康委員會. 人工智能輔助診斷技術(shù)臨床應(yīng)用質(zhì)量控制指標(biāo)(國衛(wèi)辦醫(yī)發(fā)〔2017〕7號),2017.2
[26] 國家衛(wèi)生健康委員會. 人工智能輔助治療技術(shù)管理規(guī)范(國衛(wèi)辦醫(yī)發(fā)〔2017〕7號),2017.2
[27] 國家衛(wèi)生健康委員會. 人工智能輔助治療技術(shù)臨床應(yīng)用質(zhì)量控制指標(biāo)(國衛(wèi)辦醫(yī)發(fā)〔2017〕7號),2017.2
[28] YY/T 0287-2017 醫(yī)療器械 質(zhì)量管理體系 用于法規(guī)的要求
[29] YY/T 0316-2016 醫(yī)療器械 風(fēng)險管理對醫(yī)療器械的應(yīng)用
[30] YY/T 0664-2020 醫(yī)療器械軟件 軟件生存周期過程
[31] YY/T 1406.1-2016 醫(yī)療器械軟件 第1部分:YY/T 0316應(yīng)用于醫(yī)療器械軟件的指南
[32] YY/T 人工智能醫(yī)療器械質(zhì)量要求和評價 第1部分:術(shù)語(報批稿),2020.
[33] YY/T 人工智能醫(yī)療器械質(zhì)量要求和評價 第2部分:數(shù)據(jù)集通用要求(報批稿),2020.
[34] YY/T 人工智能醫(yī)療器械質(zhì)量要求和評價 第3部分:數(shù)據(jù)標(biāo)注通用要求(草稿),2021.
[35] YY/T 人工智能醫(yī)療器械 肺部影像輔助分析軟件 算法性能測試方法(草稿),2021.
[36] AIMDICP-WG6-2020-001 基于眼底彩照的糖尿病視網(wǎng)膜病變輔助決策產(chǎn)品性能指標(biāo)和測試方法,2020.7
[37] AIMDICP-WG6-2020-002 基于胸部CT的肺結(jié)節(jié)影像輔助決策產(chǎn)品性能指標(biāo)和測試方法,2020.7
[38] AIMDICP-WG12-2021-001 醫(yī)學(xué)人工智能技術(shù)學(xué)名詞(草稿),2021.
[39] FDA. Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data, 2012.7
[40] FDA. Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data, 2012.7
[41] FDA. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML) - Based Software as a Medical Device (SaMD) Draft, 2019.5
[42] FDA. Artificial Intelligence and Machine Learning(AI/ ML) Software as a Medical Device(SaMD) Action Plan, 2021.1
[43] 人工智能醫(yī)療器械創(chuàng)新合作平臺. www.aimd.org.cn
[44] IMDRF AIMD. www.imdrf.org/workitems/wi-aimd.asp
[45] ITU&WHO AI4H. www.itu.int/go/fgai4h
附件:人工智能醫(yī)療器械注冊審查指導(dǎo)原則 (征求意見稿)
編輯:李鵬飛 TAG:/人工智能/人工智能醫(yī)療器械注冊/指導(dǎo)原則