糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件注冊的算法研究資料應(yīng)基于《人工智能醫(yī)療器械審查指導原則》第四章生存周期過程、第五章技術(shù)考量、第六章算法研究資料的所有相關(guān)要求提供算法研究報告或算法更新研究報告，以及人機交互研究資料，認為不適用的應(yīng)詳述理由。在核心功能糖網(wǎng)二分類之外包括其他相關(guān)子功能的應(yīng)分別提供資料，在能清晰區(qū)分的前提下，相同內(nèi)容宜合并，有接口關(guān)系的算法/功能應(yīng)統(tǒng)籌提供資料。根據(jù)本產(chǎn)品特點需要細化之處如下。

1、算法基本信息

（1）糖網(wǎng)分類算法的輸入應(yīng)明確支持的拍攝方式、拍攝范圍、相機型號，輸出應(yīng)分別明確算法的輸出和自動生成的診斷結(jié)論；

（2）圖像質(zhì)量判定算法應(yīng)明確可識別的不良質(zhì)量類型或程度，給出判定規(guī)則的依據(jù)，明確對于不同質(zhì)量的圖像后續(xù)是否均進行分析，結(jié)果是否有其他使用限制。

（3）部署在云服務(wù)器的應(yīng)說明服務(wù)器的物理位置（至少明確到省/直轄市）；

（4）軟件組件應(yīng)描述與產(chǎn)品其他組成部分的功能接口和用戶接口。

2、算法需求規(guī)范

產(chǎn)品設(shè)計應(yīng)充分考慮我國糖網(wǎng)相關(guān)診療指南、方案，跟蹤最新版本，如《我國糖尿病視網(wǎng)膜病變臨床診療指南（2014）》、《我國糖尿病視網(wǎng)膜病變篩查的圖像采集及閱片指南（2017）》、《糖尿病視網(wǎng)膜病變分級診療服務(wù)技術(shù)方案（2017）》等。

明確產(chǎn)品的使用場景、使用者、適用人群，如允許操作者不同于報告簽署人，應(yīng)分別描述。

明確圖像質(zhì)量控制的方式，即達到什么要求的圖像可供算法分析，尤其應(yīng)描述算法在圖像質(zhì)量不佳情形下的處理方法（如：不進行分析，或在給出分析結(jié)果時明確提示圖像質(zhì)量不佳的負面影響）。明確圖像質(zhì)控過程中使用者和算法（若有）的職責。

明確算法訓練數(shù)據(jù)集要求，明確預(yù)期采集各糖網(wǎng)分期樣本、陰性樣本、相似/相關(guān)的疾病/癥狀樣本的數(shù)量和分布要求，明確相機型號/種類、拍攝方式（散瞳、免散瞳）、拍攝范圍、分辨率的要求，以及人群分布（性別、年齡、地域、基礎(chǔ)疾病等）、醫(yī)院級別、醫(yī)院數(shù)量等要求。應(yīng)納入一定量相似/相關(guān)的疾病/癥狀樣本，即與糖網(wǎng)癥狀類似或具有相關(guān)性疾病患者的圖像。

明確算法性能設(shè)計目標，應(yīng)給出核心功能糖網(wǎng)二分類的敏感性、特異性，明確設(shè)定依據(jù)，應(yīng)能夠滿足預(yù)期臨床使用需求，其他輔助功能參考《人工智能醫(yī)療器械注冊審查指導原則》的建議設(shè)定性能設(shè)計目標。

3、數(shù)據(jù)質(zhì)控

（1）數(shù)據(jù)采集

應(yīng)明確不同眼底相機的拍攝方式、拍攝范圍、采集過程的不同要求，詳述采集過程的人員管理、流程管理、質(zhì)量評估要求。若使用歷史數(shù)據(jù)，至少應(yīng)明確拍攝設(shè)備、拍攝方式、拍攝范圍，對其他要求開展差異分析，追溯數(shù)據(jù)的生成過程，論證采集和標注過程的科學性、規(guī)范性。

（2）數(shù)據(jù)整理

明確經(jīng)數(shù)據(jù)清洗棄用數(shù)據(jù)的原因和數(shù)量。數(shù)據(jù)預(yù)處理環(huán)節(jié)應(yīng)采用典型圖片和流程圖說明處理過程和每一步處理的結(jié)果。原始數(shù)據(jù)庫的預(yù)處理過程若與產(chǎn)品中算法運行的預(yù)處理過程存在差異，應(yīng)通過比較來說明。

（3）數(shù)據(jù)標注

建議列表給出標注、審核、仲裁人員的基本信息，如科室/專業(yè)、職稱、工作年限、所在機構(gòu)、培訓考核情況、工作量，若有外國人員則需明確其資質(zhì)要求。宜采用流程圖介紹單張圖片的標注、審核、仲裁過程。若標注較復(fù)雜宜采用典型圖片加流程圖說明每一步的標注內(nèi)容以及特殊情況處理，簡述全部圖片標注的管理過程、時間周期，特別是標注周期內(nèi)的質(zhì)量評估。若用于不同功能做標注的數(shù)據(jù)集與數(shù)據(jù)量有所區(qū)別，應(yīng)明確具體情況。

（4）數(shù)據(jù)集構(gòu)建

對于標注前的基礎(chǔ)數(shù)據(jù)庫，標注后劃分的訓練集、調(diào)優(yōu)集、測試集，應(yīng)給出樣本量和分布情況及其確定依據(jù)，以及集合劃分的方法、依據(jù)。應(yīng)注意保證糖網(wǎng)I期、II期樣本的數(shù)量。樣本分布應(yīng)主要考慮相機種類/型號、拍攝方式（散瞳與否）、拍攝范圍、合并相似/相關(guān)的疾病/癥狀等因素，兼顧人群分布（性別、年齡、地域、基礎(chǔ)疾病等）、來源醫(yī)院等因素。可進行數(shù)據(jù)擴增，應(yīng)符合《人工智能醫(yī)療器械注冊審查指導原則》的要求。

4、算法驗證與確認

（1）算法性能評估

基于測試集提供假陰性與假陽性、重復(fù)性與再現(xiàn)性、魯棒性/健壯性等算法性能指標評估結(jié)果，以證明算法性能滿足設(shè)計目標。亦可基于第三方數(shù)據(jù)庫開展算法性能評估。

若有圖像質(zhì)量判定模塊，應(yīng)選擇合適的評價指標驗證圖像質(zhì)量分級算法性能。

（2）算法性能影響因素分析

應(yīng)進行算法性能影響因素分析以提升算法可解釋性，詳述影響算法性能的主要因素及其影響程度，基于分析結(jié)果明確產(chǎn)品使用限制和必要警示提示信息。

核心功能糖網(wǎng)二分類的主要性能影響因素包括但不限于相機種類/型號、拍攝方式（散瞳與否）、拍攝范圍、合并相似/相關(guān)的疾病/癥狀、圖像質(zhì)量，還可能受人群分布（性別、年齡、地域、基礎(chǔ)疾病等）、來源醫(yī)院等因素一定影響。應(yīng)針對不同因素分別建立子數(shù)據(jù)集進行測試，以了解這些因素的影響程度。對于其他功能模塊，應(yīng)基于產(chǎn)品特征初步分析識別可能對性能產(chǎn)生影響的因素后進行分析。

對于某一影響因素，可建立多個包含單一因素的子集和一個包含所有子集的合集（必要時）分別進行性能測試，統(tǒng)計分析各集合性能差異，評價影響程度。對于預(yù)期對性能有顯著影響且存在相互關(guān)聯(lián)的不同影響因素，也可建立包含多因素的子集進行分析，如有A、B兩個因素，每個因素有2種情況，可形成分別僅包含A1B1、A1B2、A2B1、A2B2因素的4個子集。其中，處于分界點處的糖網(wǎng)I期、II期分類的準確性對產(chǎn)品性能起關(guān)鍵影響，應(yīng)單獨建立測試集驗證。各集合應(yīng)保證具有足夠的樣本量，性能評估結(jié)果應(yīng)給出中心值和95%置信區(qū)間。各子集宜以產(chǎn)品研發(fā)時標注數(shù)據(jù)庫中的測試集為主，當某一待評價因素的樣本量較少或沒有時（如測試集只包括A型、B型眼底相機的圖像，從其他數(shù)據(jù)集納入C型相機的圖像），可補充其他數(shù)據(jù)集的樣本，如臨床試驗、真實世界數(shù)據(jù)、第三方測試等的樣本，但合并在一個子集的數(shù)據(jù)其標注規(guī)則應(yīng)基本一致。簡述各子集的構(gòu)建情況，如數(shù)據(jù)來源、標注過程、標準規(guī)則、樣本分布等。

（3）算法性能綜合評價

按照《人工智能醫(yī)療器械注冊審查指導原則》開展算法性能比較分析和算法性能綜合評價。自建測試數(shù)據(jù)集測試、臨床試驗、真實世界數(shù)據(jù)測試、第三方數(shù)據(jù)庫測試、壓力測試、對抗測試等均可視為算法性能評估場景。應(yīng)分別簡介各數(shù)據(jù)集的構(gòu)建情況，如數(shù)據(jù)來源、標注過程、標注規(guī)則、樣本分布（至少應(yīng)體現(xiàn)相機型號、拍攝方式、拍攝范圍、相似/相關(guān)疾病/癥狀的情況）等，列表給出主要性能評價指標，結(jié)合數(shù)據(jù)集構(gòu)建和性能評價結(jié)果對產(chǎn)品性能綜合評價。針對訓練樣本量和測試樣本量過少、測試結(jié)果明顯低于算法設(shè)計目標、算法性能變異度過大等情況，對產(chǎn)品的適用范圍、使用場景、核心功能在產(chǎn)品適用范圍、產(chǎn)品技術(shù)要求、說明書、產(chǎn)品界面等處明確使用限制；針對其他對算法性能影響較小的因素，給出必要的提示信息。

5、人機交互研究資料

本產(chǎn)品核心功能單一，結(jié)果明確，但使用場景局限，不僅不能替代醫(yī)生，更需要操作者充分了解產(chǎn)品的特點、使用限制和注意事項。應(yīng)制定操作者培訓和考核方案，并驗證方案的可行性。

軟件生成的報告應(yīng)可修改，由具有糖網(wǎng)診療資質(zhì)的執(zhí)業(yè)醫(yī)師簽字確認后生效，上述醫(yī)生應(yīng)已具備基于眼底照片進行糖網(wǎng)分期診斷及易混淆病癥辨析的能力，經(jīng)過產(chǎn)品培訓，還應(yīng)具有以下能力：1.能夠判定拍攝范圍和拍攝質(zhì)量能否達到申報產(chǎn)品處理要求；2.結(jié)合軟件給出結(jié)果，根據(jù)自己的判斷對自動生產(chǎn)報告進行修改或重新拍攝、分析；3.了解算法的限制和注意事項，結(jié)合患者臨床情況做出綜合判斷，給予患者必要的口頭醫(yī)囑和/或在報告上附加信息。注意，某些產(chǎn)品雖然具有圖像質(zhì)量判斷模塊，但由于軟件驗證無法窮舉所有圖像質(zhì)量不合格情況，仍需由醫(yī)生對圖像質(zhì)量做最終判斷。

培訓方案應(yīng)包括但不限于：軟件基本操作、圖像質(zhì)量判定、軟件的使用限制和注意事項。培訓考核應(yīng)納入適當?shù)尼t(yī)生數(shù)量和測試樣本數(shù)量，評價點除糖網(wǎng)分期診斷，還應(yīng)包括上述能力。參加考核的醫(yī)生應(yīng)與預(yù)期使用產(chǎn)品的醫(yī)生在培訓前具有等同能力，以驗證培訓方案的可行性。