跨数据集分布偏移下深度学习胸部X线分类器的校准、不确定性与数据效率：多数据集基准评测
Calibration, Uncertainty, and Data Efficiency of Deep Learning Chest Radiograph Classifiers Under Cross-Dataset Distribution Shift: A Multi-Dataset Benchmark
一句话开展胸部X线分类器跨数据集基准评测，显示源数据校准不能稳定迁移，判别能力提升不保证概率可靠。
研究问题
数据与样本
分析流程
- 1划分开发与外部测试数据：以NIH ChestX-ray14进行开发及内部测试，以CheXpert和VinBigData进行外部测试。
- 2训练分类器：针对心脏增大和胸腔积液，在4种患者样本比例及3个随机种子下训练ResNet-18、DenseNet-121和DeiT-Tiny，共36次拟合。
- 3拟合并评估校准器：仅在NIH数据上拟合校准器，在外部数据上比较温度缩放概率与原始概率。
- 4检验主要对比：对12项主要外部Brier评分对比使用配对聚类自助法，并进行Holm校正。
- 5考察患病率与样本量：将类别权重标准化至NIH患病率，并比较全部与10%训练数据下的外部AUROC和Brier评分。
- 6评估选择性保留：在保留80%影像时，考察校准集成模型保留的胸腔积液阳性检查比例。
关键方法与工具
- ResNet-18
- 胸部X线疾病分类
- DenseNet-121
- 胸部X线疾病分类
- DeiT-Tiny
- 胸部X线疾病分类
- temperature scaling
- 校准预测概率
- paired cluster-bootstrapping
- 检验配对评分差异
- Holm adjustment
- 多重比较校正
- Brier-score
- 评价概率预测表现
- AUROC
- 评价模型判别能力
设计思路
主要发现
- 温度缩放在12项主要外部对比中的9项降低了Brier评分，但在VinBigData胸腔积液任务上，ResNet-18、DenseNet-121和DeiT-Tiny的Brier评分分别增加0.001460 [95% CI: 0.001347, 0.001568]、0.001193 [95% CI: 0.001109, 0.001274]和0.000498 [95% CI: 0.000417, 0.000577]，校正后均为P=.006。
- 将类别权重标准化至NIH患病率后，CheXpert上所有校准改善均发生逆转。
- 全部训练数据相较于10%训练数据在所有比较中均提高了外部AUROC，但DeiT-Tiny在CheXpert胸腔积液任务中AUROC增加0.032466的同时，Brier评分恶化0.007039。
- 选择性保留80%影像时，校准集成模型仅保留VinBigData中12.3%-17.2%的胸腔积液阳性检查。
可借鉴之处
- 评估临床影像模型迁移时，可借鉴仅在源数据拟合校准器、再到外部数据检验的设计，避免将内部校准表现等同于外部可靠性。
- 比较训练样本规模时，同时报告AUROC与Brier评分，并通过患病率标准化分析判断概率表现是否依赖类别分布。
- 研究选择性保留策略时，除总体保留比例外，还应像本文一样检查阳性病例的实际保留比例。
数据与代码
局限
- 本研究为公开、去标识化影像数据的回顾性二次计算分析，不涉及前瞻性临床验证。
- 队列规模由数据可得性预先确定，未进行前瞻性效能计算。
摘要（中文翻译）
目的：评估分布偏移下，胸部X线深度学习分类器基于源数据进行的概率校准能否迁移至外部数据，以及这种迁移对样本量和疾病患病率的依赖性。
材料与方法：这项针对公开、去标识化X线影像数据集的回顾性二次计算分析，不涉及参与者接触或新数据采集。队列规模根据数据可得性预先确定，未进行前瞻性效能计算：使用106,686张NIH ChestX-ray14影像（29,323名患者；1992-2015）进行开发和内部测试，使用20,000张CheXpert影像（20,000名患者；2002年10月至2017年7月）及14,998张VinBigData影像（2018-2020）进行外部测试。在4种患者样本比例和3个随机种子下，训练用于心脏增大和胸腔积液分类的ResNet-18、DenseNet-121及DeiT-Tiny分类器（36次拟合）。校准器仅使用NIH数据拟合。采用配对聚类自助法及Holm校正，评估12项主要外部Brier评分对比（温度缩放后的概率与原始概率比较）。
结果：温度缩放在12项主要对比中的9项降低了Brier评分，但在VinBigData上，所有模型架构的胸腔积液校准均恶化（Brier评分增加：ResNet-18，0.001460 [95% CI: 0.001347, 0.001568]；DenseNet-121，0.001193 [95% CI: 0.001109, 0.001274]；DeiT-Tiny，0.000498 [95% CI: 0.000417, 0.000577]；校正后均为P=.006）。将类别权重标准化至NIH患病率后，CheXpert上的所有改善均发生逆转。尽管在所有比较中，使用全部训练数据相较于10%训练数据均改善了外部AUROC，但DeiT-Tiny在CheXpert胸腔积液任务中的Brier评分恶化了0.007039，尽管其AUROC提高了0.032466。在选择性保留80%影像时，经过校准的集成模型仅保留了VinBigData中12.3%-17.2%的胸腔积液阳性检查。
结论：基于源数据拟合的校准并不能在不同医疗系统间一致迁移，判别能力的提升也不保证概率得到良好校准。外部评估必须同时考察概率可靠性、患病率偏移和保留病例的构成。
英文原文摘要
Purpose:: To evaluate the external transportability of source-derived probability calibration for chest radiograph deep learning classifiers under distribution shift and determine its dependence on sample size and disease prevalence. Materials and Methods This retrospective secondary computational analysis of public, de-identified radiographic datasets involved no participant contact or new data collection. Cohort sizes were prespecified by availability without prospective power calculation: 106,686 NIH ChestX-ray14 images (29,323 patients; 1992-2015) for development and internal testing, 20,000 CheXpert images (20,000 patients; October 2002-July 2017), and 14,998 VinBigData images (2018-2020) for external testing. ResNet-18, DenseNet-121, and DeiT-Tiny classifiers for cardiomegaly and pleural effusion were trained across four patient fractions and three seeds (36 fits). Calibrators were fitted exclusively on NIH data. Twelve primary external Brier-score contrasts (temperature-scaled versus raw probabilities) were evaluated using paired cluster-bootstrapping with Holm adjustment. Results Temperature scaling reduced Brier scores in nine of 12 primary contrasts but worsened pleural effusion calibration on VinBigData across all architectures (Brier increases: ResNet-18, 0.001460 [95% CI: 0.001347, 0.001568]; DenseNet-121, 0.001193 [95% CI: 0.001109, 0.001274]; DeiT-Tiny, 0.000498 [95% CI: 0.000417, 0.000577]; all adjusted P=.006). Standardizing class weights to NIH prevalence reversed all CheXpert improvements. Although full versus 10% training improved external AUROC across all comparisons, DeiT-Tiny CheXpert pleural effusion Brier score worsened by 0.007039 despite a 0.032466 AUROC gain. At 80% selective image retention, calibrated ensembles retained only 12.3%-17.2% of VinBigData positive pleural effusion examinations. Conclusion Source-fitted calibration is not uniformly transportable across health systems, and discrimination gains do not guarantee calibrated probabilities. External evaluation must simultaneously assess probability reliability, prevalence shifts, and retained-case composition.
摘要来自 Europe PMC。翻译与解读由模型根据摘要生成，可能有误，不构成诊疗建议；数据以原文为准，版权归原出版方所有。