NRI和IDI指标分析结果解读：预测模型改善效果评价

NRI和IDI指标分析结果解读一、分析方法介绍NRINet Reclassification Improvement净重分类改善度和IDIIntegrated Discrimination Improvement综合判别改善度是评估预测模型改善效果的两个重要指标由Pencina等人于2008年提出。传统的模型评价指标如AUC受试者工作特征曲线下面积虽然广泛使用但对于新增预测因子是否真正提高了模型的分类能力并不敏感。NRI和IDI的提出弥补了这一不足能够更加精细地量化新模型相对于旧模型在风险重分类和判别能力上的改善程度。NRI的核心思想是衡量新模型是否能够将阳性个体正确地向上调整风险、将阴性个体正确地向下调整风险即计算“正确重分类”与“错误重分类”的净差额。NRI可以进一步分解为阳性NRI和阴性NRI分别反映模型对阳性和阴性个体的重分类改善情况。IDI则从判别斜率的角度出发计算新模型对阳性样本预测概率的平均提升值与对阴性样本预测概率的平均下降值之差。当NRI和IDI为正值且统计显著时说明新模型的分类能力优于旧模型。本研究运用SPSSAU软件进行NRI和IDI分析评估新增预测因子对模型分类能力的改善效果。在SPSSAU【实验/医学研究】模块选择【NRI和IDI】按提示选择变量操作如下图二、结果分析表1报告了NRI和IDI的核心结果。总体NRI值为-102.857%z-2.420p0.01695%置信区间为-186.154%至-19.560%不包含0达到了统计学显著性水平。然而NRI值为负值这一结果具有重要的实质意义它表明新模型相比旧模型在风险重分类方面不但没有改善反而出现了显著的退化。也就是说加入新预测因子后模型将个体向错误方向重分类的程度超过了向正确方向重分类的程度。进一步分解来看阳性NRI金标准阳性1为-60.000%z-2.372p0.01895%CI为-109.584%至-10.416%达到统计显著性。这说明对于实际为阳性的个体新模型反而倾向于将其风险向下调整即低估了阳性个体的风险这是一种不利的重分类方向。阴性NRI金标准阴性0为-42.857%z-1.255p0.20995%CI为-109.789%至24.074%包含0未达到统计显著性。虽然阴性NRI也为负值但由于未达到显著性水平不能确定新模型对阴性个体的重分类方向是否存在系统性偏差。IDI值为-0.442z-2.192p0.02895%CI为-0.837至-0.047同样达到了统计显著性水平。IDI为负值进一步证实了NRI的发现新模型在整体判别能力上不但没有提升反而出现了显著下降。具体而言新模型对阳性样本的平均预测概率不但没有提高对阴性样本的平均预测概率也未能有效降低导致整体判别斜率改善为负值。NRI和IDI两个指标得出了一致的结论增强了结果的可信度。表2拆解了NRI的中间计算过程展示了新模型对阳性和阴性个体的重分类方向。在10个阳性个体中新模型将其中2个正确地向上调整了风险占20.00%但同时有8个阳性个体被错误地向下调整了风险占80.00%。阳性个体的正确重分类率远低于错误重分类率这是阳性NRI为负值的直接原因。在7个阴性个体中新模型将其中2个正确地向下调整了风险占28.57%但同时有5个阴性个体被错误地向上调整了风险占71.43%。阴性个体的错误重分类率同样远高于正确重分类率。综合来看无论是阳性还是阴性个体新模型的重分类方向均以错误方向为主这解释了为何总体NRI呈现显著负值。需要指出的是当前分析的样本量较小阳性10例、阴性7例结果的稳定性可能受到样本量的影响。表3展示了IDI的中间计算过程。阳性时预测提高值为-0.247说明新模型对阳性样本的平均预测概率不但没有提高反而下降了0.247。理想情况下新模型应当提高阳性样本的预测概率该值应为正但实际结果恰好相反。阴性时预测减少值为-0.195说明新模型对阴性样本的平均预测概率不但没有降低反而升高了0.195。理想情况下新模型应当降低阴性样本的预测概率该值也应为正但实际结果同样与期望相反。IDI的计算公式为IDI 阳性预测提高值 - 阴性预测减少值 (-0.247) - (-0.195) -0.442。两个组成部分均为负值共同导致IDI呈现显著负值。这表明新模型既未能提高对阳性个体的识别能力也未能提高对阴性个体的排除能力整体判别能力出现了显著退化。三、结论本研究运用NRI和IDI指标评估了新增预测因子对模型分类能力的改善效果主要结论如下第一总体NRI为-102.857%p0.016达到统计显著性但方向为负说明新模型的风险重分类能力显著退化。第二阳性NRI-60.000%p0.018显著为负表明新模型对阳性个体的重分类方向以错误为主阴性NRI-42.857%p0.209虽也为负值但未达统计显著性。第三IDI为-0.442p0.028进一步证实新模型的整体判别能力显著下降。第四综合NRI和IDI的结果新增预测因子不但未能改善模型的分类能力反而导致了显著的退化建议不采纳该预测因子。