Improving Drug Identification in Overdose Death Surveillance using Large Language Models

文章主要内容总结本文旨在通过自然语言处理（NLP）模型改进美国药物过量死亡监测中的药物识别准确性和时效性。研究使用2020年来自美国10个地区的35,433条死亡记录作为训练和内部测试数据，2023-2024年的3,335条独立记录作为外部验证数据，比较了多种NLP方法的性能，包括传统单标签/多标签分类器、编码器模型（如BERT、BioClinicalBERT）和大型语言模型（LLMs，如Qwen 3、Llama 3）。结果显示，微调的BioClinicalBERT模型表现最佳：内部测试集的宏平均F1分数≥0.998，外部验证集的宏平均F1分数为0.966，显著优于传统机器学习模型、通用BERT模型和其他LLMs。该模型能高效处理死亡证明中的非结构化文本，克服了手动ICD-10编码的延迟和信息丢失问题，为实时监测药物滥用趋势提供了可行方案。创新点多标签分类扩展：突破传统单标签分类的局限，采用多标签分类以更真实地反映现实中多物质滥用的情况。系统模型对比：首次系统比较了传统机器学习、BERT变体（尤其是临床领域的BioClinicalBERT）和当代LLMs在药物过量死亡分类中的性能，明确了领域特异性模型的优势。外部验证与稳健性：通过独立的跨时间数据集（2023-2024年）验证了模型的稳健性，证明其在不同时间和地区数据上的泛化能力。解决现有方法缺陷：克服了此前依赖概念唯一标识符（CUIs）或规则匹配导致的拼写错误敏感、准