基于错误发现率控制的不良反应信号检测方法比较_施雯慧
* 基金项目:江苏省科技基础设施建设计划(BM2015020 - 5);江苏省青年医学重点人才培养项目(QNRC2016555);江苏省计划生育科研所科研启动基金 (JSFP2015004)△通信作者:许豪勤,E-mail:1325825613@ qq. com基于错误发现率控制的不良反应信号检测方法比较*江苏省计划生育科学技术研究所(210036) 施雯慧 许豪勤 △ 巴 磊【提 要】 目的通过蒙特卡罗模拟比较基于错误发现率(FDR)控制的信号检测方法与传统方法的检测效能,验证基于错误发现率控制的方法是否能解决传统方法假阳性信号比例高的问题。方法 基于不良反应监测数据的特点,建立自发呈报系统模型,合理设置参数,产生模拟数据,使用 R 软件进行数据分析,进行传统方法和基于错误发现率控制的方法的比较,并考察判定阈值对信号检测结果的影响。结果 传统频数法(PRR 和 ROR 法)的灵敏度高于贝叶斯法(BCPNN 和 GPS 法),特异度稍低;基于 FDR 控制的方法较传统方法灵敏度提高,特异度降低,且 FDR 控制对贝叶斯法的影响较频数法更大。结论 若检测要求较高的灵敏度和较大的 ROC 曲线下面积,可优先选择基于 FDR 控制的 GPS 法,若要求较高的阳性预测值,则传统 BCPNN 法为首选。
【关键词】 不良反应 信号检测 错误发现率 蒙特卡罗模拟A Comparative Simulation Study of Signal Detection Methods Based on FalseDiscovery RateShi Wenhui,Xu Haoqin,Ba Lei(Jiangsu Institute of Planned Parenthood Research(210036),Nanjing)【Abstract】 Objective To compare the detection efficacy of signal detection methods(traditional methods versus methodsbased on false discovery rate)by Monte Carlo simulation,to verify whether the FDR-based methods solve the problem of high pro-portion of false positive signals which caused by traditional methods. Methods A spontaneous reporting system model was con-structed based on the characteristics of real adverse reaction surveillance database,then parameters were set properly,simulation da-ta were generated and analyzed by R software. The comparison was carried out and the impact of threshold of report number was alsoexamined. Results The sensitivity of the traditional frequency methods(PRR and ROR)is higher than that of traditional Bayesianmethods(BCPNN and GPS),the specificity is lower respectively. FDR-based methods are more sensitive and less specific than alltraditional methods,and FDR control is more influential to Bayesian methods than frequency methods. Conclusion FDR-GPSmethod is preferred in pursuit of higher sensitivity and larger area under ROC curve,while traditional BCPNN method is preferred ifin pursuit of higher positive predictive value.【Key words】 Adverse event;Signal detection;False discovery rate;Monte Carlo simulation药品不良反应/医疗器械不良事件自发呈报系统目前是国际上药品/医疗器械上市后监测的最主要手段[1 -2] ,自 20 世纪 60 年代以来,随着监测体系和相关法规的不断完善,各国的自发呈报系统收集到的不良反应报告数大幅增长,以我国为例,截至 2016 年国家药品不良反应监测中心已累计收到药品不良反应/事件报告近 1075 万份[3] 、可疑医疗器械不良事件报告近168 万份[4] 。
如何从海量报告数据中及时、准确地发现不良反应信号,是当前药物警戒研究领域的热点问题。目前常用的信号检测方法主要是基于不相称测定原理,可分为:(1)频数法,如比例报告比值比法(pro-portional reporting ratio,PRR)、报告比值比法(reportingodds ratio,ROR);(2)贝叶斯法,如贝叶斯置信传播神经网络(Bayesian confidence propagation neural network,BCPNN)、经验贝叶斯伽马泊松缩减(empirical Bayesgamma Poisson shrinker,GPS)。这些方法应用已经较为成熟,但存在多重假设检验问题[5] 。信号检测过程一般是根据目标药品/医疗器械和目标不良反应/事件,计算各方法下的不相称测定指标(如 PRR、ROR、IC 等),再依据判定规则判断该目标组合是否为可疑信号。假设数据库中有 i 种药品/医疗器械和 j 种不良反应/事件,则相应的检验进行了 i × j 次,如将每次比较的错误率控制在 0. 05 的水准,则会增大总Ⅰ型错误率,产生较多的假阳性信号。传统的多重比较方法(如 Bonferroni 法、sidak 法等)控制的是总Ⅰ型错误率[6] ,如将其定为 0. 05,那么每次检验的水准就极低,则会导致只能发现少数强关联组合,检验效能降低。
FDR(false discovery rate)称为错误发现率或阳性结果错误率,表示阳性检验结果中判断错误的比例,由 Benjaminni 和 Hochberg 首先提出[7] 。相比传统假设检验的检验水准取值固定,FDR能灵活取值,作为假设检验错误率的控制指标;此外,相比总Ⅰ型错误率主要用于控制 I 类错误,FDR 的意义更为明确,可用于评价筛选出来的差异变量,因而常用于高微阵列数据分析的多重比较 [8] 。FDR 在药品不良反应信号检测领域的应用始于· 7 1 8 · 中国卫生统计 2018 年 12 月第 35 卷第 6 期法国的 Ahmed [9 -11] ,但在医疗器械不良事件信号检测方面的效果尚未可知。考虑到信号检测方法没有金标准,本文采用蒙特卡罗模拟的方法来比较四种常用信号检测方法(PRR、ROR、BCPNN、GPS)及基于 FDR 控制后的四种方法在宫内节育器不良事件数据中的检验效能。模型构建Emmanuel Roux 等的研究表明[12] ,自发报告系统的药物暴露频数服从 Poisson 分布,报告数 n ij 在一定时间 Δt 内服从 δ ij 的 Poisson 分布:n ij ~ Poi(δ ij )= Poi(RR ij I j E i P ij )其中 RR ij 为药物 i 与不良事件 j 组合的相对危险度,I j 为不良事件 j 的背景发生率,Ei 为药物 i 的使用人数,P ij 为药物 i 与不良事件 j 组合的报告概率。
国内已有的几项药品不良反应模拟数据研究中均沿用了上述模型,假定报告影响因素包括用药人数、药品上市时间、不良事件背景发生率、不良事件严重程度、报告概率[13 -14] 。而国家计划生育药具不良反应监测中心既往几年的监测工作情况表明,宫内节育器不良事件报告并不完全符合上述特点。首先,严重的不良事件报告概率未必高于一般不良事件,因为大部分监测点设立于县、乡两级的妇幼保健计划生育服务机构,能收集到的严重伤害事件不多(由于医疗水平的限制,大多数严重伤害事件会被转诊至三级医疗机构);其次,由于宫内节育器产品的特殊性(使用时间长,研发周期长,在市场上流通种类远低于药品),产品上市时间与报告概率的关系也不是很大;因此,参考相关文献和专家意见,假定宫内节育器不良事件自发呈报系统的报告数服从 Poisson 分布,影响因素包括使用人数、不良事件背景发生率和报告概率。参数设置本次模拟假定有 40 种宫内节育器和 30 种不良事件,共计有 1200 种节育器与不良事件组合不良反应率 计算方法,假定每种宫内节育器有 4 种与其有关联的不良事件(相对危险度 RR 从低到高设置 4 档,分别为 2、3、5 和 10),则共计有 40 ×4 =160 个组合为真实信号,剩余组合为虚假信号,相对危险度 RR 为 1。
40 种宫内节育器中,按使用人数分为三类:5 种为常用,使用人数估计为 500 万;15 种为一般,使用人数估计为 80 万;20 种为较少使用,使用人数估计为 10万。30 种不良事件中,按背景发生率分为三类,其中10 种为 1/100,10 种为 1/1000,10 种为 1/20000;报告概率设定为 4 个水平,分别为 0. 005、0. 025、0. 05 和0. 1。步 骤1. 生成模拟数据库使用 SAS9. 3 软件随机分配各节育器对应的 4 种有关联的不良事件,按照构建的模型和参数设置节育器与不良事件组合发生的频数。模拟产生 100 个对应数据集,信号检测结果取 100 个数据集结果的均值。2. 数据提取及信号检测提取信号检测计算时所需要的四格表数据,使用R 软件及 PhViD 包进行信号检测。PhViD 包由 IsmailAhmed 开发,使用其内置的主要函数 PRR()、ROR()、BCPNN()、GPS(),可根据给定数据以 PRR、ROR、BCPNN、GPS 四种方法快速计算出信号。这些函数中比较重要的参数包括 MIN. n11、DECISION、DECI-SION. THRES 等,其中 MIN. n11 指定目标药物与目标不良事件组合的最小频数,DECISION 指定生成信号的判定规则(基 于 传 统 规 则 还 是 基 于 FDR 控制),DECISION. THRES 指定相应规则的阈值。
(2) 二次计算生成信号:应力信号、残余应力信号、根据一个或多个一次应变信号(利用软件中各种复杂高级函数)生成任意虚拟信号。sar与insar第二节 欧洲的fringe和美国地学界的一次历史性会议第三节 主要的研究小组和主要的软件第四节 insar的初步应用第五节 insar的未来第六节 dem的获取技术与insar第二章 雷达干涉测量基本原理第一节 一般原理第二节 三种干涉测量方式和差分干涉测量第三节 基线参数估计第四节 insar数据和处理流程第三章 数据配准第一节 数据预处理第二节 控制点的自动搜索第三节 重采样与配准质量评价第四节 基于影像数据的高精度多级配准方案第五节 基于结构信息的影像匹配方法第四章 干涉图的生成和处理第一节 干涉图的生成及其信息特点第二节 干涉相位数据中的平地分量去除第三节 简单的滤波方法和基于坡度估计的自适应滤波方法第四节 基于梯度波方法和基于坡和二级滤波法第五章 相位解缠第一节 确定性法第二节 枝剪法第三节 数值计算法第四节 加权解缠算法第六章 高程技术的数学模型第一节 相对于一个点的insar高程计算模型第二节 相应于相邻点的insar高程计算数学模型第三节 无需基线估计的高程计算方法第七章 数字高程模型的生成第一节 利用基于等效中心投影的构像方程第二节 基于成像矢量关系和多普勒频率方程的构像方程第三节 基于多普勒频率方程的定位方法第四节 相邻点地距分析法第八章 在地形形变和地物平面位置分析中的应用原理第一节 地形形变量测原理的进一步分析第二节 提高距离向分辨率的基本原理第三节 距离向分辨率的提高——振幅均衡处理和典型实例第四节 坡度估计。我们的作品中,18路舵机分成2组,分别用一个内部定时器来控制,产生对应舵机的pwm信号(首先定时器1生成第一个舵机的脉宽,再生成第二个舵机的,到第9个舵机为止,然后定时器2以同样方式生成剩余的9个舵机的pwm信号,以此往复)。
假已请好