量化基于IRT方法的分类准确性与一致性的抽样变异性

在高风险测试中，分类准确性与分类一致性提供了关于标准参照决策的重要有效性证据。然而，这些指标通常是以点估计的形式来报告的，这掩盖了它们的统计不确定性。本研究旨在量化基于项目反应理论的分类指标所伴随的不确定性。由于这些指标是估计出的项目参数的函数，因此它们会受到参数估计过程中的抽样变异的影响。我们推导出了在双参数逻辑模型下，条件性和边际分类准确性及一致性的渐近标准误差的解析表达式。此外，我们还采用了一种参数抽样的多重插补方法，作为传递参数不确定性的替代手段。通过蒙特卡洛模拟实验，我们评估了这两种估计方法的实际表现。结果表明，所提出的标准误差与实证标准差非常接近，并且能够得出接近名义覆盖率的置信区间。