技术与数字化教育与心理测量 (EPM)
在线自适应测试中,不同项目选择方法及参数估计方法的比较
2026/10/19作者:Levent Ertuna, Cees A. W. Glas, Burcu Atar1 次阅读
在线校准技术可以通过在测试过程中不断添加新的测试题来持续更新计算机自适应测试的题库。然而,不同校准方法的相对性能以及它们之间的相互作用尚未在统一的框架下进行充分研究。本研究比较了三种预测试题选择方法(最大费舍尔信息法、D最优值设计、贝叶斯D最优设计)、两种参数估计方法(固定能力联合最大似然法、期望最大化法)以及三种随机校准样本大小配置方案(250、500和1000个样本)。同时,还研究了在单参数逻辑斯蒂模型和双参数逻辑斯蒂模型下,三种预测试题选择方法的效果差异。通过蒙特卡洛模拟实验,在108种条件下进行了100次重复实验。结果表明,各种方法之间存在权衡:最大费舍尔信息法能够得出最精确的难度参数估计值;而D最优值设计和贝叶斯D最优设计则能更好地恢复试题的区分度参数。总体而言,贝叶斯D最优设计在准确性和校准效率之间达到了最佳平衡。在标准在线校准场景中,首次系统地评估了联合最大似然法,结果发现它是一种可行的估计方法。当校准样本量为500和1000时,联合最大似然法与最大费舍尔信息法的组合方式在区分度参数的均方根误差方面优于期望最大化法。对于难度参数的估计而言,期望最大化法仍然表现出色。预测试题的样本量是影响校准效果的最重要因素,当样本量从250增加到500时,准确性有显著提升,而超过500个样本量后,效果则逐渐下降。随机校准方法则是一种较为灵活且有效的解决方案。在校准阶段,样本大小的影响可以忽略不计。这些研究结果为在日常CAT项目中选择合适的校准组件提供了实用指导。
项目校准选择方法参数估计计算机自适应算法