认知诊断评价理论的优势就是能够给每个被试提供关于其知识发展状态详细的剖析信息。现在被认为具有认知诊断功能的模型非常多,而且参数表现形式也是多样的,关于具有认知诊断功能的多维IRT模型的参数估计问题,本书将不涉及。认知诊断模型的典型被试参数一般是关于被试在每个知识属性上的掌握状态,即属性掌握模式。属性掌握模式是离散的,取值是有限的。被试属性掌握模式的估计过程,就是在这些有限的取值范围内找到最合适的取值。
在本节内容中,题目得分只有两种可能,即答对记1分,答错记0分。记被试的属性掌握模式为αj=(αj1,αj2,…,αjK),K为测验属性个数,测验测量的被试可能属性掌握模式共有2K种(假设每个属性的掌握状态只有两种,即掌握为1,和未掌握为0)。假设测验属性关联矩阵Q矩阵已经定义。
为了方便下面介绍的3种属性掌握模式估计方法,我们仍以DINA模型为例。同时,假设某个测验共考察了3个属性,包含6个测验项目,测验所对应的Q矩阵和具体的项目参数如表7-2所示。假设某被试在测验中的得分向量为[1 1 0 1 0 1]T。
表7-2 测验Q矩阵及项目参数
一、经典条件估计
第一种被试参数估计方法,其实就是在项目参数已经确定的条件下,求被试项目反应概率的联合似然函数极大值点对应的被试参数。因此,参数估计的第一步是构建联合似然函数,由于项目参数已经确定,这时构建如下的似然函数中仅含有被试参数这一类未知参数:
式子中,uj为被试j在所有项目上的作答反应模式,Pi(αj)为项目反应函数,xij为被试j在项目i上的得分,ξ为已知的项目参数。
然后,就是寻找能够使该似然函数达到极大值点的被试参数值。对于取有限离散值的变量,最直接的办法就是穷尽有限的所有属性掌握模式,找到一种能够使该似然函数达到极大值点的模式。
根据DINA模型项目反应函数,下面具体说明用极大似然估计方法估计前面所提到被试的属性掌握模式的过程,如表7-3所示。
表7-3 极大似然估计
从表7-3中可以很容易看出,当被试属性掌握模式估计值为模式5时,对应的似然函数值最大。所以,根据被试的作答反应向量,该被试的属性掌握模式的极大似然估计值为[1 1 0]T。
二、极大后验估计
第二种被试参数估计方法是用极大后验估计(maximum a posteriori,MAP)方法来估计被试参数。在统计学中,极大后验估计是在试验样本数据已知的情形下,获得对未知参数的点估计。它与基于经典统计理论的极大似然估计方法非常相似,只是极大后验估计这种方法在构建似然函数时,要将未知参数的先验分布融合到似然函数式中。所以,极大后验估计可以看作经过规则化(regularization)之后的极大似然估计。
现在的情形是已经有了试验样本数据,且项目参数已知,需要估计未知的被试参数。按照经典统计理论构建的、关于被试在所有项目上作答模式的似然函数如式(7-34)所示:
式子中,M为题目量,xij表示被试在项目上的作答反应结果,取值为0或1,uj为被试j在所有项目上的作答反应模式,ξ为已确定的项目参数。假如被试参数的先验分布概率函数定义为g(αv),那么,极大后验估计的似然函数构建如式(7-35)所示:
μ的下标j的值代表的是具体的样本被试,α的下标v的值则代表的是一种属性掌握模式,每个被试必定会属于一种属性掌握模式,可能有多个样本被试属于同一种属性掌握模式,也有可能某个属性掌握模式没有在样本被试中出现。
接下来的工作,仍然是寻找能够使该似然函数达到极值的被试参数估计值。与经典条件估计一样,对于离散有限取值的变量,可以直接穷尽有限的所有属性掌握模式,找到一种能够使该似然函数达到极大值点的模式。不过,在这个过程中需要结合考虑每种属性掌握模式发生的先验概率。
尽管极大后验估计与贝叶斯统计共享先验分布的概念和作用,但通常并不认为它是一种传统贝叶斯统计方法,这是因为极大后验估计是点估计,这与经典统计思想认为未知参数是一个确定量而非随机变量的观点一样。然而,贝叶斯统计方法的特点是使用后验分布来总结数据、得到推论。贝叶斯统计方法试图算出后验均值或者中值,而不是寻找一个确定极值——众数。
表7-4 极大后验估计
从表7-4中同样可以很容易看出,当被试属性掌握模式估计值为模式5时,对应的似然函数值最大。所以,根据被试的作答反应向量,该被试的属性掌握模式的极大后验估计值为[1 1 0]T。在这里,读者需要注意到的是,我们为属性掌握模式设定的先验分布是均匀分布,因此其估计结果与极大似然估计结果是一致的。
三、期望后验估计
第三种被试参数估计方法称为期望后验估计(expected a posteriori,EAP)。这种估计方法需要首先构建关于未知参数的后验分布。例如,贝叶斯统计模型定义的式(7-7)所示,在已有试验样本数据信息及项目参数确定的情形下,假设被试参数的先验分布概率函数为g(αv),那么,关于未知被试参数的后验概率就如式(7-36)所示:
式子中符号表达的意义与式(7-34)相同。其中:
这个式子与式(7-34)是一样的,均表示在已知项目参数情形下,某被试在所有项目上作答反应结果的联合概率。而,
这个式子则与式(7-10)是一样的,均表示某种作答反应模式uj的边际概率,只是这里的项目参数已经确定。不过,对于离散变量αv,积分形式需要转换为累加形式,如下:
把式(7-37)代入式(7-38)(项目参数已经确定),同时,把式(7-37)与式(7-38)代入式(7-36),并对未知参数求期望,可得:
式子中,Lj(xk)为当能力水平取值为xk时,第j种被试作答反应模式的联合概率,比照式(7-37)的形式构建,xk为数值积分算法中选择的积点,代替具体的θ取值,q为积点个数,A(xk)为积点对应的系数或权重,且有:
于是,我们可以根据式(7-40)获得能力参数的期望后验估计。我们从这个式子中可以看到,能力参数的期望后验估计与极大似然估计过程不一样,它不需要进行类似牛顿-拉夫逊迭代的过程,而是通过直接计算就可以得到期望估计值。相对于极大后验估计方法,期望后验估计计算过程更简单,速度更快,且符合传统的贝叶斯统计思想,因此是更加受到推崇的一种能力参数估计方法。
根据表7-4得到的后验概率,该被试对各属性的掌握概率可以计算如下:
其中I是示性函数,I(αck=1)表示模式αc中的第k个属性值为1。得到p(αjk|μj,ξ)后,然后以某个截断值(通常取0.5)将属性掌握概率(0到1的小数)转换成属性掌握模式(0或1)。上例中3个属性的掌握概率分别为0.952、0.973、0.192,如果采用0.5作为截断点,则该被试对应的属性掌握模式为模式5。
从这个实例可以看出,采用3种不同的估计方法,对该被试可以得到相同的属性掌握模式估计值。需要说明的是,这个例子只描述了最简单的情况,假定先验分布为均匀分布,在一些更复杂的情况下,这3种估计方法并不总是能得到相同的属性掌握模式估计值。