Deep Knowledge Tracking based on Attention Mechanism for Student Performance Prediction

写在前面 ：

这篇文章主要是首次将注意力机制与RNN相结合，提高了预测性能。

1 摘要

鉴于当前在线辅导系统的广泛应用情况及其潜在应用价值, 相关研究人员普遍关注如何利用这些系统提升学生的学业表现. 基于现有的深度知识追踪技术基础, 研究人员可以通过分析学生的过往学习数据建立相应的学习行为模型, 并据此向学生推送个性化资源, 同时制定更具针对性的教学策略. 目前已有部分基于练习文本信息实施的知识追踪研究已取得显著成果. 然而该方法通常需要完整而详尽的学习材料作为支撑, 这一前提条件往往会导致关键知识点难以有效提取. 此外, 在实际应用中面临诸多限制因素, 如知识产权保护和隐私安全问题等. 因此, 在本研究中我们尝试将注意力机制与有限数量的关键知识点相结合, 以突破这一局限性. 实验结果表明,AUC 和 ACC 指标结果显示本文所提出的方案较现有方法有一定优势.

2 相关工作

习题更新 ：

从数据集中抽取全部的概念，并从每个概念的文本中提取关键术语。请专家手动将具有相同含义的关键术语分组。然后利用这些分组的通用术语来更新整个知识库中的每个核心领域。从而生成新的、统一的概念词汇表。进而计算各核心领域间的核心技术间的相似性程度。

概念相似矩阵 ：

基于最新版的习题概念框架下, 通过式(1)可计算各习题概念间的jaccard相似度, 并获得一个相似度矩阵J:

J(A,B)=\left( \frac{|A\cap B|}{|A\cup B|} \right)=\left( \frac{|A\cap B|}{(|A|\!+\! |B|\!-\! |A\cup B)|}

其中, j(m,n)用来表示两个习题m和n之间的相关程度, 而J则被用来表示基于这些题目概念间关系构建起来的总相关矩阵.

注意力向量 ：

基于学生在各个学习阶段所进行的概念训练，在每一轮训练中都需要对当前所学内容与其前一轮涉及的所有知识点之间进行关联性评估。将这些评估结果累加起来即为该学习阶段的学习注意权重。各学习阶段对应的学习注意权重集合则被定义为注意权重向量，并用以下数学表达式表示：

LSTM ：

本研究基于学生习题记录中的概念信息进行分析。随后从所有概念文本中识别出其间的相似性关系。接着重新评估每个概念的状态。基于重新评估后的状态进行相似性计算从而构建起完整的相似度矩阵。通过学生的练习序列与构建好的相似度矩阵来确定每位学习者的注意力分布情况并将其确定的学习者注意力分布与深度知识跟踪模型中的LSTM单元相融合即在深度知识跟踪的基础上加入了注意力机制从而更准确地把握学生在每个时间阶段的重要知识状态有序更好地预测学生的学习表现

y_t=\sigma(W_{yh}h_t+b_y+A_t)\tag{7}

在RNN模型中涉及到了隐藏层的输出h_t以及输出层参数包括权重矩阵W_{hx}、偏置向量b_y和激活函数\sigma()等元素；同时还包括注意力机制中的关注向量A_t。这些参数持续不断地被更新以适应每个学生的输入数据序列。

数据集 ：ASSISTments 2009-2010

其他设置 ：

LSTM隐藏层设置为200，学习率0.4

模型评估：AUC和ACC

实验结果 ：

本文采用80%的数据集用于训练模型的训练阶段，并将20%的数据集分配用于测试模型的质量。结果显示，在与DKT方法的对比中，我们提出的方法在ROC曲线下面积（AUC）以及预测精度（ACC）方面表现更为优异。如图1所示

最后 ：

尽管这篇文章篇幅不算太大，并且内容较为简明。然而该方法将注意力机制与RNN巧妙地结合在一起，并展现出独特的创新性。