论文阅读笔记1：EKT: Exercise-aware Knowledge Tracing for Student Performance Prediction

本文的论文于2019年发表于IEEE期刊上；本文的作者包括Qi Liu、Zhenya Huang、Yu Yin等

智慧教育中的知识追踪问题（Knowledge Tracing）是一个核心议题, 它的任务是基于学生的历史学习轨迹自动分析其知识水平在时间上的演变过程, 以便更精准地预判学生未来的学习情况。

当前知识追踪的状况表明，在教育数据分析领域中,现有技术主要依赖于学生的学习记录来进行基础分析.为了提升对学生成绩变化的预测精度以及深入理解其学习路径的知识模型构建需求,教育机构仍面临着诸多挑战.具体而言,如何有效提取材料中存在的关键信息（包括但不限于知识点掌握情况、习题难度系数等）,这一领域仍有许多值得探索的方向.

例如，下图中：

图片描述部分

现有知识追踪现状部分

但是部分

本文概要

问题定义 ：本文设计的两个框架及其两种实现需要去完成的任务为：
①：预测下一个学生习题e(T+1)的答题成绩r(T+1)。
②：跟踪她的知识状态的变化，估计她掌握了从第1步到T的所有K个知识概念的多少。
给定符号定义：
学生练习过程记录： s = {(e1, r1)，(e2, r2)，…，(eT, rT)}
练习e的文本内容词序列： e = {w1 w2, …, wM}
s = {(k1, e1, r1),(k2, e2, r2), . . . ,(kT, eT, rT)},

基于EERNN框架的两种实现架构 ：

左侧虚线框内的内容采用了马尔科夫特性作为基础来构建EERNN模型；右侧虚线框内的内容则应用了注意力机制来构建同样的模型。

练习嵌入（Exercise Embedding） ：该部分是图2中ei到xi部分的嵌入

本文在训练嵌入层时采用了双向LSTM架构。原因在于：传统单向的LSTM模型仅能基于单向序列学习每个单词的表示形式，并仅能捕捉到该单词之前的信息内容，无法有效利用未来可能出现的词汇信息。因此，在希望充分利用每个训练样本的历史语境信息的前提下，我们构建了一个双向LSTM模型。

嵌入过程：通过预训练的Word2vec模型将练习集ei中的每个单词wM映射为对应的词向量；初始化时基于前一个隐藏状态v(m-1)调整当前单词wM的状态向量vM。

图片描述：基于传统的LSTM架构,i代表输入门,f对应于遗忘门,o代表输出门,c则相当于记忆单元. 根据上述公式体系可推导出更新方程. 进一步说明:例如,在将w2编码器嵌入到模型中时,其正向传播过程受当前词向量与上一层正向隐层表示的影响;类似的,在反向传播过程中,则是当前词向量与下一层反向隐层表示共同作用的结果.

故，总体vm计算方式为：

最后对xi进行计算后嵌入到网络当中：

此轮练习已顺利完成嵌入过程

图片描述：
已知学生的该题目解答情况并输入至该网络系统中。通常情况下，在答对该题时rt赋值为1，在答错时则为0。
xi(~)通过将上一步练习得到的xi值与当前试题的答题情况rt相加计算得出。至此实现了对学生的一次完整嵌入过程。
隐藏层学生状态ht的计算方式为：

具体计算公式为：

公式描述：在该模型的构建过程中遵循传统LSTM的设计框架。
注：其中Z matrix serves as a weight matrix，在该模型中特别地，在学生解答正确的情况下，则将其定义为positive weight matrix用于计算；反之，在学生解答错误的情况下，则将其定义为negative weight matrix用于计算。

成绩预测过程 ：该过程为问题定义中，需要解决的第一个问题。

在完成前两步中的习题嵌入以及学生的嵌入之后，在每一步中更新隐藏层的学生状态ht。当出现一个新问题e(T+1)时，在该题目上进行情况预测，并得出其最终得分r̃(T+1)。

激活函数为：

然而，在预测当前习题e(T+1)时

其不同之处在于采用hatt替代了传统的hT完成计算过程

在EERNN网络中涉及需更新的参数包括：学习嵌入（即练习嵌入与学生嵌入）以及预测结果（即预测输出）。这些参数是该网络模型训练过程中不可或缺的关键组件。

损失函数：

EERNN结论：通过嵌入技术分析注意力分数αj的变化情况，在句法层面上评估了不同练习间的相似程度；同时，在语义层面捕捉到了不同练习间的关联度（如难度相关的关联度）。
进行成绩预测结论：
该模型在预测学生未来学习表现方面表现出色。
然而目前仅在一个整合的隐式向量中对每个学生在所有知识点上的知识掌握状态进行了归纳和追踪。

由此，本文引入EKT。

随缘更新。。。。