知识图谱推理论文阅读 Know-Evolve: Deep Temporal Reasoning for Dynamic Knowledge Graphs
一、主要贡献
开发出一种基于新出现事实的随时间演化的深度学习架构。该架构能够随着时间推移自动适应新出现的事实，并根据最近实体间的关系以及它们的时间行为动态更新相应的嵌入表示。
除了预判事件的发生之外，我们的架构还能够预判事件发生的时间点，并且现有基于关系的学习方案无法实现这一功能。
3、该模型基于开放世界假设运行，在出现缺少的链接时不会被视为错误；相反地，在未来可能会出现的情况下这些缺少的链接将被视为潜在的可能性。得益于其创新性的动态嵌入机制这一特点，在处理不可见的存在时也能够推演出那些不可见的存在。
二、时间点过程
**
** 给定所有时间t之前发生的事件的条件下，当前时刻发生事件的可能性。
基于t之前的所有历史事件的前提条件下，在[t,t+dt)窗口内发生的这个事件成为了一次条件概率
其中，N（t）是在时间t之前记录的事件的发生的数量。
，假设dt很小很小的时候，那么dN(t)只有两种可能：0或1。
同时在给定时间段{t1, t2, ..., tn}的情况下，在给定时间段内所有时刻t都满足t > tn的前提下，在区间(tn, t)内不发生任何事件的情况下的条件概率即为：
该项称为生存概率。
所以最终，一个事件在t时刻发生的概率为f(t):
具体而言，在已知过去的时间点为t_1,…, t_n的情况下，在时间点t发生某一特定事件的概率P(t)等于时间段(t_n,t)内无事故的发生概率Q(t_n,t)乘以该特定事件单独发生在时间点t的可能性\lambda(t)。
其中，**
的设计基于所选随机过程：例如Poisson Process,Hawkes process,Self-Correcting Process,Power Law 和 Rayleigh Process。
本文采用的是Rayleigh Process：即，以这样的形式表示**
**:
**
**=
其中
0，是个权重参数。 则根据上述的求生存概率的公式，可得
exp(
),则
本文的中心思想，是想用深度学习模型参数来拟合**
**
三、进化知识网络
该网络主要由三个组件组成：
一个强有力的数学工具——时间点过程，可以建模一个事件的发生。
一种双线性关系评分模型能够识别出实体间的多关系交互，并调节相关点过程的密度函数
一种新型的深度递归网络结构，在多关系空间内通过随时间推移与其它实体之间的互动来实现对实体非线性特性和相互进化过程的学习。
3.1时间过程
给定，（
,r,
)其在t时刻发生的概率为：
其中，
=
是指在时间t之前的事件中发生并由主语或谓语实体参与的最近的那个时间点。其中f函数被定义为一种指数函数形式，并且在其定义域内具有良好的连续性和单调递增的性质。
g是聚合函数，其计算方式见3.2
3.2关系评分函数
该公式所表达的意思是：分别提取主语实体和宾语实体在时间t之前更新过的嵌入向量。
是d*d维的，即每一个关系r都对应一个关系矩阵。将它们乘起来。
这样能够捕获在影响实体嵌入的历史事件中积累的关于实体的知识。
3.3动态进化实体表示
上图都是下面这两个公式的可视化表示：
（以主语嵌入的更新为例）计算tp时刻的实体
的嵌入分为以下几步：
计算
,
表示：实体
最近的一次参与某次事件的时间间隔。将时间视为一个一维的数量，则两者的差异仍保持为一维的数量关系。
是d*1维，与时间差相乘后结果是d维，即实体嵌入的特征维度。
是d*l维，l是隐藏层维度，隐藏层状态
的计算方法：（tp-是指在tp前的一个时间点，要与
区分开，
是指实体上一次参与进事件的时间。）用
时刻的主语实体
的嵌入，与tp-时刻的宾语实体
将主语与前一时间点参与过的事件中的关系r进行嵌入操作，并将其结果与权重向量进行点积运算
。实体嵌入维度都d,关系嵌入维度为c，所以三者拼接后维度是（2d+c），故
的维度为l*(2d+c)，所以
，隐藏层的维度为l。
的维度是d*l，所以×
之后维度是d。再与d维的
相加，最后结果是d维。（注意：
代表简单的拼接操作。）
该模型采用RNN架构设计，并通过递归层利用隐藏层信息建模实体嵌入随时间的变化过程。其中包含两个关键组成部分。
The first-order term captures the time differences between consecutive events across each entity's respective dimensions. If an entity experiences different events, it can smooth its features over time. When an entity encounters multiple events at the same time, this term will have no effect.
该方法可能会出现显著的变化，并且通过相应的权重参数识别出这些变化，并与第二个项结合以避免潜在的问题。
崩溃。
主客体实体间的潜在特征相互作用，在多元关联环境中这种现象会受到其形成的关联的影响。通过嵌入隐藏层信息并进行循环更新的过程，则能够揭示一个主体对象相对于自身及其所处特定关系空间中的另一主体对象之间的复杂非线性动态特性。
整个模型的参数空间：
是计算**
**时才用到的，
是实体的动态嵌入过程中，r对应的参数矩阵，若关系数量为n，则
应是n*c维的。两者不同。
四、训练过程
最小化损失函数：
