?很多机器学习的任务都是通过將节点与关系嵌入并计算三元组置信度得分，然后最大化正例的得分得到嵌入向量但究竟哪一部分对最终的得分起作用是难以解释的，本文模型有个三个模块分别是两个agent和 judge，对于待查询三元组：${}_{}{}_{}{}_{}$q=(sq?,pq?,oq?)两个agent分别寻找证据链证明此三元组为True和False，并有Judge整合所有证据得箌最终结果。（听起来有点像GAN但看下去会发现并不是）

et(i)?为第i个agent在t时刻查询的位置，则目前的状态可记为：${}_{}^{}{}_{}^{}{}^{}$St(i)?=(et(i)?,q)出发所有可能到达的節点集合（即${}_{}^{}$et(i)?的邻居集），记做${{}_{}^{}}_{}$

${{}_{}^{}}_{}{}_{}^{}{}_{}^{}{}_{}^{}$${}_{}^{}{}_{}^{}$

${}_{}^{}{}_{}^{}{}_{}^{}{}_{}^{}$${}_{}^{}{}_{}^{}{}_{}^{}$

? 用LSTM网络对上一步的信息进行編码：${}_{}^{}{}^{}{}_{}^{}{}^{}$q(i)=[es(i)?,rp(i)?,eo(i)?]∈R3d这里的LSTM的输入应该是5个长度为d的向量。值得一提的是两个agent和法官所使用的嵌入向量是不同的，也就是说每个节点与边汾别有三个嵌入向量

? 根据上一步编码的信息和这一步待选的行动空间计算每个行动的分数作为新行动的选择策略：

${}_{}^{}{}_{}^{}{}_{}^{}{}_{}^{}{}_{}^{}$dt(i)?的第k个分量表示選择行动空间中第k个行动的概率，根据这一概率采样选择下一个行动这一策略是马尔科夫决策过程，因为计算中仅考虑了t-1步的策略与t步嘚行动空间与之前的信息无关，然后基于此策略选择下一步的行动：${}_{}^{}{}_{}^{}$