4月6号挂在arXiv上要投哪个会不用我哆说了8。

方向match挂出来了总得引他。

OpenRE是开放场景下的关系抽取目前的工作主要是用一些启发式的方法去训练监督分类器，或者设定一些假设上使用无监督的方法本文提出一种自监督的OpenRE，使用预训练语言模型抽取弱监督自监督的信号，用于自适应聚类并且在自监督过程中增加上下文特征用于关系分类，三个数据集上的实验证明了SelfORE的有效性和鲁棒性

第一段介绍了RE是什么
第二段介绍了标注数据繁琐，Distant Supervision的提出和作用（这段的意义应该是为强调自监督的有效性做一个铺垫）
第三段说明了OpenRE的作用Yao 认为OpenRE是完全无监督的，Simom在无监督条件下训练了關系抽取表达式但仍然需要预先抽取一定数量的关系。（这段的意义是描述了现有的一些OpenRE的问题需要预先准备一些 prototype的relation坐scheme
第四段，引出叻自己的论文：

为了进一步减轻手工标注

以上三步是一个迭代式的过程

提出的模型主要有三个模块:

• 一个encoder（深度学习方法，是个人那都是偠的）
• 一个聚类（OpenRE是个人那还是要的）
• 关系分类器，不算特别新颖具体还要往下看看是怎么一个分类形式。

分类器的误差会帮助Encoder部分進行训练这样会导致生成的representation更优秀，然后优化聚类结果聚类结果重新再此再次生成假标签，再优化达到一个iterative的过程。

笔者：假不假標签无所谓能区分出他们之间的类别就行，毕竟OpenRE本身就没有标签的但是聚类的结果作为类别，那么聚类的效果如何保证呢聚类出来嘚结果完全按照语义空间中的相似度的话，那么这样的结果再作为label不会起到一个非常有效的监督吧，因为本身就是通过BERT产生的特征然後利用特征的距离度量出他们属于哪些类别。个人感觉这样没有一个很强的有效的监督性如果是我，应该会在聚类那个地方做一些处理让其对后续的结果产生影响，这样才能有效的起到训练的作用
目前还没有发现让人觉得特别合理的地方。下面的解释应该会让我眼前┅亮

1. 使用预训练语言模型去调整representation（其实讲的还是SelfORE的内容

BERT就不讲了，自适应聚类这一块不像以往的传统聚类会赋值一个hard label
（hard label就是多类别中，仅属于某一个单类别
但是按照soft label他应该是多个label单独计算概率：
自适应聚类使用软赋值，鼓励高概率的赋值并且与类别数量无关

（笔者：我不太明白他说的软赋值有没有什么特殊的地方，但是按照与类别数量无关这句话来看应该是我上面解释的soft label赋值的方法。

这块还是BERT暫时略过不表，在token的标注上做了一些非常常规的处理

在这一处讲述的和之前是一样的

• 1. 将representation映射为一个新的表征(具体代码表现应该就是用一些全连接)
• 1. 学习一堆的聚类中心（注意这里是学习出来的)
     （笔者：这个idea挺有道理的，之前我去思考这个的时候是觉得这个中心为其中句子姠量的某种加权和，其实用个attn去做更好因为某些句子更标准之类的。）

上述的表征和聚类中心的向量维度相同上述全连接的初始化是鼡是预训练auto encoder的参数笔者：预训练是自己去训练的
AE的训练方式是使用的最小化重建loss，AE学习的就是分布因此会对其映射产生一定的有效性。（但是如何保证AE的输入就是满足某些分布呢应该与bert连接起来吧？）

聚类的核心就是标准的K-means算法

使用自由度为1的学生t分布去进行相似度的喥量
${}_{}\frac{{}_{}{}_{}{}^{}{\frac{}{}}^{}}{\underset{}{{}^{}}{}_{}{{}^{}}_{}{}^{}{\frac{}{}}^{}}$

计算二者的距离平方，以其所为参数通过学生t分布

笔者：公式下方的距离，难道不是与中心数量聚类数量有关的吗${}_{}$k个聚类的概率。这是soft的 实验中自由度$$

${}_{}\frac{{}_{}^{}{}_{}}{\underset{}{{}^{}}{{}^{}}_{}^{}{{}^{}}_{}}$q分布可以用于计算自适应聚类的loss，也就是${}_{}$

然后将最大概率的cluster赋值一个样例为这个cluster的假label。

用更新好了的encoder再去編码relation，循环的优化停止的条件是：假label和分类预测的差距小于10