Attention Is All You Need

摘要发表于ECCV2022，针对现有基于Transformer的数学公式识别方法中存在的注意力覆盖不足的问题，提出一种新的注意力精炼模块（ARM），将RNN模型广泛采用的覆盖注意力机制巧妙地应用在Transformer中，在不影响并行性的前提下，利用过去的对齐信息精炼注意权重。另外本文还提出自覆盖和交叉覆盖两种模块，利用来自当前层和前一层的过去对齐信息，更好地利用覆盖信息。 背景Encode...

摘要处于encoder-decoder结构在许多不同的领域取得了很好的成效，而本文采用基于transformer的解码器代替基于RNN的解码器，使整个模型体系结构更简洁，并且引入新的训练策略来充分利用transformer在双向语言建模中的潜力。 改进本文提出现存方法在不同程度上存在覆盖范围缺乏的问题，主要有两种方式： 过解析 欠解析 过解析意味着手写图像识别(HME)图像中的某些区域被...

标题STAR-Net: A SpaTial Attention Residue Network for Scene Text Recognition BMVC 2016 主要贡献在网络中使用了位置注意力机制来消除自然图像中文本扭曲对识别的影响。 本文使用ResNet构造主干网络，结合空间注意力机制，构造了“目前最深”的端到端OCR网络 据作者所说，这是ResNet网络在场景文字识别的首次应...

论文阅读计划 Title From Status StarNet BMVC 2016 Reading

摘要本论文设计了： 版面分析：基于特征瀑布的多尺度融合模块，通过不同尺度上的图像进行相互融合进行版面分析 混合数据识别：阶段空间注意力模块，混合文本中存在二维空间结构，该模块在训练时能有效地注意到文本行中二维结构的上下区域，提升神经网络对二维特征的表达能力 数据集：真实场景下学生手写文本，分别构建了混合检测和识别数据集 实验结果混合检测数据集：综合指标$F1^?$分数91.1% 混合识别...

Article 作者 题目 时间 期刊 董澳静 基于贪吃蛇算法和部首识别的手写文本切分 2022年 华南理工大学学报（自然科学版） Data目的解决对手写中文文本中： 文编交错 文编粘连 字内过分离 结论以陕西省某高中...

转载：tensorflow的广播机制TensorFlow支持广播机制（Broadcast） TensorFlow支持广播机制（Broadcast），可以广播元素间操作(elementwise operations)。正常情况下，当你想要进行一些操作如加法，乘法时，你需要确保操作数的形状是相匹配的，如：你不能将一个具有形状[3, 2]的张量和一个具有[3,4]形状的张量相加。但是，这里有一个特...

传统图像处理算法SWT论文阅读笔记

前端框架React学习笔记