图像到标记语言生成的树形结构解码器

基于Transformer的Tree2Tree树形解码器

本文分析了目前Tree Decoder的缺陷，并提出了一些解决方案

在OCR识别中引入树形编码器，从而加入更多语义信息

本文提出了一个树形结构的Transformer，用于代码生成

本文提出采用图像遮蔽的方法预训练Vision Transformer

标题 基于多尺度特征融合的互学习脱机手写数学公式识别 研究内容 使用Transformer Decoder替换原本的RNN，由此改善欠解析和过解析的问题，同时对更称序列有更好的识别效果 设计不同的特征融合策略，环节细节再低分辨率特征映射中丢失严重的问题 学习是写字体与打印字体的语义不变性 设计新的损失函数 实现 多尺度特征融合 本章针对DenseNet对细粒度特征的提取不够准确的...

本文通过将CNN引入ViT以提升ViT的效率

在图像识别任务中使用纯Transformer

CoMER简介 该模块再Transformer的基础上引入了覆盖注意力机制，使得性能得到提升。 Transformer 多头注意力机制