OCR综述

OCR简介

ORC（Optical Character Recognition）光学字符识别，指提取图像中的文字信息，通常包括文本检测和文本识别

• 文本检测：将图片中的文字区域位置检测出来
• 文字识别：对文字区域中的文字进行识别

流程

传统方法

在深度学习之前，传统的OCR方法主要流程包括：

• 图像预处理：修正成像问题包括几何变换、去模糊、光线矫正
• 文本行检测：连通域、滑动窗口
• 单字符分割
• 单字符识别：图像分类、模板匹配
• 后处理

深度学习方法

• 文本行检测：输入图像、文字区域定位、文本行识别、输出
• 文本行识别：CNN、RNN、CTC

ORC检测方法

• EAST

• DB

• SAST

• 基于回归的方法

  • box回归
    • CTPN
    • EAST
  • 像素值回归
    • CRAFT
    • SA-Text

• 基于分割方法

  • PSENet

• SegLink

• TextBoxes、TextBoxes++

• R2CNN

OCR识别方法

文字识别之前需要先对文字进行定位（文字检测主要有基于物体检测和基于分割两种方法）

文字识别主要分为三种类型：

• 单字分类：当能够定位出单字的时候，用图像分类法对单字进行分类
• 整词分类：当需要预测整词数量较少时，可对整词进行分类
• 整词识别：当有大量整词需要预测并且没有单字定位时，需要用解码序列的方法进行识别。

文字识别中最常用的时文字序列识别，使用场景更为广泛。

识别难点

主要难点在于输入与输出的对齐，如果我们每间隔单位n预测一个字符，那么可能出现多个n预测同一个字符，这样将导致结果出现重复字符，因此需要设计针对文字识别的编码算法来解决输入输出对齐问题。

可能解决OCR解码一对多问题的有以下三种方法（即端到端方法）：

• CTC
• Attention
• ACE

基于RNN进行文字识别的算法主要有两个：

• CNN + RNN + CTC（CRNN + CTC）
• CNN + Seq2Seq + Attention

端到端检测+识别

文本检测

难点

• 文本存在多种分布，排布形式多样
• 文本存在多个方向
• 多语言混合

技术

Faster RCNN

将目标检测的四个基本步骤：

• 候选区域生成
• 特征提取
• 分类
• 位置精修

整合到一个深度网络中，剔除计算冗余，并可通过GPU训练，进一步提高运行速度

Faster R-CNN论文笔记

CTPN

基于Faster RCNN，目前比较成熟的文本检测框架，精度较好，但检测时间较长。

预测文本的竖直方向上的位置，水平方向的位置不预测，对非水平的文字不能检测

CTPN

TextBoxes\TestBoxes++

调整Anchor长宽比，适用于文字细长的特点，但针对小文本会有露检

SegLink

CTPN + SSD，通常用于自然场景下，检测多角度文本

DMPNet

采用非矩形四边形选定Anchor进行检测，通过Monte-Carlo方法计算标注区域于矩形候选框和旋转候选框的重合度重新计算顶点坐标，得到非矩形四边形的顶点坐标。适用于自然场景下文本检测。

YOLO

文本检测时间短，精度好，但针对小目标效果一般，容易造成大范围漏检

EAST

采用FCN思路，做特征提取和特征融合，局部感知NMS阶段完成检测。网络的简洁使得检测准确率和速度都有进一步提升。（针对自然场景下使用较多）

Pixel-Anchor

针对Anchor数量多引起文本出现的丢失问题，Pixel感受野不足引起长文本丢失情况，结合两者各自的优点，对长行的中文检测场景有较好的适应性。网络结构可以分为两部分，其中Pixel-based的方法对EAST的改进，anchor-based的方法对SSD的改进。前者主要为了检测中等文本，后者主要为了检测长行和较小的文本

IncepText

针对大尺度、长宽比及方向变化问题，借鉴GoogLeNet中的inception模块来解决这些问题。在inception结构中通过不同尺寸的卷积核设计达到检测不同大小和宽高比的文字，同时引入deformable卷积层操作和deformable PSROI pooling层提升任意方向文字的检测效果。

文本识别

技术

CNN + RNN + CTC(如CRNN)

目前使用最广泛的文本识别框架。需要自己构建字词库（包含常用字、各类字符）

CNN(如Densenet) + CTC

效果一般，繁华能力较差。没有加入RNN的效果好

Tesserocr(Tesseract)

使用比较广泛的一种开源识别框架，支持多语言多平台。Tesseract在识别清晰的标准中文字体效果还行，稍微复杂的情况就很糟糕（多字体等），而且花费的时间也很多。

RARE

主要用于识别变形的文本图像效果好，用于自然场景下文本识别。

FOTS

EAST + CRNN，端到端OCR模型，检测和识别任务共享卷积特征层，节省计算时间，也比两阶段训练方式学习到更多图像特征。引入旋转感兴趣区域（RolRotate），可以从卷积特征图中产生出定向的文本区域，从而支持倾斜文本识别。

ASTER

模型主要分为两个部分，一个是矫正模型，一个是识别模型，矫正模型不需要矫正标注信息，对弯曲文本、透视文本有很好的矫正效果。识别模型中的CNN使用了ResNet的结构，最后的解码部分使用的是Sequence2Sequence机制来进行解码，不同于CRNN的CTCLoss

数据集