文本检测之 DB 和 DB++

发表于 2023-02-02 更新于 2025-02-02 分类于 2-深度学习， B-视觉模型， 1-基础视觉任务CNN ， OCR 阅读次数：本文字数： 3.4k 阅读时长 ≈ 3 分钟

本文介绍两个文本检测模型： DB 及它的升级版本 DB++，主要的原理就是将 “二值化” 的过程做成网络可学习、可微分的一个模块，然后向网络中插入这个模块自适应去学习二值化阈值，最终预测文字区域的一个核心部分，然后再通过公式放大这个核心部分，得到目标区域

什么是 DB ？

传统意义二值化：基于分割的文本检测算法其流程如图 2 中的蓝色箭头所示。在传统方法中得到分割结果之后采用一个固定阈值得到二值化的分割图
DB 二值化：如图 2 中红色箭头所示的，通过网络去预测图片每个位置处的阈值，而不是采用一个固定的值，这样就可以很好将背景与前景分离出来，但是这样的操作会给训练带来梯度不可微的情况，对此对于二值化提出了一个叫做 Differentiable Binarization 模块来解决

上图 a、b、c 分别是标准二值化与可微二值化输出、可微二值化对正样本的梯度，可微二值化对负样本的梯度，k 是放大倍数
标准二值化 (SB)：通过预先设置的阈值 t 去对概率图 $P_{i,j}$ 二值化 $B_{i,j}=\begin{cases}1\quad P_{i,j}>=t\\ 0\quad otherwise\end{cases}$
可微二值化 (DB)：借鉴 sigmoid 输出输出，将 $P_{i,j}-T{i,j}$ 作为 sigmoid 输入，并 K 扩大输出，使得 $\hat{B}_{i,j}$ 趋向 0 或 1，即通过学习每个位置的阈值 $T_{i, j}$ 对概率图 $P_{i, j}$ 二值化 $\hat{B}_{i, j}=\dfrac{1}{1+\exp^{-k (P_{i, j}-T_{i, j})}}$
正负样本梯度比较：DB 改进性能的原因可以通过梯度的反向传播来解释，可知正负样本的梯度被 k 放大 $\begin{aligned}l_{+}=-log\frac{1}{1+e^{-}k x}\quad => \frac{\partial l_{+}}{\partial x}=-k f(x)e^{-k x}\\\\ l_{-}=-log(1-\frac{1}{1+e^{-}k x})\quad\quad => \frac{\partial l_{-}}{\partial x}=k f(x)\end{aligned}$

a、b、c、d 分别是原图、probability map、无监督的 threshold map、有监督的 threshold map
c 图表明即使没有对 threshold map 监督，其结果也会表现出突出显示文本边界区域。这表明如果加入类似边界的监督，以提供更好的指导，d 图的结果证明了这一点

probability map：使用 Vatti clipping algorithm 将 G 缩减到 Gs（蓝线内部），A 是面积，r 是 shrink ratio，设置为 0.4，L 是周长 $D=\dfrac{A(1-r^2)}{L}$
threshold map：使用生成 probability map 一样的方法，向外进行扩张，得到绿线和蓝线中间的区域，根据到红线的距离制作标签
binary map：蓝色标注线以内

总结：以上 3 个标签的值范围

-	蓝线以内	蓝蓝绿之间	其他
probability map	1	0	0
threshold map	0.3	越靠近红线 0.7，越远离红线 0.	0.3
binary map	1	0	0

从上面标签制作可知，DB 没有直接去学习文本的边缘（图红线），而是去学习比文本边缘更小的区域 (图绿线)，我觉得这点是除了 "可微二值化模块" 外，尤其需要关注的地方。这里说一下自己的理解

上图是两种学习路线下的 probability map、threshold map 及他们学习的 binary map，其中红线是直接学习文本边缘（下文称直觉模式），绿线学习文本边缘小一圈的轮廓（下文称 DB 模式）
观察 probability map，“直觉模式” 比 DB 模式范围更大，这对极度弯曲的小文本是不友好的，可以想象文本在 C2 特征已经辨别不出弯曲，更小的学习区域可以有更强的能力
观察 threshold map，因为文本行占据了图片大部分区域，所以 “直觉模式” 主要优化背景到 0.7， threshold map 计算 L1 损失，相比较 DB 模式大部分优化背景到 0.3，“直觉模式” 更难优化
观察 binary map：除了和优化 threshold map 同样的问题外，由于 “直觉模式” 对文本行内、外的梯度大小一样，说明两个区域优化权重一样。而 DB 模式内部梯度比外部梯度更大，相当于增大正样本的梯度权重
总结：“直觉模式” 比 DB 模式更难优化，而且 DB 模式对弯曲小文本性能更好

$L_s$ 是 probability map 的 loss， $L_b$ 是 binary map 的 loss， $L_t$ 是 threshold map 的 loss， $\alpha$ 和 $\beta$ 设置为 1 和 10， $L_s$ 和 $L_b$ 使用交差熵计算损失 $L=L_s+\alpha\times L_b+\beta\times L_t$
$S_l$ 表示使用 OHEM 进行采样，正负样本的比例为 1：3, $L_t$ 使用 L 1 loss， $R_d$ 表示绿线内的区域， $L_t=\sum_{i\in R_d}|y_i^*-x_i^*|$

在推理阶段，可以使用 binary map 或者 probability map
使用 binary map：需要 probability map+threshold map 两个分支计算得到，其结果就是文本实例
使用 probability map：不需要 threshold map、binary map 分支，直接按照 Vatti clipping algorithm 公式还原回去即可，即 1) 使用 0.3 的阈值进行二值化；2) 将 pixel 连接成不同的文本实例；3) 将文本实例进行扩张，得到最终的文本框 $D^{'}=\dfrac{A^{'}(1-r^{'})}{L^{'}}$
使用第二种方法，网络计算更少，论文使用第二种方法