利用深度学习对甲骨材质实现自动分类
2019年11月1日在甲骨文发现和研究120周年的座谈会上，习近平总书记在贺信中指出，殷墟甲骨文的重大发现在中华文明乃至人类文明发展史上具有划时代的意义。甲骨文是迄今为止中国发现的年代最早的成熟文字系统，是汉字的源头和中华优秀传统文化的根脉，值得倍加珍视、更好传承发展。
国务院副总理孙春兰指出我们要认真落实习近平总书记重要指示和贺信精神，进一步深化甲骨文研究和应用，加强收藏保护，做好整理和信息标注，确保文物安全。要推进著录考释，综合运用人工智能识别等技术手段，推动研究实现新突破。
西南大学计算机与信息科学学院陈善雄副教授和首都师范大学甲骨文研究中心莫伯峰副教授，联合率先开展了利用人工智能技术进行甲骨文文字研究。针对甲骨材质的分类长期依赖领域专家经验，需要在长期学习和积累问题。提出一种多区域划分的卷积神经网络对甲骨的拓片进行分类，通过甲骨拓片上“盾纹”和“齿纹”的检测，完成在一张甲骨图片上多个区域的划分，再用卷积神经网络对各个区域进行特征提取，并完成对多个局域特征融合，最终实现龟甲和兽骨的分类。根据领域专家提供的甲骨图像测试表明，该方法具有较好的分类精度。研究成果“A Classification Method of Oracle Materials Based on Local Convolutional Neural Network Framework”在IEEE Computer Graphics and Applications 发表。为基于人工智能的甲骨文研究迈出了坚实的一步。
链接： https://ieeexplore.ieee.org/document/9004518
- 研究背景
甲骨文是刻写在龟甲和兽骨上的商代文字，研究甲骨文不仅要关注文字本身，还需要重视文字所依附的材料及形态等信息。董作宾、秉志、曾毅公等很多著名甲骨学家都曾进行过与甲骨材质及形态相关的研究，甲骨学家黄天树教授甚至提议建立甲骨学的一个分支“甲骨形态学”，专门研究甲骨的材料及形态问题，由此可见这方面研究确有其独特的价值 。甲骨形态研究可包括甲骨材质、甲骨形制、甲骨部位、钻凿形态、兆坼形态等多方面内容，而这中间首当其冲需要研讨的便是甲骨材质问题。过去，一些重要的甲骨著录书，如《甲骨文合集》、《甲骨文合集补编》等都没有标注材质这一项信息，而新近出版的如《中国社会科学院历史研究所藏甲骨集》、《旅顺博物馆所藏甲骨》、《复旦大学藏甲骨集》等著录书，都通过核验原物无一例外都全面标注了材质信息，这说明学界愈发认识到材质在甲骨研究中的独特作用。虽有一部分著录书已经标注了甲骨材质信息，但过去出版的绝大部分甲骨文材料都没有这项信息，因此还有大量的甲骨材料需要进行材质分类工作。而从甲骨材料发表的实际情况来看，这种分类工作主要还只能依靠甲骨的拓本图像进行。通常，基于甲骨拓本对甲骨材质进行分类，都是利用甲骨学领域专家的经验进行研判，而成为甲骨学领域专家则需要长期学习和积累。本文在传统的利用专家经验进行甲骨材质分类研究的基础上，采用卷积神经网络（Convolutional Neural Network，CNN）对甲骨拓片进行自动分类。通过对甲骨专家整理好的甲骨拓片扫描成像后进行训练，利用CNN框架的特征抽取、分类预测的能力，建立甲骨拓片的材质分类识别模型，实现对龟甲和兽骨拓片的自动判别，在利用人工智能技术辅助甲骨形态辨识方面进行一个初步的尝试。
-
局部
CNN
的甲骨拓片分类模型
本文的任务在于解决甲骨拓片中龟甲和兽骨的自动分类问题。甲骨专家对龟甲和兽骨分类主要依据甲骨拓片上的“盾纹”和“齿纹”，因为只有龟甲上才可能存在这两种特征性的纹路。但由于商代甲骨至今已历经数千年，漫长的岁月侵蚀常导致甲骨上出现了很多自然裂痕，他们与“盾纹”和“齿纹”在拓本上有易混之处，加之甲骨专家对“盾纹”和“齿纹”的描述难以利用数学模型定义，所以本文利用甲骨拓片局部特征在分类中具有较好代表性这一特性来提高甲骨拓本图像分类的性能，结合 CNN 的分层特征提取结构[18]，提出采用局部卷积神经网络的结构对甲骨拓片进行自动分类。该模型的结构可以在图2中看到。它由四部分组成，具体如下。
图2 局部CNN的甲骨材质拓本分类结构
（a）该模型的输入数据。它包含三个局部区域，即“盾纹”区域，“齿纹”区域，非“盾纹”非“齿纹”区域。（b）每个区域对应一个特征提取子网。每个子网由两个Conv-Pooling-ReLU层和两个完全连接的层组成。这些子网提取每个本地区域的功能。（c）多特征融合子网。它包含四个自动编码（Auto-Encoding，AE)层[19]，通过该子网获得融合特征。（d）该模型的输出。Softmax层用于预测输入数据的类别。为了实现对局部区域的特征提取，我们给出了甲骨拓片局部区域划分规则。
-
基于
CNN
的区域特征提取
为了获得有效的特征，我们用CNN作为各个区域的特征提取器。通常，CNN包含多个卷积过程和完全连接的过程。对于每个卷积过程，它由四部分组成，即卷积层，局部响应归一化层，非线性变换层和汇集层，如图5所示。在这里，我们选择包含一段“盾纹”的区域作为一个例子来描述卷积过程。
作为CNN的输入，其中每维表示图像宽度、高度和通道，卷积层计算输入图像与滤波器卷积核W并增加了偏移量b。
图5 基于CNN的区域特征提取框架
- 多个局部区域特征融合
通过以上步骤，我们获得每个局部区域的特征，由于每个局部区域的特征都由矢量组成，因此我们使用自动编码（Auto-encoder，AE） [19, 21]
网络来融合这些特征并减小尺寸。
图6 多个局域区域特征融合结构
- 实验及分析
（1）整体甲骨拓片分类与划分局部区域分类的对比
表 1
垂直和水平方向分割的分类精度
|
分割方式 模型名称 |
训练集（水平分割） | 训练集（垂直分割） | 未进行区域分割 | ||
| 测试集（水平分割） |
测试集 （垂直分割） |
测试集（水平分割） | 测试集（垂直分割） | ||
| LeNet[] | 0.785 | 0.773 | 0.775 | 0.787 | 0.715 |
| AlexNet[] |
0.843 |
0.781 | 0.801 |
0.839 |
0.753 |
| GoogleNet[] | 0.774 | 0.759 | 0.761 | 0.773 | 0.728 |
| Vgg19Net[] | 0.805 | 0.763 | 0.775 | 0.793 | 0.681 |
| DenseNet[] | 0.817 | 0.805 | 0.792 | 0.801 | 0.729 |
| ResNet[] | 0.787 | 0.775 | 0.763 | 0.782 | 0.704 |
（2）划分局部区域数量对分类精度的影响
表 2
划分局部区域不同数量的分类精度
|
区域数量 模型名称 |
1 | 2 | 3 | 4 | 5或5以上 | ||||||
| ACC | PFPS | ACC | FPS | ACC | FPS | ACC | FPS | ACC | FPS | ||
| LeNet[] | 0.736 | 4.1 | 0.785 | 3.8 |
0.817 |
3.2 |
0.811 |
2.7 | 0.803 | 2.5 | |
| AlexNet[] | 0.782 | 7.5 | 0.813 | 7.1 |
0.836 |
6.4 |
0.837 |
5.8 | 0.792 | 5.6 | |
| GoogleNet[] | 0.714 | 6.2 | 0.808 | 5.7 |
0.814 |
4.5 |
0.803 |
4.1 | 0.783 | 3.2 | |
| Vgg19Net[] | 0.739 | 4.8 | 0.786 | 4.3 |
0.819 |
3.7 |
0.826 |
3.7 | 0.815 | 3.1 | |
| DenseNet[] | 0.724 | 6.3 | 0.779 | 5.9 |
0.823 |
5.1 |
0.831 |
5.2 | 0.822 | 4.6 | |
| ResNet[] | 0.732 | 5.8 | 0.794 | 5.6 |
0.835 |
4.7 |
0.841 |
4.1 | 0.837 | 3.6 | |
（3）检测到的齿纹数量对分类的影响
图11 阈值对齿纹数的影响
图12 阈值对分类精度的影响
（4）对“齿纹”和“盾纹”特征的标注对分类的影响
(a)LeNet
(b) ALexNet
(c)GoogleNet
(d)Vgg19Net
(e)ResNet
(d)DenseNet
图13 四种情况下利用LeNet、AlexNet、GoogleNet、Vgg19Net、DenseNet、ResNet进行分类后Recall，Precision，F-score的取值
六
实验及分析
依靠人工智能技术，利用甲骨拓本图像进行材质分类，是一项甲骨形态研究的基础性课题，将对其他相关研究具有示范引导作用，并为甲骨缀合、甲骨字体分类等研究提供辅助作用。
About The Author
