基于图像处理的望诊面色自动识别研究

2018-12-15 -

陈梦竹1，岑翼刚2，许家佗2，崔龙涛2，王文强2，屠立平2，黄景斌2，荆聪聪2，张建峰 2

1.北京交通大学，北京 100044；2.上海中医药大学，上海 201203

摘要：目的结合图像处理与中医理论实现面色自动识别。方法根据中医望诊面色相关理论，采用基于YCbCr颜色空间的椭圆肤色模型和主动外观模型算法对面部皮肤进行感兴趣区域分割，采用RGB 空间、HSV空间、Lab空间中的颜色直方图、颜色空间的统计特征以及局部二值模式（LBP）特征对各区域进行颜色与纹理特征提取，使用支持向量机、极限学习机、BP神经网络对提取到的面色特征进行识别比较。结果将面色识别区域分成8块。结合颜色特征、纹理特征和 LBP 特征时，面色识别率达 89.08%。青、赤、黄、白、黑

5 种面色中，白色采用 BP 神经网络的分类准确率最高，达 89.5%。结论本研究结合肤色检测、图像处理与中医望诊理论，可实现面部肤色自动识别。关键词：中医；望诊；面色；图像处理；肤色检测；识别

DOI：10.3969/j.issn.1005-5304.2018.12.023

中图分类号：R2-05；R241.2 文献标识码：A 文章编号：1005-5304(2018)12-0097-05

Study on Observation Diagnosis Automatic Complexion Recognition Based on Image Processing

CHEN Meng-zhu1, CEN Yi-gang2, XU Jia-tuo2, CUI Long-tao2, WANG Wen-qiang2, TU Li-ping2, HUANG Jing-bin2,

JING Cong-cong2, ZHANG Jian-feng2

1. Beijing Jiaotong University, Beijing 100044, China; 2. Shanghai University of TCM, Shanghai 201203, China

Abstract: Objective To realize automatic complexion recognition through combining image processing with TCM theory. Methods According to theories of TCM observation diagnosis complexion, elliptical skin color model based on YCbCr color space and active appearance model algorithm were used to segment the facial skin. Color and texture features were extracted for each region by using RGB space, HSV space, color histogram in Lab space, statistical features of color space and local binarization (LBP) features. Support vector machine, extreme learning machine and BP neural network were used to identify and compare the extracted facial features. Results The face recognition areas were divided into 8 blocks. Combined with color features, texture features and LBP features, the face recognition rate reached 89.08%. Among the five colors of cyan, red, yellow, white and black, the BP neural network on white complexion had the highest classification accuracy rate of 89.5%. Conclusion This study combines skin color detection, image processing and TCM complexion recognition theory to achieve automatic facial complexion recognition.

Keywords: TCM; observation diagnosis; complexion; image processing; complexion detection; recognition

随着人工智能的快速发展，中医四诊客观化逐渐成为研究热点，其中舌诊和脉诊相关研究开展较早，部分成果已应用到临床，而望面色是望诊必不可少的部分。中医学认为，脏腑、心理、气血和经络变化均可呈现在人脸的相关区域；望诊时，面部由于皮肤暴露较多，易于观察，一般作为人体皮肤颜色的主要辨别部分。面色大致分为5种（青、赤、黄、白、黑），基金项目：国家自然科学基金（81373566）通讯作者：许家佗，E-mail：xjt@fudan.edu.cn 分别反映不同类型的机体状态：青、黑色可提示疼痛，赤、黄色可提示热证，白色可提示寒证。传统的望面色方法为肉眼观察患者面色并进行诊断，其结果与医生临床经验关系密切，并受到外部光线等条件影响，具有较大主观性。目前临床面色诊断尚缺乏评价标准，采用计算机技术进行定量分析有利于临床诊断的客观化。

目前，面诊客观化研究已取得了一些进展。傅

言[1]在不同颜色空间下对识别肝病类别进行图像分

析，构建了可进行皮肤识别区域分割的平台。刘明佳[2]

以颜色形成原理和生物医学为切入点设计了人脸图像采集设备，使用肤色模型结合灰度投影算法对样本

进行五官图像区域分割。毛红朝[3]探索中医面诊信息提取的各种图像处理算法，采用高斯肤色统计模型和Adaboost 结合的方法精确定位人脸区域。吴暾华[4]根据中医面色脏腑分属图，采用复杂背景下的多姿人脸检测方法，建立了望面色的眼动跟踪模型。部分研究对人脸图像进行脸颊和嘴唇的识别区域分割，将脸颊的皮肤区域在Lab颜色空间作为面部的颜色特征，结合支持向量机（SVM）评估白、红、黄及健康的面色，

但尚缺乏青类面色数据[5-7]。

目前研究多采用 RGB、HSV、Lab 空间进行特征提取。本研究图像背景相对单一，无需复杂度高的算法即可有效实现肤色分割，而纹理中局部二值模式

（LBP）特征可简单有效地表示人脸图像[8]，因此，本研究基于青、红、黄、白、黑5种面色，对相应图像进行分析并分别提取其颜色和纹理特征，最后使用机器学习的方法对提取到的特征进行面色分类。1 研究方法本研究实验框架及算法流程见图 1。主要分为三部分：分割皮肤感兴趣区域（ROI）、颜色及纹理特征的提取、人脸面色识别。首先基于 YCbCr 颜色空间的椭圆肤色模型和主动外观模型（AAM），在中医面诊理论的指导下对人脸图像进行ROI 分割；然后采用RGB 空间、HSV 空间、Lab 空间中的颜色直方图，提取不同颜色空间下的信息作为颜色特征，同时，将颜色分量的统计特征及 LBP 特征作为融合特征；最后使用 SVM、极限学习机（ELM）、BP 神经网络分别对提取到的特征面色进行评估比较及分类。 1.1基于 YCbCr空间的感兴趣区域分割

五脏的生理病理变化可由面色显现出来，面色的主要部分是人脸的肤色。本研究人脸图像由望诊标准光源箱得到，NIKON D40 数码单反相机在固定模式下拍摄面部图像。研究对象来源于上海中医药大学附属曙光医院体检中心，年龄 20～60 岁。采用望诊标准光源箱，拍摄前与受试者沟通，洗去面部化妆品，保持自然面色，并保持情绪稳定。拍摄时受试者取端坐位，面对人工光源，确保面部光线明亮，充分暴露额部。首先选取粉刺、胡须等数据噪声较少者进行，样本包括青、红、黄、白、黑5种肤色。由于肤色在YCbCr空间具有聚类特性，为避免错分非肤色区域，首先将原始大小为1424×2144像素的图像从RGB空间转换到 YCbCr 空间；然后根据椭圆肤色模型比较像素对应的Y值，如在肤色模型亮度范围内，且对应的红、蓝分量分别在 133≤Cr≤173、77≤Cb≤127 范围内，则满足条件的像素赋值 1，否则为 0，从而形成二值图像；采用形态学的开、闭运算对二值图像去除某些噪声点，减小噪声对肤色分割的影响，使孤立的像素点形成连通域，最后定位出人脸，得到分割后的 ROI。将得到的图像统一设置成 285×429 像素大小。采用椭圆模型公式[9]计算：式中x、y分别代表图像的均值横、纵坐标；cx＝

109.38，cy＝152.02，θ＝2.53（rad），ecx＝1.60，ecy＝

2.41，a＝25.39，b＝14.03，以上各值均由 YCbCr 空间肤色聚集区域计算得到。像素点经计算后，在椭圆内即为肤色区域，否则为非肤色区域。

1.2 基于主动外观模型算法的特征点定位

AAM 算法是经典的人脸特征点检测方法[10]。该算法提取人脸的形状信息及纹理信息，采用主成分分析得到可变形的人脸统计模型，并将待测图像的形状变化模型结合纹理变化模型形成人脸模板。AAM 算法为避免复杂的求导和迭代，由训练集假设残差向量分别和形状参数与纹理参数之间存在的线性关系，用线性回归的方法来训练形状参数与纹理参数的更新矩阵，并通过调整残差向量更新参数。AAM 算法分为模型建立与拟合计算2个部分：首先对训练样本进行手工特征点标记，通过普鲁克分析把所有样本标注的特征点对齐，得到1个统计形状模型，再将所有训练样本变形以匹配形状模型；然后使用特征分析建立一个对应的纹理模型；最后将形状和纹理模型通过学习的方法结合起来，得到最终模型。和Qg分别表示形状变化和纹理变化，c是控制参数。

根据中医理论，将人脸手动分割成8 个 ROI，分别是：额头、双侧上眼脸、双侧脸颊、鼻头、口唇、

下颌[11]。额头部分肤色块提取：首先由AAM算法得

到人脸关键点的位置，见图 2（a）；根据人脸的几何位置关系[12]，人脸是呈竖直对称的，见图 2（b）；左眉毛的第 2 个点和第 3 个点做一条中垂线 L1，右眉毛的第 2 个和第 3 个点同样做一条中垂线 L2，这样矩形框的长度确定出来，L即两条中垂线的最短距离；接着，取矩形框长度的一半作为矩形框的宽度W，见图2（c），蓝色线标注的即为额头部分 ROI；按“1.1”项下方法，对 ROI 部分再进行 1 次基于 YCbCr 空间的肤色分割，确定肤色区域，得到1个分割后最大的连通域。由于额头区域是整张人脸中最有可能涉及非肤色区域的部分，因此，先对额头手动定位一个矩形框，然后对框里的皮肤和非皮肤部分进行肤色分割，最后得到1个额头的肤色块。其余7 个 ROI 则无需上述操作，直接根据五官的关键点定位后手动选取肤色框即可，方法同额头部分，见图2（d）。

1.3颜色和纹理特征提取望诊面色研究中，颜色信息是最主要的特征。对不同颜色空间的信息进行面诊分析的研究不断深入。Zhuo L等[6]提出在Lab空间中提取颜色直方图和色差等统计特征作为人脸的肤色特征，将提取的特征使用SVM 进行面色评估。HSV 颜色空间与人类感觉颜色方式相似，色彩的分类简单自然，感知度较强。通过

公式（5）、（6）、（7）、（8）、（9）可将 RGB颜色空间转换到 HSV颜色空间：采用多颜色空间信息融合的技术分别对 ROI 提取 HSV、RGB、Lab 等颜色直方图均值作为颜色特征。颜色直方图的统计特征不仅反映了不同肤色类型，而且反映皮肤的纹理特性。纹理是对图像灰度空间分布模式的提取和分析，故本研究同时提取了皮肤区域的统计特征，包括能量（Asm）、相关性（Corr）、对比

式中，P（i，j）指灰度图像像素 i 和 j 的联合概率密度。Asm反映了图像灰度分布均匀程度以及纹理的粗细度，Corr 反映了图像的局部灰度相关性，Con反映了图像的清晰度以及纹理沟纹深浅的程度，Ent反映了图像中纹理的非均匀程度[13]。

LBP特征是个细小尺度的算子，在人脸识别中，直接对整幅图像使用 LBP 直方图来提取特征会丢失人脸的微观信息，更适应于描述图像局部纹理变化。故本研究分别提取 8 个分割好的 ROI 的 LBP 特征谱统计直方图作为特征向量。LBP特征是将图像中某一像素值作为阈值，对以该像素为中心的邻域进行阈值操作，见图3。灰度小于阈值置0，灰度大于阈值置1，进而得到一组二进制数，LBP编码的计算公式如下：

式中，gc 为中心点像素（xc，yc）的灰度值，gp为领域点 p 的灰度，N 为领域像素个数，s(•)为阶跃函数。

1.4不同分类器的面色识别分类器用于中医面色识别，分类的性能直接影响最终的识别结果。SVM 是 Corinna Cortes 和Vapnik V N[14]首先提出的，可用于模式分类和非线性回归的问题，其主要定义了函数间隔（用  表示）：    y(wT x  b)

（15）式中 x 是特征，y 是结果标签。记超平面关于所有样本点（xi，yi）的函数间隔最小值（i 表示第 i 个样本）为   min   ,  i  1, 2,..., n ，然后由目标函数 max  迭代求解超平面参数（ω，b），从而得到分类器。

SVM 具有泛化能力强、适用于小样本学习的特点，并且能够有效避免过拟合和局部最小化以及“维数灾难”等问题。其理论基础是非线性映射，利用內积核函数来代替向高位空间的非线性映射，同时具有对小样本非线性分类快速高效的特性。

ELM 是一种新型的快速学习算法[15]，其假设有N 个样本（xi，yi），对于 1 个有L个隐层节点的单隐层神经网络可表示为：

一些传统的基于梯度下降法的算法可用来求解此类问题，但基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而 ELM 算法中，一旦输入权重 ωi和隐层的偏置 bi被随机确定，隐层的输出矩阵H就被唯一确定。训练单隐层神经网络可转化为求解一个线性系统。且输出权重β 可被确定。Hβ＝Y，

 +

，其中H 是矩阵H的 Moore-Penrose 广义逆。  H  Y

ELM 最大的特点是相对于传统神经网络，尤其是单隐层前馈神经网络（SLFNs），在保证学习精度的前提下算法速度更快。所有隐节点参数独立于目标函数或训练数据集。对于单隐层神经网络，ELM可随机初始化输入权重和偏置并得到相应的输出权重。

BP 神经网络是为了解决多层前向神经网络的权系数优化而提出来的算法，其主要特点是信号前向传递，误差反向传递。在前向传递中，输入信息从输入层经隐含层逐层处理，直到输出层。如果输出层得不到期望输出，则转入反向传播，根据预测误差调整网络权值和阈值，从而使 BP 神经网络预测输出不断逼近期望输出。

2 实例测试皮肤色块样本来源于上海中医药大学附属曙光医院体检中心 150名体检人员的面色图像。采集到的图像经过3名中医基础诊断专家一致性判读分为青、赤、黄、白、黑5类肤色样本，见图4。实验平台为

2.40 GHz ，内存 8.0 G ， Windows7 操作系统，

matlab2014a 编程。采用种特征进行测试：特征

特征特征为评估种特征的分类性能，选择953 块皮肤区块皮肤区域作为测试样本，面色识别率见表

合特征进行分类时，分类准确率最高为 79.42%；增加纹理特征时，分类结果达 85.71%；而结合颜色特征、纹理特征和LBP特征时，分类结果最高为89.08%。

将青、赤、黄、白、黑分别标签为0、1、2、3、

4，测试样本分别为 42、35、48、60、54 块，测试结果见表2。其中，青色的皮肤采用3种分类器分类效果差别不明显；红色的皮肤使用SVM 和 ELM分类器时效果更好；黄色的皮肤在使用SVM时效果更明显；白色的皮肤采用 BP 神经网络的分类准确率最高，达

89.50%；黑色的皮肤在使用分类器时相较其他颜色准确率均低，ELM 的分类效果欠佳。影响分类效果的因素有以下几方面：①测试样本的有限性，受试者面部受阳光照射面积、程度不均匀；②实验研究对象大多为亚洲人，肤色整体偏黄，肤色偏黑的样本较少，且掺杂许多面色发灰的样本，导致肤色为黑色的类分类效果不佳；③中医5种面色的区分是相对的而非绝对；④肤色存在明显的个体差异。 3 小结面诊客观化研究需进行定量化分析，首先应对人脸进行图像区域分割并选择合适的特征。本研究实现了简单有效的人脸图像区域分割，并提取相应区域的颜色和纹理特征后进行肤色识别的算法。采用基于YCbCr 颜色空间的椭圆肤色模型定位人脸，结合AAM模板对 ROI进行分割，然后分别提取颜色、纹理和 LBP 特征，最后用 SVM、ELM、BP 神经网络分别对算法进行识别评估。结果表明，所提出的肤色特征具有良好的分类性能，识别率达89.50%。然而，本实验对黑色的分类尚未达到理想效果，后续将重视对此类样本数据的深入分析，并扩大样本量，增加医生对样本的评价。同时，将进一步探索面部特征的提取、选择及分类器的设计。

参考文献：

[1] 傅言.基于图像分析的中医面诊及在肝病上的研究[D].哈尔滨：哈尔

滨工业大学,2006.

[2] 刘明佳.基于人脸彩色图像的疾病诊断研究[D].哈尔滨：哈尔滨工业

大学,2008.

[3] 毛红朝.面向中医面诊的诊断信息提取——关键算法研究与实现[D].

厦门：厦门大学信息科学与技术学院,2007.

[4] 吴暾华.面向中医面诊诊断信息提取的若干挂件技术研究[D].厦门：

厦门大学信息科学与技术学院,2008.

[5] YANG Y, ZHANG J, ZHUO L, et al. Cheek region extraction method for face diagnosis of traditional Chinese medicine[C]//IEEE, International Conference on Signal Processing. IEEE,2013：16631667.

[6] ZHUO L, YANG Y, ZHANG J, et al. Human facial complexion recognition of traditional Chinese medicene based on uniform color space[J]. International Journal of Pattern Recognition & Artificial Intelligence,2014,28(4)：1450008.

[7] ZHANG J, ZHANG P, ZHUO L. Fuzzy support vector machine based on color modeling for facial complexion recognition in traditional Chinese medicine[J]. Chinese Journal of Electronics,

2016,25(3)：474-480.

[8] OJALA T. Gray scale and rotation invariant texture classification with local binary patterns[C]//European Conference on Computer Vision. Springer Berlin Heidelberg,2000：404-420.

[9] 高建坡,王煜坚,杨浩,等.一种基于 KL 变换的椭圆模型肤色检测方

法[J].电子与信息学报,2007,29(7)：1739-1743.

[10] COOTES T F, EDWARDS G J, TAYLOR C J. Active appearance models[J]. IEEE Computer Society,2001,1407(6)：484-498.

[11] 许家佗,吴宏进,陆璐明,等.不同健康状态的面部光谱色度特征分

析[J].生物医学工程学杂志,2012,29(6)：1062-1067.

[12] 曾岳,冯大政.一种基于人脸垂直对称性的变形 2DPCA 算法[J].计算

机工程与科学,2011,33(7)：74-79.

[13] 冯建辉,杨玉静.基于灰度共生矩阵提取纹理特征图像的研究[J].北

京测绘,2007(3)：19-22.

[14] VAPNIK V N. The nature of statistical learning theory (statistics for engineering and information science)[M]. New

York：Springer-Verlag,1999.

[15] HUANG G B, ZHU Q Y, SIEW C K. Extreme learning machine：Theory and applications[J]. Neurocomputing,2006,70(1)：489-501.