基于步行时足底压力信息的前交叉韧带断裂辅助诊断方法

黄红拾1 王政飞2 许国雄2 李文新2 张思1 张东霞1 敖英芳1,†

1. 北京大学第三医院运动医学研究所, 北京 100191; 2. 北京大学信息科学技术学院,北京 100871; † 通信作者, E-mail: yingfang.ao@vip.sina.com

摘要 为了辨识动态足底压力信息与前交叉韧带断裂的关系, 将步行时的足底压力数据转换成图像, 采用深度学习中的卷积神经网络模型, 在给定足量输入图像与分类结果的情况下, 不断更新神经网络的参数, 建立图像与前交叉韧带断裂的关系。将足底压力测试系统(Footscan®)采集的数据分为训练集和测试集两个部分。训练集用于调整模型的参数, 帮助模型更好地分析并找到足底压力信息与前交叉韧带断裂的关系; 测试集用于模拟诊断, 对比真实情况, 评估准确性, 并评估其作为临床辅助诊断方法的性能。结果表明, 提出的投票法模型的诊断正确率超过90%, 并且从得到足底压力数据到产生诊断结果, 总耗时仅3秒左右。由此得出, 所提出的基于步行时足底压力信息的深度学习模型, 可以在很短时间内辅助诊断前交叉韧带断裂, 为临床辅助诊断及康复提供参考。关键词 前交叉韧带断裂; 足底压力; 辅助诊断; 深度学习

Anterior Cruciate Ligament Deficiency Auxiliary Diagnosis Based on Plantar Pressure Information during Walking HUANG Hongshi1, WANG Zhengfei2, XU Guoxiong2, LI Wenxin2, ZHANG Si1, ZHANG Dongxia1, AO Yingfang1,† 1. Institute of Sports Medicine, Peking University Third Hospital, Beijing 100191; 2. School of Electronic Engineering and Computer Science, Peking University, Beijing 100871; † Corresponding author, E-mail: yingfang.ao@vip.sina.com

Abstract To study the identification of dynamic anterior cruciate ligament deficiency based on plantar pressure information, using convolutional neural network, raw plantar pressure data during walking were converted into images to establish the connection between plantar pressure and anterior cruciate ligament deficiency. Given plenty of input images and classification results, convolutional neural network could update its parameters for iterations to fit the connection. Plantar pressure data collected by acquisition system (Footscan®) were divided into two parts, training set and test set. The training set was used for training the deep learning model tune the parameters, which helped the model analyze the data better, while the test set was used to generate diagnosis, compare the results to the ground-truth to evaluate the model’s accuracy, and judge its performance as an auxiliary tool for clinical diagnosis. The results show that trained deep learning model can correctly diagnose over 90% cases in the test set, and only takes about 3 seconds to make a diagnosis. The proposed dynamic plantar pressure information based deep learning model can provide auxiliary diagnosis in very short time, which provides references for the auxiliary diagnosis and rehabilitation in clinical medicine. Key words anterior cruciate ligament deficiency; plantar pressure; auxiliary diagnosis; deep learning

前交叉韧带(anterior cruciate ligament, ACL)断裂是常见的运动损伤, 会引起膝关节不稳并继发关节退变[1]。下肢受伤后, 人体的行走会受到一定的影响或进行相应的调整, 也会导致人体行走时足底压力产生相应的变化。对人体运动过程的足底压力与压强分布进行分析, 可以获知一系列步态特征。基于足膝偶联关系, 前交叉韧带断裂导致的膝关节功能紊乱有可能引起代偿, 改变动态足底压力分布,以便维持一定水平的步行能力[2]。足底压力图像是足底压强分布的一种表现形式, 对其进行分析可以获知人体的健康情况。

在以往的足底压力分析研究中, 首先要计算足行进角、足长足宽及步长步宽等静态信息[3], 还需计算足弓指数和足底压力峰谷值等[4]动态信息。根据这些信息, 将足底压力数据进行标准化处理, 然后进行基于像素水平的统计分析[5]。既往研究中经常使用机器学习方法对足底压力图像数据进行分析, 完成正常与异类步态的分类辨识工作。这类方法的准确率高度依赖于从足底压力图像中提取的特征信息, 如果特征信息与分类结果有直接的关系,则准确率较高, 否则效果较差。例如, 在一种基于极限学习机神经网络聚类的方法[6]中, 主要特征信息为足底重心移动轨迹(the trajectory of the center of pressure, COP)。该特征信息与前交叉韧带断裂具有一定的关系[7], 因此该方法能够取得一定水平的准确率。

在计算机图像分析领域, 深度学习方法已取得十分优异的成绩, 甚至超越人类水平[8]。自深度学习模型 Alexnet[9]在 2012年的图像分类竞赛 Imagenet出现后, 经过学界和业界的不断研究与发展, 深度学习逐渐成为图像分类领域中十分重要的技术,卷积神经网络是其中最常使用的模型。深度学习模型可以在给定输入图像和预期输出结果的情况下,自动地寻找原始数据中与结果有关联的信息, 并在不断的迭代过程中找到最直接、最紧密的关联信息。但是, 该迭代过程依赖于足够的数据, 否则可能出现学习不充分的欠拟合现象或过分学习的过拟合现象。一直以来, 由于缺乏相关的数据收集工作,有关前交叉韧带断裂相关的足底压力数据量较少,因此尚未将深度学习技术应用到前交叉韧带断裂相关的工作中。

本研究团队自2008年起开展Footscan ®足底压力测量平板系统的临床研究, 至今已收集超过1300例受试者的足底压力数据。基于该数据集, 我们提出一种将足底压力数据转化为图像的预处理方法,然后使用一种基于深度学习中卷积神经网络的方法, 用于辨识足底压力数据图像与前交叉韧带断裂的关系。

1 研究对象和方法1.1 对象

234例前交叉韧带断裂患者(223例来自本研究团队所在单位门诊, 11例来自病房)经过严格筛选,确保尚未接受手术, 且无其他(如踝痛和膝痛等)病症的干扰。60例健康志愿者均来自学校师生。所有被试均已签署知情同意书。本研究得到北京大学第三医院医学科学研究伦理委员会批准[(2017)医伦审第(136-02)号]。

1.2 实验方法1.2.1 数据采集

受试者以自选速度在 Footscan®公司压力测试板(对于病房数据, 选择尺寸为2 m×0.4 m, 有16384个感受器的2 米板测量; 其他数据来自尺寸为0.48 m×0.32 m, 有 2.6个感受器/cm2的 0.5 米板测量)上裸足步行。受试者先热身, 熟悉裸足步行程序, 然后自选合适的速度进行测试。若受试者行走过程中不是足跟部先着地, 则要求受试者增加相应的测试次数。

1.2.2 预处理

预处理是将从系统导出的足底压力数据转化为足底压力图像数据。每例数据每侧足部至少采集5次数据。从采集系统中导出的足底压力数据对应一次完整的脚与地面的接触过程, 分为左右脚, 每只脚对应约150个二维表, 每个二维表对应该时刻传感器采集到的足底压力数值, 二维表中的每个数字表示对应位置传感器此时的压力值, 如图 1所示。我们将每只脚的每次接触过程(即每侧足部的一次有效测试中所有二维表的数据)转化为一个足底压力图像, 用于后续分析。受试者每次左右脚的有效测试经过预处理, 会得到两个足底压力图像, 记为一对足底压力图像数据。

给定某例数据(某位受试者)中某侧足部的一次有效测试的足底压力数据, 共有K个二维表, 每个二维表的有效行列数为i和 j, d 表示原始数据k raw i , j中第k个二维表中第i行第 j列的数据。根据式(1),用最大值法、和值法和平均值法3种方法, 对系统