CQ9电子官网脑电波配上外骨骼 这群年轻人为病患康复“换装备”当晚,中国国际大学生创新大赛(2023)决赛落幕。北京理工大学机械与车辆学院(以下简称“北理工机车学院”)智能人机系统实验室团队带来的MARX项目以小组第二名的成绩获得金奖。包括北理工机车学院2023级机械工程专业博士史健廷在内的15名项目成员近7个月的努力,在这一刻得到最好的回馈。
据了解,MARX是新一代的智能脑控康复系统,该系统基于高精度的鲁棒双手运动解码技术、轻量化高性价比的外骨骼设计,面向上肢功能神经性受损患者,提出一种全新的治疗方案。
辅助患者恢复的设备,高高低低地摆满一整个楼层。穿戴着各种“装备”的患者或站或坐,在家人、医生的看护下,肢体在一张一弛地缓慢开合中训练着生疏的肌肉,抬腿、伸臂、甚至更简单的握拳,在他们身上都显得很吃力。
北理工机车学院2020级机械工程专业博士生王佳蓉是MARX的核心成员,此前一直在做脑机接口领域的研究。她告诉记者,在康复中心的病人,大多病情基本稳定,希望借助训练保持身体机能甚至恢复如前。他们中有老人,也有年轻人,中风、车祸抑或是其他疾病,仿佛扯断了大脑与肌肉间的“线”,让肢体正逃离身体控制。
“我做相关课题很久了,可一直没机会接触病人,都是从论文上了解信息。”她说,在听了一场中国人民解放军总医院第一附属医院神经外科副主任赵明医师的分享后,她和同学们有了到医院看看的想法。“赵医生对脑创伤病人的脑损伤治疗进行了报告,我们意识到了脑机接口可能在康复医疗应用领域有着重大意义。”
事后证明,这个决定是正确的。在这里,年轻的大学生看到了隐匿在康复中心的少数人。“他们每天早上准时来康复中心,一天要进行多项训练,每项训练都要1-2小时。”王佳蓉了解到,康复训练不仅枯燥无聊,而且容易进入瓶颈期,“刚开始时有效果,可到了后期效果不一定理想。有人练了一两年变化却微乎其微。但为了恢复,病人必须坚持。”
对此,项目负责人史健廷则更有体会。外婆60岁时中风,生活极为不便,平时生活都需要家人帮助。“如果有款产品能给他们带来康复的希望,那么他们的生活质量和尊严都能得到提升。”他说。
经询问医生大家才知道,下肢粗壮关节大、运动模式较少,更便于使用机械训练。想要上肢训练则需要精细外骨骼设备,目前市场上此类设备并不多,少有的设备也仅限于单上肢。
王佳蓉知道自己来对了。“我之前项目都是研究上肢运动相关的脑信号,前期积累的技术刚好能帮到他们。”项目指导老师费炜杰也认为,脑机接口科学创立之初就是为帮助残疾人,利用脑信号重新掌握肢体。“这样的研究算是回归脑机接口的初心。”
团队研究课题终于浮出水面。他们希望借助脑机接术,成产一款能够侧重双上肢的训练康复产品,让病人能像正常人一样进行上肢活动,完成日常生活的各种动作,并辅助他们进行上肢功能康复。
脑机接口,顾名思义,就是大脑和计算机之间的接口,指大脑与计算机的直接连接。1924年,德国医生汉斯·贝格尔首次发现并无创记录脑电信号,开启了人们对大脑与脑机接口的探索。1989年,美国率先提出全国性的脑科学计划,并把20世纪最后10年命名为“脑的10年”。2013年,美国提出“脑计划”,有专家认为该计划可与人类基因组计划相媲美。
当前,全球脑机接口的主要应用在医疗健康、国防安全、工业生产、教育娱乐以及日常生活等领域都具有广泛的应用前景,成为世界科技创新领域的重要课题之一。
近年来,北京理工大学机械与车辆学院的毕路拯教授领导的智能人机系统实验室一直围绕脑机接口前沿技术进行探索,并在脑-控移动机器人、脑机协同控制技术与脑控智能车辆等方面取得了重要进展。
经过团队反复研究认为,想要研发出理想产品,需要探究出病患头皮脑电信号与肢体动作间的关系,并将相关规律应用到外骨骼产品中,辅助病人进行康复动作,达到训练的目的。
研究路径明确后,首要的就是收集相关脑信号数据。“我之前测量的都是普通人,对病患脑电信号具体如何并不清楚。”王佳蓉说,团队先根据前期试验整理出每个类别80组数据,每人一组进行样本统计。
她告诉记者,和正常人相比,病人脑信号更复杂,同时容易受到其他因素的影响,检测起来并不容易。“以中风为例,正常人是右脑控制左手,左脑控制右手,但中风患者,一侧损伤后,另一侧大脑可能会提供代偿性功能。”同时,病人由于肌肉紧张、肌肉痉挛、易疲劳、无法久坐等原因无法像健康被试一样进行长时间的脑电数据采集,全部测试下来需要近2小时,并不是所有人都能坚持。
为此,团队专门将数据从80组减少为50组,方便收集。团队不但为第一位病人开展后续跟踪实验,还扩充实验样本,并与神经康复中心建立了合作,累计收集20多位患者的脑信号数据。
与此同时,团队还需要解决新的课题:如何通过分析处理,在繁杂的数据中找到双上肢神经的表征,并从头皮脑电中解码运动意图。“这并不是件容易事,头皮脑电波十分微弱,只有几微伏到几十微伏,而且容易受到各种噪音干扰产生伪迹。”王佳蓉介绍说。
为解决这一问题,王佳蓉和团队成员阅读了大量文献、和导师反复讨论、多次实验采集大量的脑电数据,又反复对比试验了不同类型的滤波技术和滤波流程,一点点检查每一段信号的波形,才最终从脑电波中提取出了与运动相关的电位MRCP。后续工作中,团队还顺利提取了脑电的另一重要特征ERD/S,这一特征初步解码了运动意图。
“传统的深度学习方式,是端对端的形式或提取几种固定模式的脑电特征进行,这种算法有用但在我们的数据上效果并不理想。”王佳蓉回忆,起初,她计划通过深度学习的方法来提升性能,但在反复修改模型和代码后,解码性始终没有明显提升。
“既然现有算法模型效果差CQ9电子平台,我们能不能自己设计一个算法模型?”事实上。做出这个决定需要不小的勇气。重新设计算法,就意味着为拦下“瓷器活”,她先自己制作一把“金刚钻”。
“我一直在研究脑信号,我更理解脑信号图像本身的特点。”长期接触脑电信号特点,王佳蓉相信自己能够创新出一款新的算法模型。
在许多日夜的修改和尝试中,王佳蓉打破了传统用在脑电中的深度学习思路,提出了一种神经生理学驱动的深度学习模型,最终为运动意图的解码性能带来了10%的提升。至此,针对病人脑信号控制肢体的认识,向前推进一大步。
在王佳蓉研究创新算法的同时,还有一批成员在进行着外骨骼控制方面的研究。如果把解码算法比做“剑术”外,那外骨骼控制就应该是展示剑术的“剑”,它决定着是否可以更加智能地控制外骨骼设备。
“起初我在接到这样一份工作之时,也是一头雾水,不知如何下手。”北理工机车学院2019级机械工程专业博士生史浩男回忆。
如何在解码之后进一步从协同控制层面继续提升性能?他冥思苦想,查阅相关资料,最终确定了两个大方向。第一,是复杂的工作人来作,简单的事情机器做。第二,通过环境因素和历史信息对用户的意图做出预测。
经过反复尝试,他将人机协同中的协作方式加以凝练运用到脑机协同中,引入了连续脑机接术、基于合作博弈的自适应脑机协同控制技术,经过几个月的反复实验,最终在2023年的4月16日,控制轨迹在仿真中更加平滑顺畅,并在几天之后在实物的实验中,取得成功。
“MARX首创融合MRCP和ERS/D的双上肢神经表征技术、独特的高鲁棒性双上肢运动神经解码算法、创新性的变结构脑机博弈协同控制策略,三大核心技术,重新定义机器人外骨骼。”团队展示人张经纬介绍说,他是比利时鲁汶大学博士。
据介绍,MARX是一项跨国合作的项目,现在国外读书的张经纬在该创新创业项目中负责市场调研、竞品分析与产品服务模式等方面,通过对比,他发现目前基于脑电的双上肢康复产品目前有许多技术难点。一是由于脑电的复杂性,双上肢的解码难度大幅增加,目前市面上的产品还只能做到单上肢运动的解码;二是脑电的解码受环境、个体差异性、使用者的注意力等因素影响,目前产品的鲁棒性能不够;三是现有的控制技术人机协调性能差,康复过程不能根据人的状态自动调整。
瞄准这些行业痛点,该团队历经多年时间用多项突破性的技术打造出了脑控外骨骼MARX。团队首创的融合MRCP和ERS/D的双上肢神经表征技术使得MARX成为了世界上首个可以同时控制左右两肢的脑控外骨骼。该团队针对双上肢运动场景,首次使用了基于神经机理驱动的深度学习算法,将多模态的信息进行融合,使得模型达到了比现有技术高 10%的解析精度,同时实现了分心及干扰条件下的解码性能的稳定。除此之外,他们创新性地提出了变结构脑机博弈协同控制策略,使MARX成为了世界上第一款将神经控制与机器人自主控制相结合的外骨骼,真正实现了“人机共融”。
“这是北理工和鲁汶大学在科学研究上强强联合的卓越成果,也是中国智造有能力向世界前沿科学领域发起冲击,实现高水平科技自立自强的有力证明!”张经纬博士说。
智能人机系统团队的学术带头人毕路拯教授是该项目的指导教师,他评价道“这个项目展现了令人振奋的前瞻性和社会责任感,在多项技术上取得了重大突破,未来有望为肢体功能老化的老年人和残障者带来生命的尊严与康复的希望”。