马尔科夫理论在无人系统中的研究现状

应对作业过程中出现的未知事件。为了实现海上无人装备的自主学习能力，可以采用强化学习［31］的深度学习策略。强化深度学习在遇到未知事件时，首先尝试做出一些行为来得到一个该事件对于这种行为的后果，随后通过该结果下环境产生的反馈对自身策略进行优化，并在下一次遇见该事件时，做出更优的判断。随着反馈学习次数的增加，自主学习级海上无人装备逐渐掌握对于该事件的处理方式。但在执行高危任务时，一个错误的尝试很可能会导致该单位被破坏，那么“学习”所得到的结果就会全部失去。因此，编队中所有单位必须能够实时共享所做的每个尝试性动作以及其所得到的结果，使得“学习”不是个体行为，每个单位都能从其他单位的行为和结果中进行学习，并及时把“学习成果”传输到基站，以防止错误尝试所引发的不良结果导致学习成果丢失，以致学习过程停滞。在处理未知情况的过程中，由于没有相应样本的积累，强化学习过程的结果反馈可能会有一定的延迟，需要在多次“试错—优化”的过程后才能做出正确的判断。为了加速学习进程并且最大化地利用资源，统一规划所有海上无人装备单元，并实时将任务样本传输至基站。同时，基站将各学习样本及时同步至所有海上无人装备，实现所有自主学习级海上无人装备的智能等级同步提升，缩短学习周期。自主学习级海上无人装备能够较好地处理未知事件，适合执行细节信息缺失、不确定性强、未知程度高的高难度任务。随着执行任务量的增加，自主学习级海上无人装备将逐步增强作业能力，扩大作业范围，提升智能水平。

3.5 智能对抗级

智能对抗级海上无人装备拥有相当程度的智能化水平，并能够和人类一样进行快速学习。在自主学习级智能水平的基础上，智能对抗级海上无人装备能够通过元学习形成自身的核心价值，实现通用作业能力，能够在短时间内适应未知的任务环境，并完成任务。在战斗中，该等级海上无人装备可以迅速地对周围局势以及战况做出判断，对敌方的战斗力进行评估，并对未来的发展做出预测，及时将有效信息上传到基站，提供对当前战局的分析。此外，在遇到未知事件时，智能对抗级海上无人装备通过已有元知识的积累，能够迅速理解现状，实现快速学习并做出判断，拟定参考作业策略。 该等级的海上无人装备功能强大、可靠性高，作业模式不局限于单一任务，能够兼顾多个并行任务，支持作业内容的即时切换。此外，智能对抗级海上无人装备不再仅仅是完成任务的工具，同时也是深入战场的移动指挥台，不仅能够及时提供战场信息，还能够对信息进行分析，为指挥者提

供策略建议。1表 总结了上述智能演进的方式以及级差优势。 1目前，第 智能等级的技术已经较为成熟，国2内外的海上无人装备智能等级尚处于第 级与第3级之间：编队的整体行为仍然需要人为干预，相比于完全自主的无人单位，作为领航者的无人单

位依然依赖于人为的远程测控。随着技术的发展，合作交互级无人装备系统最终将对水下、水面、海上空间进行智能装备云部署，完成无人水下机器人、无人水面艇、海上无人机等多种类智能装备深度协同作业，集巡航、侦察、追踪、护卫、反击

等任务于一体的广域任务链，实现海洋领土的一365年 天不间断防卫。合作交互级海上智能装备编队作为任务范围广、高鲁棒性的复杂作业系统，

将成为未来数十年内海上智能装备的主要发展方4向，是海上战争的重要组成部分。第 级无人装备弥补了人为预编程可能造成的疏漏，通过对各

智能体进行互联、共享任务过程，采集庞大的作业5样本库，从而实现智能水平的自我更迭。而第级无人装备作为海上无人智能体的最终形态，具

备自身的核心价值，对战场环境、任务内容有相当的认识和理解，能够基于新的战况以及作业任务为人拟定参考策略。近年来，人工智能技术与船海学科正逐步交叉融合，驱动着海上装备无人