基础上，我们将每个集群网络视为认知无线电网中的一个认知节点，所有节点一起组成认知无线电网络。而认知无线电网络与强化学习系统有着密切的联系，故采用强化学习算法学习整个认知无线电网络，优化整个网络信道动态分配。
关键词：应急通信 认知无线电 强化学习
中图分类号：TN92 文献标识码：A 文章编号：1007-9416（2016）02-0000-00
Abstract： A realizable emergency communication scheme based on the dynamic spectrum allocation （DSA） technology in cognitive radio （CR） is discussed. In the scene of the emergency accident， rescue teams from different places have their own cluster network， which can be regarded as a cognitve node in CR and all of them form the whole CR network. Since the CR network is associated with reinforcement learning （RL） system， the RL algorithm is taken to learn and optimize the whole dynamic spectrum allocation scheme in CR.
Keywords： Emergency communication Cognitive radio Reinforcement learning
1引言
应急通信，指当有突发的人为或自然的紧急情况时，利用包括集群、短波、有线、无线、卫星等各种通信资源，为当前救援行动和事后救助提供必要的通信保障的一种暂时性特殊通信[1]。
当前，在城市突发事件中的应急通信保障手段应用最广泛的是集群通信网络。集群通信系统具备其特有的指挥调度功能和组呼功能以及快速呼叫等特性，支持通话、图像、视频等等多种信息获取手段，并且能够与该区域的移动通信、固话通信等通信系统实现有效连接，具备良好的动态适应能力和拓展性，在当前的城市应急通信中有着重要地位[2]。然而，特定的部门拥有特定的的集群网络，在突发重大事故中，多个不同部门抢险救灾的应急力量一时间从四面八方迅速赶来，如解放军、武警、公安消防等，即使是同一部门也有来自不同地方的，各自的集群网络由于信道资源分配、MAC层接口协议设计很有可能不同。这样各应急系统之间不能进行频谱共享，而且在事发地，会有大量突发的无线业务，将会造成无线应急系统的频谱资源紧张，呼叫拥塞，甚至系统瘫痪[3]。导致无法进行有效的通信，进而使信息上传下达不顺畅，无法进行统一指挥调度，贻误战机，甚至使事态进一步扩大。因此，如何利用好现场已有的包括集群通信网络的各种通信手段，重新实现信道的动态分配，使得不同的网络之间可以进行有效地通信，是本文要进行进行探讨的关键。本文讨论的方案是在原有的集群通信网络的基础上，使用频谱感知和动态分配等技术使不同的集群网络能够快速的融合成一个整体而进行有效地通信。
强化学习技术是从神经网络、统计学习理论和控制等学科发展起来的，属于机器学习的三大分支之一[10]。强化学习不需要像监督学习那样进行模型训练，它可以高效利用环境知识，并与之进行动态交互，学习效率高且收敛很快。其学习过程更类似人或者生物的认知（趋利避害）过程，而认知无线电的通信过程也是要求具有认知能力，认知通信的过程中能跟周围复杂的电磁环境进行有效的交互。故强化学习技术和认知无线电技术二者之间本质上存在紧密联系，目前已有部分研究将强化学习算法应用到认知无线电通信中，文献[12]中提出了一种基于Q-Learning自动化分配信道和功率的算法，将强化学习应用于认知无线电网络功率和信道的分配领域。文献[13]则提出了一种基于博弈竞拍的Q-Learning算法来改善SU用户的频谱动态接入。采用强化学习技术来对整个认知无线电网络通信进行优化学习可以很好的提高整个网络的性能。
以下是本文结构的安排：第二部分对动态频谱接入进行介绍；第三部分主要是强化学习主要算法进行简介；第四部分则是首先对整个通信中的感知模型进行分析简化，其次在采用强化学习算法优化动态信道分配。
2动态频谱接入
近年来，由Mitola教授提出的认知无线电[4]（Cognitive Radio，CR）通信技术受到极大的关注和迅速的发展。认知无线电能够智能地实现动态的频谱接入和信道的重新分配，允许频谱中的主用户（Primary User，PU）将暂时不用或者利用不充分的频段给其他的未授权的用户（Secondary User， SU）使用，从而实现频谱动态分配，高效地利用频谱资源。
认知无线电技术实现的关键技术在于动态频谱接入（Dynamic Spectrum Access，DSA）。DSA的实现主要分为以下四个关键技术：
（1）频谱检测：当前的认知无线电频谱检测技术主要有三种：匹配滤波法、特征检测法和能量检测法。其中匹配滤波法和特征检测法需要有同步信息和主用户的先验信息，在实际应用中较不理想，而目前使用和研究最为广泛的是能量检测法，它可以在不需要任何先验信息和同步信号的条件下，只要SU用户的SNR值适定[5]，即可很好的检测到PU用户是否存在。故本技术方案采用能量检测法。
（2）频谱管理：频谱管理包括频谱分析和频谱判决。频谱分析是在频谱检测或感知的基础上，根据PU用户的活跃规律、某些频带的干扰程度以及信道衰减等指标对频谱空洞的“质量”进行分析，然后依据分析的结果，在满足QoS需求的条件下作出最佳判决来选择当前最优的频段进行通信。
（3）动态频谱共享：即允许部分SU用户在不影响主用户的前提下动态共享部分频谱资源，从而实现对频谱资源的高效利用，有效解决频谱资源的稀缺拥挤问题[6]。当前按照网络架构标准可以将其分类为集中式和分布式网络，其中分步式的协作频谱共享方法近来研究取得很好的进展，文献[7]提出了一种分布式的协作算法，SU用户两两之间可以直接进行协作通信，而且距离越近的越容易检测到PU和周围的SU用户，这种方法稍加改进即可成为本方案使用的核心方法，即SU用户之间越靠近越容易检测到对方，在本论文中规定一定距离R内可以感知检测到对方，R距离之外则认为不能检测到。
（4）频谱切换：也称频谱移动。由于PU用户授权使用的频段的变化等原因导致“频谱空洞”的变化，故SU用户所用的频段也是在动态变化的，而SU用户从一个频段切换到另外一个频段时会引入一定的时间延迟，同时也影响着网络结构，因此频谱切换机制需要保证此过程能平稳进行。
整个认知通信过程如图1所示。
目前，认知无线电通信技术在应急通信领域尚处于起步和研讨阶段，Przemyslaw在2005年对移动自组织应急网络系统的需求进行探讨[8]，分析了应急通信中的一些关键问题，并将其应用于应急通信的认知无线电的MAC层协议，提出基于分布式信道分配算法的认知网络模型；蒋富等人于2012年提出基于集群智能的动态信道分配系统模型[9]，系统中的每一节点可根据检测到的可用信道信噪比以及邻域节点进行信道的选择分配，将所有节点视作一个集群，节点自身进行信道更新并与其他节点交互而形成集群智能网络。
3强化学习模型
强化学习的本质是决策机制与环境进行不断交互之后逐渐取得最佳决策的过程，其交互模型如下图2。
在强化学习过程中，在当前时刻为t时，机制（Agent）选择动作At作用于环境（Environment），环境则会依据所作用的动作At更新出下一时刻的状态（State）St+1并产生一个回报信号（Reward）Rt+1反馈回给机制，回报信号分为奖励和惩罚。机制根据当前状态和回报选择下一个动作，动作的选择原则是尽量对可以获得奖励的动作进行选择，这样系统选择具有奖励的动作的趋势会得到加强，而选择得到惩罚的动作的趋势会逐渐减弱。总之就是想法设法最大化奖励值。
强化学习问题可以归结成一个有限的马尔科夫决策过程（Finite Markov Decision Process， FMDP）。即在时刻t+1的响应所处于的状态s’和获得的回报r只取决于时刻t所处的状态s和对应采取的动作a，采用概率分布模型表示如下：
4城市处置突发事件中应急通信需求模型分析
4.1系统感知模型
城市突发事件爆发初期，在抢险救灾的过程中，不同的应急力量一时间从四面八方迅速赶来支援，包含了多个不同部门，如解放军、武警、公安消防等，也包含了同一部门不同地方的力量。形色不同的各种救援力量自己本身都拥有自己集群通信网络，集群网络本身有着良好的动态适应能力和网络拓展能力，但是由于现场往往出现通信频段拥挤堵塞、不同网络之间的通信频段不同而不能进行有效通信。本论文的主旨在于提出一种方法，整合原有的集群通信网络，使得原本“各自为营”的集群网络可以实现不同“阵营”之间的有效通信。
我们现将每个集群网络作为一个网络节点，所有集群网络所形成的的节点构成整个认知无线电通信网络。规定每个节点本身能够进行对周遭环境一定距离R内的无线电磁环境中进行感知和检测频谱，同时拥有进行接收和发送信号的功能。每个节点的感知模型如图3所示。
4.2强化学习算法优化动态信道分配
本文所讨论的主要问题是如何在整个应急通信系统中优化信道分配，使得信道能够很好地进行动态分配，从而维持现场良好的通信。
现在，我们采用强化学习算法对整个认知无线电通信系统进行学习、优化，进而很好地实现信道动态分配。在整个模型的对应中，我们将每个认知无线电网络上的节点作为强化学习中的机制，每个节点以外的其他节点和电磁环境视为该节点对应的环境。无论该节点是在接收信号还是在发送信号，它都需要维持一个信道集，即该节点能够感知到的可用信道的集合，定义为集合S，如下：
5结语
本文首先对基于认知无线电的应急通信的优势进行详细说明和讨论。相比于传统的应急手段，认知无线电能够更好地对拥塞的信道进行更好的分配，进而达到有效通信的目的。在集群网络的基础上构建认知无线电通信系统更加具有延展性、灵活性等特点。由于认知无线电与强化学习都具备人的认知学习的特点，二者之间有很多紧密联系，我们采用强化学习算法对整个认知无线电通信系统进行学习、优化，进而动态分配好信道，有效地进行通信，为应急通信提供有力手段。
参考文献
[1]孙玉.应急通信技术总体框架讨论[M].人民邮电出版社，2009.07.
[2]王海涛.应急通信发展现状和技术手段分析[J].信息通信技术，2011（5）.
[3]胡晗，朱琦，朱洪波.应急通信系统的动态频谱接入及性能分析.信号处理，2010.
[4]Mitola， J.and Jr.G.Q.Maguire， Cognitive radio： making software radios more personal. Personal Communications，IEEE，1999.6（4）： p.13-18.
[5]Chen， K.and R.Prasad，Cognitive radio networks.2009：John Wiley&Sons
[6]Akyildiz，I.F.，etal.，NeXt generation/dynamic spectrum access/cognitive radio wireless networks： a survey Computer Networks，2006.50（13）： p.2127-2159.
[7]Ganesan， G.and L.Ye. Cooperative spectrum sensing in cognitive radio networks.in New Frontiers in Dynamic Spectrum Access Networks，2005.DySPAN 2005.2005 First IEEE International Symposium on.2005.
[8]Pawelczak，P.，etal. Cognitive radio emergency networks - requirements and design.in New Frontiers in Dynamic Spectrum Access Networks， 2005. DySPAN 2005. 2005 First IEEE International Symposium on.2005.
[9]蒋富，彭军，姜明阳，马建江.应急通信系统中基于集群智能的动态信道分配.计算机应用研究， 2012.
[10]Wiering， M. and M. van Otterlo， Reinforcement Learning： State-of-the-art. Vol. 12. 2012： Springer Science & Business Media.
[11]Watkins， C.J. and P. Dayan， Q-learning. Machine learning， 1992. 8（3-4）： p. 279-292.
收稿日期：2016-01-05
作者简介：刘志强（1984—），男，安徽亳州人，硕士研究生，研究方向：通信信息技术、应急通信。