星地融合网络智能路由技术综述

本文针对星地融合网络中的智能路由技术展开研究。随着空间天网应用探讨了基于SDN的星地融合网络架构设计、分布式S D N控制器框架以及智能路由算法的应用现状和发展挑战。研究表明，在轨深度强化学习是解决大规模星地融合网络中动态拓扑变化的有效方法之一，并提出了预训练模型初始化和在线增量学习相结合的部署方案。然而，现有研究仍面临数据量小、实时性不足及复杂度高的问题。文章最后指出，在提高卫星硬件资源利用率的同时优化深度学习算法性能仍是未来的重要方向。

摘要

关键词**：** 星地融合网络 ; 软件定义网络 ; 智能路由 ; 深度学习

1 引言

近年来空天地一体化网络已成为全球研究的热点领域。目前国外主要的研究项目包括SpaceX的Starlink星座、Blue Origin的OneWeb系统以及美国宇航局Kuiper空间项目等；此外中国也推出了"鸿雁"星群、“虹云"系统、“天象"工程以及银河航天集团开发的"Galaxy"计划等多个重要项目；这些卫星系统的快速部署正在如火如荼推进；而当卫星数量急剧增加时；星地融合网络面临着前所未有的技术挑战；其中路由问题正成为当前研究的重点

早期的 satellite 网络通信主要依靠对地静止轨道（Geostationary Orbit, GEO） 卫星，并采用弯曲管道作为传输介质来实现空地间的通信服务。这种基本的通信架构缺乏星间路由的支持。相比之下，在现代 satellite communication networks 中，“constellation system”的设计更加复杂多样：其星座系统由不同轨道倾角和高度的卫星群构成，并包含多种类型的星间连接通道。“these platform 将具备强大的计算能力和数据存储资源”。在人工智能与航空航天技术快速发展的背景下，“as more inter-satellite connections are deployed and the demand for bandwidth keeps increasing”，大量的信息交换与数据处理将通过协同合作的方式完成，在未来的智能集成网络架构下，“major data exchange and processing tasks will be handled through collaborative mechanisms in a centralized integrated network.”

基于...原样保留

2 基于软件定义的星地融合网络架构研究进展

2.1 基于软件定义的卫星网络技术概述

面对日益复杂的新兴卫星应用与服务需求，在传统卫星通信领域仅依靠空间网实现服务交付已显现出明显局限性

研究者对采用SDN技术于卫星网络中所具有的优势、网络架构设计原则以及关键技术展开深入探讨，并详细剖析了空天地一体化网络中的分层组织结构。现有研究发现，在组网架构的设计上存在多种不同的方案，每种方案对应构建出具有独特特征的SDN层次结构。对于空天地一体化网络系统而言，在当前的研究成果中发现其采用了两种主要的分层结构模式，并具体可分为两大类。

（1）星地协同架构

这类架构实现了天地之间的互联，在多数研究中选择将控制平面部署于地面网络，并由卫星网负责传输数据。通过星地链路实现了对中低轨卫星网的实时监控和流量调度。该系统采用的是基于地面站的一端式管理策略，在星地链路稳定可用的情况下才能正常运行。

该研究提出的新型星地集成网络架构主要聚焦于 ground-based control 平台，在 various 地面设施（包括 control centers, base stations, 和 ground stations 等）部署 SDN controllers 来分别负责 ground 和 satellite 网络的管理与调控。而 satellite layer 的主要职责仅限于数据转发功能。该研究将整个 network 系统划分为天地空三层结构，并确保各层级能够在独立运行的基础上实现互联互通，并通过协调机制实现信息共享与协作。位于非 satellite 层面的各层级均配备有 SDN controllers 用于本地管理与协调；此外, 还有其他相关研究如[29]等均基于类似的思想展开深入探讨

（2）分层卫星架构

随着卫星星座的发展规模不断扩大，在采用数据平面与控制平面混合部署的架构中，越来越多的研究开始在卫星上部署控制功能以实现网络自主管理。这种设计模式特别适用于大尺寸、密集组网的卫星星座场景。

该研究基于分布式S D N架构构建了三层卫星网络模型GEO/MEO/LEO，并将其应用于通信系统设计中。
其中LEO层主要负责数据转发功能，
而MEO及GEO层则分别承担了搭载控制器并进行数据交换的任务，
实现了控制平面的逻辑中心化与物理分散配置。
研究者指出该系统采用Raft算法确保了控制器集群的一致性维护，
并将控制层功能分配至GEO层卫星上，
同时将转发与管理职责划分为LEO/MEO层及网关节点。
此外还设置了地面骨干网作为管理中心用于资源调度与决策指挥。
相比之下该研究团队提出的三层通信架构则将GEO定义为主控卫星，
MEO作为辅助搜索路径的作用卫星，
LEO则专注于信息转发工作。
在此基础上他们还创新性地提出了自适应路由算法以提升网络性能水平。
值得注意的是该团队在最新研究中引入了动态自组网的概念，
并提出了一种基于SDN的控制器动态部署方案：
即通过地面管理控制中心协调主控制器与从控制器的工作状态实现资源优化配置。
此外他们还构建了一种单层卫星多层控制器架构：
其中控制平面由GEO卫星与地面站共同构成，
利用其强大的计算能力实时收集并处理流信息并通过神经网络训练模型以支持数据流传输优化；
而数据平面则由LEO卫星承担，
根据预发模型完成路径预测并执行数据转发任务。

该文提出了一种采用分布式软件定义网络（SDN）技术实现的天地一体化智能路由方案。在此前的研究成果上进一步引入了地面站与多级卫星组网架构，并结合两端双向通信机制。该方案还融合了层次化区域化管理策略，并提出了双端控制、分层分域的智能控制思想。通过这一创新设计，在提升资源利用率的同时显著提升了天地网络资源整合能力与通信连通性水平。

2.2 基于软件定义的分层架构

目前而言，在空间网络领域对具有高时敏性质的任务需求日益凸显。基于地面数据中心进行卫星组网的传统方式因存在时延过大等局限性而难以满足当前需求。此外，在受限于空间任务高度突发性的特点、星地链路不稳定的特性以及卫星节点接入过程中的随机性等因素的影响下，在实现卫星组网及协同方面的能力显著不足的状态下，地面数据中心提供的支持也难以达到预期效果。

因此，在推进星地融合网络集中自主治理能力建设的过程中，在为天基高时敏应用提供定制化网络支撑方面奠定了基础性工作。本文创新性地提出了基于软件定义网络（SDN）理念的轨地融合智能组网架构设计与实现方案。该智能路由框架由天基网络系统和地面骨干网络两部分构成：其中天基网络涵盖了高轨卫星集群组网和低轨卫星集群组网两大核心模块。该创新性架构通过实现智能化的网络控制功能，在天地之间建立起了高效的资源整合机制与互联互通保障体系

图1 基于SDN的在轨自主控制星地融合智能组网架构

针对典型的星地通信和遥感数据中继转发应用场景，在分析现有天基网络架构的基础上

（1）高轨SDN控制平面

高轨卫星即被称为地球同步轨道卫星，在全球范围内拥有广泛覆盖范围的同时其辐射面位置较为固定并且集群网络架构具有高度稳定性。这类星体具备体积庞大特性在其载荷资源方面相较于低轨卫星更为丰富从而能够承担更为复杂的计算任务同时也能支持更加密集的同轨通信需求。在该架构中计划在全球范围内部署一层具备自主管理能力的SDN控制器形成一个统一的高轨SDN集群系统并将该层作为天基网络的一级控制平面基础。根据实际应用场景的需求动态开销相应的SDN控制器以实现资源的最佳配置与优化。

在星地协同作业场景下，在协调运行期间，
由部署于地面数据中心的SDN控制器负责接收并管理低轨卫星集群的整体运作，
而高轨端不再启用SDN功能。
在协同作业过程中，
低轨卫星与地面数据中心之间的通信线路始终保持畅通状态，
相较于同轨道运行的高轨卫星间的通信线路，
其路径长度显著缩短，
传输延迟显著降低；
将地面数据中心设立为一级SDN管理平台，
进而实现了对低轨卫星网络范围内的跨域通信管理

在处理卫星集群独立作业的任务时，在完成低轨卫星集群的管控时，由高轨SDN控制器承担其职责，并部署高轨控制平面构成第一层SDN控制平面以负责跨域通信管理。

（2）低轨SDN控制平面

该系统采用体积较小且覆盖范围受限的方式进行低轨卫星组网，在这种情况下却能实现密集部署模式下的组网节点数量显著增加。通过搭建大规模的低轨卫星网络架构能够显著提升系统处理能力并完成在轨运行任务。本系统采用了将二级SDN控制器配置在低轨卫星集群中的方式作为天基网络的关键控制层。考虑到这一星座系统的拓扑特性及其有限资源限制该框架建议将其划分成多个功能定位明确且互不干扰的自治域并在每个域内独立部署一个SDN控制器以实现对局部区域的小范围网络行为进行精确管控从而为后续天基应用提供全方位服务方案。

在实施星地协同作业任务的过程中, 该层充当星地协同作业的空间网络中继层的角色, 并与地面控制中心的一级SDN控制平面保持连接, 实现了跨区域的SDN管理功能; 同时, 该层还与低轨卫星集群保持通信关系, 负责对任务组网络进行构建与管理

在面对卫星集群的独立作业任务时, 该层级可以直接通过任务接口接入卫星, 收集并分析应用程序所需的网络资源需求, 基于这些需求生成相应的数据传输层控制决策, 进而指导区域子网实现更为优质高效的流量调度机制, 并推动数据转发效率的显著提升. 同时借助高轨SDN平台提供的控制平面功能来辅助完成跨域范围内的网络流量调度

（3）地面骨干网SDN控制平面

该网络通过实现地面上数据中心间的互联功能，
为用户提供充足的数据处理能力，
并支持完成复杂的数据处理任务。
基于此，
在该架构设计中，
在地面上构建一个具备自主决策能力的SDN服务器集群
作为星地网络的地基控制层
与天基网络协同运行。

在星地协同作业场景中，在线下空间资源分配方面形成了一个完整且可扩展的支持体系框架。其中，在线网管理平台能够根据实际运行状况动态优化资源分配策略，在提升系统效率的同时确保服务质量不受影响；同时通过智能算法实现负载均衡管理，在保障服务质量的同时有效提升了系统的抗压性能和稳定性；此外，在线网管理平台还具备完善的应急响应机制，在面对突发情况时能够快速反应并采取有效措施；此外，在线网管理平台还具备完善的应急响应机制，在面对突发情况时能够快速反应并采取有效措施。

在卫星集群单独作业任务中，在星地链路失效的情况下，地基SDN控制平面未加入天基网络的行为规范体系。

该系统架构支持星地协同作业模式以及卫星集群独立作业模式，在保障星地网络资源综合管理的同时显著提升了天基网络的自主运行能力。该架构具备三个显著优势：首先，在高轨卫星上部署软件定义网络（SDN）控制器构建分布式SDN控制平面；通过分布式架构分散单节点负载压力，并采用高可用部署策略以规避单节点故障导致的集群失效；其次，在低轨卫星集群中采用区域化部署策略：根据星座构型划分不同区域；要求所有SDN控制器具备覆盖整个低轨卫星集群的能力；各区域内的SDN控制器可根据任务需求动态启用或禁用；在执行过程中负责区域子网的管理与控制；第三种优势在于混合式控制平面设计：将控制平面与数据平面有机结合；这种设计既能协调同轨异轨间资源分配关系；又能为上层应用提供全面网络支持服务；同时地基与高轨卫星间的双端控制能力使其在不同任务需求和星地链路状态下展现出强大的天基网络管控效能。

3 智能路由技术在卫星领域的研究现状

3.1 智能路由技术概述

在深度学习算法持续创新与网络设备硬件性能显著提升的背景下，在智能路由领域取得了长足进步。然而受限于网络分布式特性的影响，在基于深度学习实现的智能路由方案在正确性和收敛性方面仍存在显著挑战。值得注意的是，在真实场景下的训练与部署方案尚显不够完善。目前针对智能路由的研究主要围绕监督学习与强化学习两大领域展开探讨。

利用深度学习技术建立的路由方案能够将训练得到的数据模型用于路径计算。研究者提出了一种基于服务质量(QoS)保障机制的设计方案，并将其应用于软件定义网络(SDN)架构中以实现智能路由定制化管理。针对网络流量呈现出较强的突发性和动态变化等问题，在现有研究中主要采用神经网络方法建模静态流量特征以提高预测精度；然而该方法存在无法有效应对动态变化的问题。为此相关学者提出了改进型长短期记忆(LSTM)神经网络算法以降低模型过拟合现象并提高预测准确性；同时该方法还能够较好地适应大规模复杂网络环境下的流量预测需求。此外针对复杂交通模式下网络拓扑结构及其运行特征的研究者开发了一种基于图神经网络的方法用于预测拓扑关系输入流量特性以及与路由之间的相互关联性从而实现对网络时延抖动等性能指标的有效估计。由于监督式学习需要大量高质量标注数据集来训练模型而当前实际应用场景中获取高质量标注数据较为困难因此相关研究者逐渐转向探索强化式学习(SRL)方法以解决这一难题。强化式学习的核心思想在于通过智能体与环境之间的交互过程来逐步优化目标策略并最终获得最佳结果；其优势在于可以通过分布式计算框架灵活应对复杂的动态系统问题并且能够在不额外增加系统开销的情况下实现较高的计算效率和较好的可扩展性。在此基础上相关学者提出了自适应路由(AdaR)方案它是采用最小二乘法结合强化式学习技术设计的一种新型路由优化策略；该方法能够显著提升收敛速度并具有良好的实时性特点适用于需要快速响应变化环境的应用场景。此外还有一种名为FROMS的能量感知型多播路由协议它能够在有限资源条件下显著降低系统的总运行成本；近年来研究者又开发出一种新型高效可靠路由协议即在移动自组织网络(MANET)环境下采用深度强化式学习(DRL)方法设计的一种新的多播路由协议这种新方案不仅能够在平衡节点负载的同时延长整个网络寿命还特别适合大规模分布式系统中的应用；不过随着智能体数量的增长其计算复杂度呈指数级增长因此对于大规模实际应用问题仍需进一步优化改进。

此外，在智能路由算法的发展过程中, 人们逐渐意识到基于深度学习的路由算法在准确性、收敛性和实时性等方面的优势, 因此在研究智能路由算法时, 需要特别关注其性能优化方向. 在监督学习阶段中, 训练过程对计算资源和数据量有较高的需求, 因此大多数情况下采用离线方式进行参数优化, 并将优化后的模型部署到网络节点上；而强化学习方法则通过动态调整策略以适应网络环境的变化. 在实际应用中, 智能路由算法的部署方案主要分为集中式与分布式两种模式. 集中式方案将智能路由算法运行在统一的控制器上, 该控制器负责整合网络状态信息并根据预训练模型做出决策后下发指令至各节点；分布式方案则通过在网络节点内部署算法实现自主决策, 这种方式能够显著提升网络的灵活性和扩展性. 表1详细归纳了上述各类智能路由算法的具体实现模式与部署架构.

3.2 星载智能路由概述

星载智能路由技术旨在解决传统路由策略在面对过去的状况（如高时延和高数据包丢失率）时未能有效学习与改进的问题。该技术不仅为提升未来的超密集大规模星座网络性能并优化网络服务质量提供重要思路。

从应用优化的角度来看，在星载系统中开展智能路由技术研究主要聚焦于两个关键方面：一是低时延传输路径的选择问题；二是如何有效应对网络流量中的拥塞现象。在解决低时延传输路径的设计问题上，已有研究表明可采用机器学习技术对时延容忍网络（DTN）进行路由优化设计；其中主要采用了Q路由算法与朴素贝叶斯分类方法相结合的技术方案。对于流量拥塞控制这一核心问题，在现有研究中提出了多种解决方案：一方面有学者基于深度卷积神经网络构建了流智能感知模型，并据此设计了一种动态的流量管理策略；另一方面则开发了基于不完全信息博弈理论与强化学习算法相结合的有限贪婪快速拥塞控制（LGFCC）方案；此外，在该领域还提出了多种创新性的改进方法以进一步提升系统的智能化水平。

基于无线传感网（Wireless Sensor Network, WSN）的研究发现，在其拓扑结构设计方面与当前卫星网络具有高度相似性特征。在WSN中实现的智能路由算法主要包含以下五类：基于强化学习机制的设计方案、基于蚁群优化算法的应用方案、基于模糊逻辑理论的方法、基于遗传算法原理的操作方案以及基于神经网络模型的应用方案。然而，在星地融合网络环境下，由于受限于卫星节点的高度移动灵活性、复杂化的星上环境特征以及所需预测指标数量显著增加等多重限制条件，在应用层面对现有WSN中的这些智能路由算法直接迁移存在明显技术障碍。当前能够有效应用于星地融合网络的人工智能路由算法体系主要依据所利用的历史训练数据类型是否具有标签属性可分为两类：一种是典型的监督学习方法，在面对拓扑多变的空间网络环境时需要进行大量协议转换开销，并依赖真实训练样本数据进行学习训练；另一种是基于深度强化学习机制的方法，在处理复杂的动态环境问题方面表现更为突出。

现有研究提出了一种智能方法，在本质上实现了卫星流量路径优化与拥塞控制的关键环节。这些研究主要停留在算法层面，在仿真实验中并未充分结合卫星网络的具体特性与其在真实环境下部署与训练存在较大差距。因此构建高效的AI学习架构及路由算法成为未来研究的重点。为此本文提出了一种基于轨上深度强化学习的方法：将星地融合网络拓扑变化表输入到强化学习模型中，并通过模型预测未来拓扑结构；在此基础上依据历史流量矩阵确定当前最优路由方案；最终实现数据流传输效率的最大化提升以及传输过程中的资源浪费率最小化目标

4 智能路由算法的训练、部署及实现

4.1 训练与部署技术

基于现有地面网络智能路由算法的研究结果以及软件定义（SDN）架构的特点，在本文中我们提出了采用深度强化学习技术作为解决连续时间间隔内通用且可定制化 routing 策略优化问题的有效解决方案之一。在星地融合分层网络安全环境具有高度动态性且受限于资源的前提下，在针对星地融合分层网中的 intelligent routing algorithm 基于深度强化学习技术进行设计时提出了一个合理的系统架构：通过引入在线分布式 deep reinforcement learning 方法设计了一种适用于该场景下的 intelligent routing algorithm deployment 方案；从而实现了在复杂星地融合网络安全环境中实现低成本且可靠的智能化 routing 系统构建目标。

基于本文提出的星地融合网络架构方案中所设计的技术框架内

图2 卫星网络智能路由训练和部署方案

在实施过程中最先对整个网络进行路由算法初始化。基于现有网络历史流量数据和数据模拟方法构建了预训练机制以生成深度学习所需的训练数据。依靠地面数据中心强大的计算能力完成了智能路由决策模型的离线初始化并将该模型部署至高轨卫星。此外通过星间链路实现了预训练模型在卫星网络内部的有效分发以提升整体通信效率。

（2）在数据传输过程中，在该网络内部整合了各节点产生的流量信息，并将其发送至该网络的所有卫星节点。具体而言，在同一网络内通过二级SDN控制器执行集中化的在线深度强化学习算法以优化路径选择，并将训练获得的有效路由策略推送给所有相关节点。此外，在不同网络之间的数据传输中，则由一级SDN控制器负责处理模型训练并实施智能路由策略的分发过程。

在卫星域内出现二级SDN控制节点故障时,控制器将重新确认配置.新控制节点将获取原有配置模型,并在此基础上实施增量式更新.然而,星间链路的变化可能导致路由决策存在安全隐患,如导致路由环路形成或引起网络拥塞现象发生.对此,可采用简单可靠接触图路径算法替代原先的路径选择方案;同时,在深度强化学习过程中增加惩罚系数以减少重复路径选择的可能性.

每个二级SDN控制器仅基于本地信息自主完成决策，在星地融合网络中实现独立运行。为了实现卫星域间分布式决策达到全局最优的目标，在现有研究基础上采用DDPG框架这一先进分布式优化方法作为理论支撑。其中设置了一个中心节点（即一级SDN控制器），该中心节点掌握网络全局运行状态，并以提升网络负载均衡能力为目标任务对各二级SDN控制器进行实时评估与指导。通过动态评分机制，各二级SDN控制器能够针对性地优化自身路由策略，在保证通信质量的同时实现整体网络性能的最大化提升。

4.2 算法软件支撑平台

随着卫星数量的增长以及硬件性能的显著提升

该平台通过卫星群实现部署，在轨运行中每个单星节点具备自主算力并完成本地任务处理。这些节点不仅能够独立运行固定功能任务，在必要时还能通过星间链路与其他可通信达的卫星协同工作以共享算力资源。如图3所示，在轨运行中的单星节点包含基础资源单元、异构计算单元、虚拟化支撑模块及应用开发模块四个主要部分

图3 支撑智能路由的在轨计算平台

经过预训练模型生成后,随后通过高速星地链路将模型部署至高轨卫星,并通过星间链路实现模型广播,从而实现实时路由算法的初始化

因为SDN控制器节点承担的任务繁重而导致计算工作量较大，在这种情况下制约网络智能路由性能的关键因素由其功能局限性引发的问题变得尤为突出。具体而言，在星间链路数据传输中存在带宽资源分配不当的问题影响着整体系统效率。为此建议从卫星端实现以下几项关键操作：首先，在每个卫星端实现网络流量特征的提取和转换过程并构建历史流量特征矩阵；其次将这些预处理后的数据发送至控制单元；最后通过动态更新特征矩阵实现智能路由优化。

目前，在星地融合网络领域中关于智能路由算法训练与部署方案的研究工作仍处于初级研究阶段。在该研究过程中需要充分考虑卫星网络架构以及相关的卫星平台硬件资源。基于提高卫星硬件资源利用率的前提下，我们希望进一步探索并实现更加有效地将深度学习路由算法与卫星网络架构相结合的技术路径。

5 结束语

该研究领域目前仍处于初期阶段。
智能路由技术在大规模的星地融合系统中应用时会遇到挑战。

网络特征提取方面：为了构建有效的网络运行模型，通常需要大量的数据支持；然而当前星地融合网络仅能获取有限的历史流量数据，在缺乏真实运行数据的情况下难以直接进行模型训练；因此研究者们主要依赖于数据模拟的方法来补充不足；此外由于实际网络环境的动态变化特性，在信息维度不断扩展的情况下特征提取工作面临着诸多挑战

（2）算法稳健性：卫星网络遵循周期性变化规律，在星间链路方面表现出建链快速且距离动态调整的特点。为了适应动态网络环境的变化需求，在模型设计上需要特别关注其适应能力；当前面临的一大技术挑战是如何开发一款既能满足低功耗要求又具备高性能计算能力的深度学习方案以应对天基实时应用需求。

（3）网络可扩展性：星地融合网络具有较长的建设周期，在前期阶段应充分考虑其可扩展性问题。集中式控制方式能够从全局视角实现路由决策优化功能；然而由于实时采集网络状态信息的成本较高，在实际应用中往往面临这一局限性。此外，在这种情况下还存在一个关键问题：即由于计算能力限制而导致控制中心无法有效扩展成为主要障碍。基于以上分析可知，在未来的发展过程中分布式路由控制策略将成为主要的技术方向

综上所述，在面对大规模星地融合网络的拓扑动态性与复杂的链路多样性特征时，本文致力于实现面向用户QoS的网络智能管理目标。具体而言，在本文的研究框架下，则从顶层网络架构、智能路由算法及其训练与部署三个维度深入剖析了智能路由技术的关键要素。通过调研现有的基于SDN的智能网络架构，并结合天基网络动态运行的特点，在此基础上深入探讨了基于深度强化学习的智能路由算法的设计思路，并在此基础上完成了相应的训练与部署方案的设计工作；最终得出了关于星地融合网络环境下智能路由技术面临的主要挑战的结论。