Joint Neural Architecture and Hyperparameter Search for Correlated Time Series Forecasting
本研究提出了一种高效的联合架构和超参数搜索框架（SEARCH）来解决时间序列预测中的关键问题。该框架通过引入架构超参数比较器（AHC），实现了对候选架构和超参数的高效排序与选择，并支持跨数据集的知识迁移以提升搜索效率。实验结果表明，SEARCH显著提高了预测精度、降低了内存消耗，并实现了快速的搜索过程，在多个标准数据集上验证了其有效性。该方法克服了现有自动时间序列预测方案中的主要局限性，并展示了在大数据规模下的良好可扩展性。
Investigating the Integration of Neural Architectures and Hyperparameter Optimization for Time Series Forecasting with Correlations (sigmod2023)
信息物理融合系统中的传感器通常用于采集相互关联的过程数据，并通过生成时间序列数据(Continuous Time Series, CTS)来实现对系统的动态行为分析与预测。时间序列预测的关键在于准确揭示其时间动态特性和空间相关性特征。基于深度学习的方法在这一领域展现出卓越的应用价值和性能表现。特别地，在自动化的CTS预测体系中（Autonomous CTS Prediction System, Auto-CTS），通过优化设计最佳深度学习架构（Optimal Deep Learning Architecture, ODL-Auto）以提升预测精度的优势已得到充分验证（如图1所示）。然而目前Auto-CTS方案仍处于基础探索阶段，在实际应用中主要局限于预设参数条件下的模型优化设计，并不具备良好的扩展性以应对复杂场景下的大规模应用需求。针对上述限制性问题本文提出 novel SEARCH算法框架（Systematic Efficient Hybrid Architecture Research, SEHAR），该框架旨在自动生成高效可靠的CTS预测模型结构并实现对其性能指标的有效优化与评估机制构建过程如下：首先将候选架构及其伴随超参数统一编码为联合图表示形式；其次引入创新性的体系结构超参数比较器(Architecture Hyperparameter Comparison Operator, AHCO)系统性地对所有体系结构超参数组合进行排序；最后针对排序结果中的最优候选方案进行深入性能评估并最终确定最优模型架构选择方案以实现对CTS预测模型的整体优化目标在此实验研究基础上通过6个典型基准数据集的测试结果表明所提出的SEARCH框架不仅可以显著减少人工干预步骤而且在预测精度和泛化能力方面均超越了传统人工设计方法及现有的Auto-CTS自动设计方案同时展现出良好的可扩展性特征
这篇论文基于VLDB 2022年的AutoCTS框架：Automated Correlated Time Series Forecasting（AutoCTS）的基础上展开续作研究。其中对时间序列预测问题展开研究，并展现了其独特价值。然而尽管研究提升了自动搜索序列结构的能力但文章未能探讨如何在满足特定预测条件时对模型进行剪枝处理这导致所建立的[模型]在训练与存储过程中所需资源消耗减少。
本研究计划解决的问题：1.现有自动超参数优化（CTSP）方法通常基于固定的超参数设定，在训练超级网络时面临架构与超参数联合搜索效率不足的问题。解决方案：传统的联合搜索方案依赖于人工干预程度较高以选择合适的超参数配置，在实际应用中可能导致架构选择非最优解，并使框架在一定程度上变为半自动化操作模式。此外，在每一次随机采样新的超参数组合时都需要执行现有的自动化架构搜索流程以获取最优网络结构，在大规模样本空间下会导致计算开销显著增加
(2) 低可扩展性问题。现有自动CTS预测方法通常存在扩展性不足的问题，在训练阶段需要将整个超网络保留在内存中；这可能会导致在大规模CTS设置下出现内存溢出（参考文献[22,31]）。具体而言，在时间序列N和历史时间戳P数量增长时；神经算子所涉及的内存成本会急剧上升。
采用一次性使用的方式，在多个相关数据集上积累经验后，在新数据集上实现更快捷的搜索效果。这表明构建通用可迁移的自动化系统具备显著提升搜索效率的可能性。
二 文中提出的解决方法
本研究开发了一种名为SEARCH的可扩展且高效的联合架构与超参数搜索框架,该框架旨在优化模型性能并解决先前提到的问题.
首先，在多个体系结构与超参数（arch-hyper）的不同组合下构建了一个联合搜索空间的目标是为了筛选出最有效的体系结构与超参数组合，并最终突破第一道技术瓶颈。
为减少对内存的高消耗及可能限制扩展性的超网，在本研究中提出了新型架构超参数比较器(AHC)。该方法通过联合搜索空间对候选arch-hyper进行排序。给定两个候选arch-hyper的编码表示为二进制值，则 AHC 可以区分哪个 arch-hyper 具有最佳精度。从而推断候选主 hyper 的优先级排序。随后, 我们专注于训练排名前 k 的 arch-hyper, 并从中选择预测性能最佳的一个作为最终模型。由于该方法采用了轻量级图神经网络实现, 并且其输入直接基于 arch-hyper 的编码而非 CTS 数据, 因此该方法在性能上与现有 supernet 基础框架相比完全独立于 𝑃 和 𝑁 参数, 具有更高的可扩展性。
第三点建议的是，在已经训练好的一个数据集上应用其模型至未曾见过的新数据集，并通过这种方式来提升在新数据集上的学习效率，并以此来缓解第三个限制。
SCALABLE AND EFFICIENT JOINT SEARCH
Joint Search Space
联合搜索空间构建了一个涵盖st -块两方面的综合框架；该框架主要包含两个核心要素：第一部分是系统结构的设计方案（即算子及其连接方式），第二部分是系统的超参数设置（其中包括与系统结构相关的配置参数（如隐藏层维度）以及与训练优化相关的训练参数设置（例如学习率、批量大小等）。
1 ）Architecture Search Space.
1.1 Candidate operators
1.2 Topological connections
2） Hyperparameter Search Space.
我们考虑两种超参数:结构超参数和训练超参数
3）Architecture-Hyperparameter Comparator
这部分跳过。。。。。。在贝叶斯统计模型中有类似的方法
EXPERIMENTS
基于4个CTS数据集实施多步预测，在2个CTS数据集中应用单步预测。实验数据显示所提出的框架显著地克服了现有研究中的三大不足：其具有更高的预测精度、更低的内存占用量以及更快的搜索效率。
