船舶AIS监控网络-船位信息查询：实时查询船舶动态，服务于船舶安全航行管理、港口调度计划、物流、船代、货代。【AIS动态信息编写船舶轨迹】

本文介绍了船舶数据管理与展示系统，重点讲述了基于AIS技术的船舶动态位置获取与显示方法，利用WebGis技术在电子海图上直观呈现船舶信息。文章详细阐述了系统架构，包括船舶数据服务器、海图服务器、数据处理服务器及客户服务器的分布与功能。此外，还介绍了数据同步方案，基于Binlog实时同步、Canal数据迁移工具及阿里云DTS等技术，确保数据高效传输至Elasticsearch存储。最后，补充提到了船讯网作为船舶位置查询的免费服务，为系统应用提供了补充支持。

文章目录

• 引言
• I 预备知识
• • 1.1 相关术语
  • 1.2 主要功能
  • 1.3 MongoDB和Es各自优势

II 系统架构
2.1 电子海图工具的开源JavaScript包
2.2 地图渲染引擎
2.3 地图服务接口（天地图）
2.4 在Elasticsearch数据库中存储船舶轨迹数据，以便实现船舶运动轨迹的高效查询与管理。

• 数据同步方案（第三部分）

  • 采用Binlog实时同步机制

    • 数据迁移工具采用Canal
    • Canal的执行流程
    • 阿里云DTS

  • see also

引言

通过多种途径，包括岸基AIS、卫星AIS、Inmarsat-C以及inmarsat D+等多种技术手段，获取船舶的动态位置信息。借助WebGis技术，能够将这些数据直观且便捷地呈现于电子海图上。

AIS是一种船载式通信设备，能够持续不断地传输船舶相关信息，通过AIS接收装置即可接收该数据。通常情况下，AIS接收基站布置在陆地上，因此仅能接收基站周边约60公里范围内的船舶数据。相比之下，卫星AIS系统将AIS接收装置安装在卫星上，从而实现了不受地域限制的全球船舶AIS信息接收。对于大洋上船舶的监控工作，这一技术手段提供了革命性的解决方案。

I 预备知识

1.1 相关术语

地理信息系统( Geographic Information System，GIS)，QGIS is a free, open-source cross-platform application designed for the development, analysis, and visualization of geographic information systems (GIS). https://github.com/qgis/QGIS。

https://www.qgis.org/en/site/forusers/download.html

基于Internet的地理信息系统，我们简称为Web-GIS。WebGIS是Web技术与GIS技术相结合的产物，是通过Web技术扩展和完善地理信息系统的一项新技术。

卫星AIS是一种船舶定位技术，能够通过低轨道卫星接收船舶发送的AIS报文信息。卫星接收并解码AIS报文信息后，将数据转发至相关地球站。这种技术为陆地管理机构提供了船舶动态信息的获取途径，从而实现对远海海域航行船舶的持续监控。

电子海图（EC）、电子海图显示与信息体系（ECDIS）以及电子海图体系（ECS）起源于二十世纪九十年代，是门新兴技术。电子海图主要用于描述可显示于海图信息的数据，其由软件和电子系统构成。

海洋生物种群历史研究（Marine Ecosystem Evolution Timeline，缩写为HMAP）是一项具有重要研究价值的学术项目。该研究项目旨在复原、整理和分析近500至1000年间海洋生物种群的历史数据，以系统地研究和分析这一时间段内海洋生物群落的变化过程。

1.2 主要功能

船舶安全救助综合管理系统平台

（1）查询船舶位置，通过船名、IMO、MMSI、呼号等信息，查询船舶的位置；
（2）历史轨迹，用户可以查询1-2个月的船舶航行轨迹；
（3）船队管理，用户可以通过定制和D+船队等，简单方便的管理船队；
（4）到港提醒，根据用户的设置，向用户的手机发送船舶到离港提醒；
（5）海洋气象，将天气变化、温度、气压、风向、风速、海浪、能见度等海洋气象信息叠加到海图上；
（6）添加标注，自定义在海图上叠加各种个性化的标注；
（7）船舶资料，提供来自劳氏超过12万条船舶的详细资料；
（8）船舶筛选，通过目的地、到港时间、船型、吨位、国家、港口等信息，筛选出符合条件的船舶；
（9）港口船舶，统计出港口内所有船舶名称及数量，按照权限查看船舶资料；
（10）海运圈；网络全国内贸海运用户，建立内贸海运社区平台。

1.3 MongoDB和Es各自优势

• Es是一款卓越的搜索引擎，在模糊匹配、全文搜索以及复杂检索等方面相较于MongoDB展现出显著的优势。
  • 在业务场景下的查询相对简单，涉及的查询更新等操作均为固定字段类型，无需进行复杂检索操作的场景下，MongoDB展现出更强的优势。

II 系统架构

分布式计算和集群技术，主要架构包含船舶数据服务器、海图服务器、船舶数据处理服务器以及客户服务器。

船舶数据服务器用于存储遍布全球各地AIS接收的船舶实时动态数据。服务器自动接收并转换二进制AIS数据流，按照标准AIS协议将其转化为可读数据存储于服务器。当用户发起请求时，船舶数据服务器即时响应并更新船舶位置至最新状态。

海图服务器，主要用于存储和处理海量的地理信息系统数据。该服务器基于标准GIS架构设计，将全球地理数据划分为18个层级，并按照预设规则对分片化的地理数据进行独立存储。当用户发起请求时，服务器会自动将请求的地理瓦片数据传输至用户的终端设备，将这些数据下载到本地缓存，以使后续访问更加便捷。

船舶数据处理服务器，用来处理每天收到的海量船舶动态数据。

客户管理系统，主要用于存储客户数据、提供个性化设置、进行权限管理、发出货到付款提醒、处理短信接收与发送、整合卫星D+通信模块等内容。

改写内容

2.1 电子地图开源JavaScript软件包

• OpenLayers主要是一个用于开发WebGIS客户端应用的JavaScript包，官方网站链接为：
  https://openlayers.org/。
  开发版本则可从GitHub获取：
  https://github.com/openlayers/openlayers。

OpenLayers的功能：用于电子地图开发的Web平台，基于OpenLayers平台实现瓦片地图的Web展示

在OpenLayers的体系框架中：将整个地图视为一个容器，即Map。核心是地图图层，即Layer。每个图层都对应一个数据源，即Source。地图表现由地图视图，即View，完成。地图容器还支持一些与用户交互的控件，Control和Interaction。此外，OpenLayers还支持事件机制。

2.2 地图渲染库

HMap | 基于openlayers的封装组件

该存储库提供了一个高效且灵活的本地git分支实现，支持多种版本控制功能。

文档：https://blog.sakitam.com/HMap/documents/#/guide/quickstart

2.3 地图服务调用(天地图)

国家基础地理信息公共服务平台"天地图"（以下简称"天地图"）是由国家基础地理信息中心建设的网络化地理信息资源共享与服务门户。该平台整合了来自国家、省、市（县）各级测绘地理信息部门，以及相关政府部门、企事业单位、社会团体、公众的地理信息公共服务资源，为各类用户提供权威、标准化、统一的网络地理信息服务。

2.4 在Elasticsearch（ES）中存储船舶轨迹数据

在Elasticsearch中存储船舶轨迹数据时，可以构建一个索引架构来记录每一条船舶的轨迹信息。每个轨迹文档可能包含以下字段：

船舶标识符：唯一标识一艘船，例如vessel_id。
时间记录点：记录轨迹点的时间，用于索引和排序，如timestamp。
地理位置信息：记录船舶的位置信息，通常为Geo-point类型，如location。
航行速度：船舶在该点的速度，如speed。
航向信息：船舶的航向或方向，如heading。
额外传感器数据：如果有的话，还可以包括船舶的深度、风速风向等额外信息。

示例文档结构：

    {
      "vessel_id": "VESSEL001",
      "timestamp": "2024-03-08T14:30:00Z",
      "location": {
    "lat": 37.7749,
    "lon": -122.4194
      },
      "speed": 12.5,
      "heading": 135,
      "additional_data": {...} // 其他相关数据
    }

在支持空间查询和分析的场景下，例如，船舶在特定区域内的活动，需要确保location字段被正确识别为地理坐标点，并且在索引创建时指定相应的映射。同时，可以启用geo_point类型的特定分析和聚合功能。

此外，鉴于轨迹数据量可能极大，您还需制定有效的索引策略和数据分片方案。建议采用基于时间序列的索引模版设计，以实现滚动式索引机制，从而确保高效的数据检索能力。为了更好地处理大量数据，可以考虑通过Elasticsearch的批量写入API实现数据的高效批量插入，并定期执行性能优化操作以保持系统的稳定运行。

III 数据同步方案

3.1 基于 Binlog 实时同步

从 MySQL 的 Binlog 日志中提取指定表的相关日志信息；将提取的信息转换为 MQ 格式；开发一个能够处理 MQ 格式消息的消费程序；持续消费 MQ 数据，每次处理一条消息后，立即将其存储至 Elasticsearch 索引中。

优点：

• 避免代码注入、不采用硬编码方式；
• 原有系统无需做任何改动，无需感知相关业务；
• 系统性能表现优异；
• 业务模块解耦，无需关注原有系统的业务逻辑。

缺点：

构建Binlog系统具有较高的复杂度；在采用MQ消费解析的Binlog信息时，其效果将与方案二相似，均面临MQ延迟的问题。

3.2 数据迁移工具：Canal

该方案通过模拟 MySQL 作为主节点的身份，从而实现对 master 节点的Binlog日志的订阅，其主要工作流程包括：

1. Canal服务端通过特定协议向MySQL的主节点发送dump日志；
2. MySQL主节点接收到dump请求后，通过Binlog协议发送Binlog日志给Canal服务端，随后解析原始的byte流数据并将其转换为JSON格式；
3. Canal客户端通过TCP协议或消息队列（MQ）的形式接收Canal服务端发送的同步数据，并将这些数据同步到Elasticsearch中。

3.3 Cannel 执行的核心流程

• Binlog Parser 主要承担 Binlog 的收集、处理以及传输。
• EventSink 主要处理数据的筛选、路由分配和初步加工。

3.4 阿里云 DTS

数据传输服务 DTS（Data Transmission Service）需要付费。

阿里官方文档：https://help.aliyun.com/product/26590.html

see also

船讯网是一个免费的船舶位置查询平台，其官方网站为：https://www.shipxy.com/。在初期运营阶段，该平台维持了高收费、高准入的模式，直至2012年8月才全面实现免费。该平台通过覆盖了超过4000个岸基、2000个海上移动基站、3000个内河基站、6000艘北斗船舶以及130多颗卫星的AIS数据，构建起覆盖全球5000个港口的船舶AIS监控网络，实现了陆地、海洋及卫星维度的全方位监控。