Advertisement

apache Science Data Analytics Platform (SDAP)

阅读量:

科学数据分析平台(Science Data Analytics Platform,SDAP)

什么是SDAP

SDAP是一个技术软件解决方案,旨在更好地使科学家参与推进地球物理海洋学的研究。
该平台是NASA之前资助的几个使用云技术的海洋数据解决方案的组合,包括:

  • data analysis (NEXUS)
  • anomaly detection (OceanXtremes)
  • matchup (DOMS)
  • subsetting
  • discovery (MUDROD)
  • visualization (VQSS)

数据分析(NEXUS)

NEXUS是一个数据密集型的分析解决方案,它使用一种新的方法来处理科学数据,从而支持大规模的数据分析。NEXUS采用的方法是将原始数据拆分成小块存储。每个tile的元数据存储在一个快速可搜索索引中,索引中有一个指向原始数据数组的指针。当需要进行分析时,将在索引中查找必要的tile,然后只加载那些tile的数据进行处理。支持多种算法:

  • 时间序列
  • 纬度/时间Hovmoller
  • 经度/时间Hovmoller
  • 纬度/经度时间平均
  • 面积平均时间序列
  • 时间平均图
  • 气候地图
  • 相关图
  • 每日平均差异

Solr

Solr 用来存储tile的元数据

Cassandra

Cassandra 用来存储数据

ningester

从卷挂载中读取配置和数据,然后“tile”数据并将其保存到数据存储中

MUDROD

全称Mining and Utilizing Dataset Relevancy from Oceanographic Datasets to Improve Data Discovery and Access,从海洋数据集中挖掘和利用数据集相关性,以改进数据发现和访问。

全部评论 (0)

还没有任何评论哟~