Advertisement

如何使用zeppelin实现大数据可视化

阅读量:

Zeppelin采用Spark作为基础构建了其数据可视化解决方案,并且能够处理Scala语言以及展示表数据内容。它通过interpreter这一工具实现的数据源扩展功能进一步增强了系统的灵活性与可操作性能力,在GitHub等平台可找到相应插件以满足不同数据库需求

下面着重介绍zeppelin notebook中代码书写:

scala:此interpreter的优势在于能够整合多源数据到统一视图中进行展示。例如,在MySQL、Hive等数据库间实现混合展示效果

Load mysql表,并注册为spark sqlContext同样的表名:

导入java.util.Properties类以获取属性值对象

Hive数据可以直接进行load:

sql(s"""
SELECT
...
FROM table where ...""").registerTempTable("hive_table")

对mysql,hive表进行混合查询,支持下拉框:

.sql(""执行查询...从..."""
+
z.select(“数据来源”, Seq((('MySQL_表1’, ‘MySQL_表1 数据’), ('MySQL_表2’, ‘MySQL_表2 数据’), ('Hive_表’, ‘Hive 数据')))

  • """ WHERE ... """).registerTempTable('result')

效果:

在Scala语言中,可以通过以下方法对DataFrame数据进行展示:首先通过SQL查询获取所需数据,并将每一行转换为用制表符分隔的字符串;接着收集这些字符串并将其转换为换行分隔的字符串;最后将生成的结果与预定义的表格头合并输出

全部评论 (0)

还没有任何评论哟~