大数据特辑｜第7章：图形化数据管理运维

如今，云计算、物联网、各类新型网络应用的兴起，推进人类社会的数据种类和规模大幅增长，我们正式跨入了大数据时代。当数据已经从简单的处理对象变为大体量的共享资源，大数据的规模效应已经给深层次分析带来了极大挑战，而深度洞察分析对数据管理要求很高。因而，如何更好的管理和运维数据成为了热门话题。

何为数据管理运维？传统意义上来说，就是利用计算机硬件和软件对数据进行收集、存储、处理和应用的全过程。对于基本的关系型数据库而言，由于数据规模不大，结构化单一，所以对数据管理要求不高；而在大数据时代的数据管理，相较于传统的数据管理实现了质的飞跃。大数据时代的数据管理除了包括传统的数据管理运维功能外，还需要包括众多复杂的开源组件的集成，对集群的自动化安装部署、集群监控、集群告警、集群安全等。

大数据的出现，会颠覆传统的数据管理方式，尤其是可视化的管理将会是一个极大的挑战。从运维角度来看，大数据时代的部署是基于分布式的、规模较大的集群，这就会涉及到多节点部署以及节点间的资源调度。分布式基础资源的调度、调优和监控对可视化的管理要求极高。

针对这些问题，我们开发了一款基于图形可视化的大数据管理软件产品，主要用于大数据平台的日常运行维护。该产品具有三大功能模块：存储模块、调度模块和应用模块，实现细化管理各类角色的权限以保障数据安全，并对平台资源和管理节点进行监管和控制便于合理安排和调配平台的资源，以及对数据进行可视化查询、统计和处理。

图1、大数据管理平台架构图

大数据平台的图形化管理工具主要包含下面功能：

集群一键部署

用户权限设置：

包括系统管理、综合部署、元数据管理等权限

平台的资源控制：

包含数据表数量、并发数量等

管理节点：

跟踪节点部署状态和运行状态；修改节点信息，包括IP和名称等

集群监控：

对各类数据库集群统一管理和配置

查询分析：

执行sql语句，对数据进行查询、统计和处理

图2：数据管理平台截图