解决方案及案例
Solutions and cases
2020-12-14 3517
国资委下属某汽车科研中心为实时监测汽车状态,监测汽车是否符合国五国六标准。在汽车上安装了采集数据的车载终端,实时将数据发送回数据中心。上报的数据量超千亿条,需要实现千亿规模的实时查询、统计和分析功能。
由于数据规模过大,导致数据查询统计响应过慢,因此需使用能服务于超大数据体量的数据库实现数据的快速检索和分析。基于此,客户最终采用了录信LSQL检索分析型数据库。
在对于系统的部署构架方面,除了终端采集设备与用户端的展示层,整体方案部署在华为云上,包含数据采集服务,LSQL存储检索服务,以及应用和WEB服务。
ETL数据接入服务
车载终端上报的数据,经过ETL模块采集、清洗,传给消息中间件kakfa;
录信数据库存储检索服务
部署录信数据库软件,用于存储接收到的数据,并提供实时查询、统计功能;数据存储采用了HDFS分布式文件系统;
应用服务
基于自研数据库提供的接口,实现相应的上层应用;
WEB服务
对用户提供WEB服务。
整体架构如下:
项目部署简单快捷,在现有的华为云上,实施以下步骤:
1.部署hadoop集群用于存储数据;
2.部署kakfa集群用于实时数据接入,并定制开发ETL模块;
3.部署录信数据库软件,即可实现海量数据实时查询统计等功能。
(1)项目部署周期短
一周完成整体项目的部署上线。
(2)系统稳定性得到显著提升
项目已经稳定运行一年以上,每日增量数据超过1亿条以上,存量数据已经过百亿。
(3)系统迁移过程更加平稳顺滑
录信数据库提供了类SQL的接口,大大降低了使用难度,用户可以快速开发上层应用。
上一篇:某交通部门大数据平台项目
下一篇:某部数据资产管理系统