南京录信软件技术有限公司

下载试用

解决方案及案例

Solutions and cases

国资委直属某科研中心车联网项目

2020-12-14 628

基于华为云,为国资委下属某汽车科研中心提供千亿规模的大数据分析平台。实现数据实时接入、离线接入、文本检索、聚合统计、数据关联分析等功能。

1.案例背景:

国资委下属某汽车科研中心为实时监测汽车状态,监测汽车是否符合国五国六标准。在汽车上安装了采集数据的车载终端,实时将数据发送回数据中心。上报的数据量超千亿条,需要实现千亿规模的实时查询、统计和分析功能。

由于数据规模过大,导致数据查询统计响应过慢,因此需使用能服务于超大数据体量的数据库实现数据的快速检索和分析。基于此,客户最终采用了录信LSQL检索分析型数据库。

 

2.方案说明:

在对于系统的部署构架方面,除了终端采集设备与用户端的展示层,整体方案部署在华为云上,包含数据采集服务,LSQL存储检索服务,以及应用和WEB服务。

 

ETL数据接入服务

车载终端上报的数据,经过ETL模块采集、清洗,传给消息中间件kakfa;


LSQL存储检索服务

部署LSQL软件,用于存储接收到的数据,并提供实时查询、统计功能;数据存储采用了HDFS分布式文件系统;


应用服务

基于LSQL提供的接口,实现相应的上层应用;


WEB服务

对用户提供WEB服务。

 

整体架构如下:

car1.png

 

3.项目实施:

项目部署简单快捷,在现有的华为云上,实施以下步骤:

1.部署hadoop集群用于存储数据;

2.部署kakfa集群用于实时数据接入,并定制开发ETL模块;

3.部署LSQL软件,即可实现海量数据实时查询统计等功能。


car2.png


4.项目效果:

(1)项目部署周期短

一周完成整体项目的部署上线。


(2)系统稳定性得到显著提升

项目已经稳定运行一年以上,每日增量数据超过1亿条以上,存量数据已经过百亿。


(3)系统迁移过程更加平稳顺滑

LSQL提供了类SQL的接口,大大降低了使用难度,用户可以快速开发上层应用。

 


上一篇:某交通部门大数据平台项目

下一篇:最后一篇