1. 案例背景：

在某地市在前期已经建立了相对完善的交通指挥控制中心，采集了大量的交通、道路、车辆数据。为此欲打造一套完善的交通大数据平台以满足其对于进一步提升部门管理效率，进一步合理规划道路交通，识别违法车辆的需求。

由于交通数据本身涵盖了大量实时监测数据和高并发的数据源接入处理任务，并且会随着城市车辆的保有量，道路复杂程度的不断升高而随之提升。这对于系统底层，尤其是数据存储层的可扩展性提出了较高的要求，随着增量数据的进入，系统不仅需要进行纵向扩展，升级机器性能，还需进行横向扩展，提升存储上限。同时庞大的数据体量也需要系统能够具备高度容错性，单个节点的失效不能影响整个作业。基于此，客户对于底层数据库的主要痛点和需求如下：

（1）高并发数据源的实时接入，超大数据体量数据的实时更新

（2）高性能、低延迟的检索分析，快速响应复杂查询

（3）高度容错性，单个节点失效不会影响整体作业的运行

（4）高度可扩展性，大规模并行处理的能力

（5）支持异构环境，对硬件平台一致性要求不高，适应能力强

（6）系统具备高度可靠性，性价比高

2. 解决方案：

客户业务场景中产生的数据主要以高并发的实时交通监测数据为主，在数据存储层需要能够满足其对于高并发实时数据的快速导入、分析，并且在进行车辆轨迹分析、车辆流量控制、套牌车识别等多种业务类型方面要能做到快速的检索和分析能力。

针对于这类高并发、实时数据的处理，录信数软采用了支持高并发实时数据分析处理的全栈数据库——LXDB作为存储系统。同时LXDB还实现了以下性能：

（1）基于分布式文件系统的索引，磁盘容错性高，数据迁移扩容更方便

分布式文件系统本身容错性更强，单个节点磁盘的速度不会影响整体作业进度。同时利用分布式文件系统不受物理存储空间限制的特性，使得后期设备的扩容和数据的迁移更加便捷。

（2）独有列簇异构技术，冷热数据分离，大幅节省固态硬盘使用空间

由于交通数据的数据体量大，数据类别多，在进行数据存储时需要消耗巨大的物理空间，并且不同类别数据的使用频率和需求都大相径庭。因此系统采用列簇存储方式，根据数据类型和调用频率将数据分为“冷数据”和“热数据”，实现冷热数据的异构存储，大幅减少固态硬盘的使用空间，降低了系统的总体硬件成本。

（3）同时兼顾快速查询及复杂计算的Spark索引系统

传统数据库的Spark系统虽然具备处理复杂查询计算的能力，但是底层对于数据的读取效率慢。通过在Spark底层加入索引，提升Spark在数据读取时的速度，同时兼顾数据的快速查询和复杂计算，在数据查询的响应速度得到显著提升的同时保留Spark处理复杂计算的能力。

3.项目效果：

（1）海量实时数据更新导入，秒级查询反馈，大幅提升办案效率

在系统测试中，对于实时数据的导入效率平均可达10亿/天/节点，精确查询控制在1秒内响应，系统的实时性和检索效率得到大幅提升，在进行车辆套牌检测、车辆非法改装等场景的办案效率得到大幅提升。

（2）项目硬件预算大幅缩减

采用分布式文件系统和列簇存储技术，降低了系统对于物理存储的依赖，大幅减少了系统对于价格较高的固态硬盘的需求量，整体项目硬件预算降幅超过30%。

（3）满足了多业务场景需求，兼顾快速查询及复杂计算

针对快速查询和复杂计算的双重需求所设计的底层系统，满足了客户不同业务场景、不同职能部门的业务需求，不论是对于车辆信息的快速查询，还是对于同一道路，不同时间段，不同车型流量这类的复杂分析都可以兼顾。