历史数据自助分析解决方案：Spider引擎本地模式提升亿级数据查询效率

hwyzw

    历史数据自助分析和多数据源集成分析

    历史数据自助分析

    业务需求

    客户项目底层是关系数据库和大数据的多维度查询计算。如果直接连接传统的关系型数据库进行数据分析和查询，很容易出现性能瓶颈。

    解决方案

   

    引擎的本地模式用于将数据提取到本地磁盘并以二进制文件的形式存储。在查询计算过程中，多线程并行计算充分利用了可用的CPU资源。因此，在数据量较小时，显示效果极佳。计算引擎和Web应用放在同一台服务器上，轻量、方便。

    取得成果

    底层数据仓库单表实际最大数据量小于1亿。对于多次数据量较大（数据量5kw左右）的分析，数据库查询需要10分钟。提取后3秒内即可快速显示，大大提高了性能。提高用户的分析效率。

    多数据源综合分析

    业务需求

    业务数据存储在数据库中，基于原始数据库直接查询分析。响应极其缓慢，单次分析需要十多分钟。并且考虑到如果库需要调优重启，就无法使用历史数据分析。

    解决方案

   

    该项目使用引擎将亿级以内的数据提取到存储引擎中进行查询和计算。并且根据数据中的时间戳，增量更新数据，减轻了数据库的压力，缩短了更新所需的时间。同时可以与其他数据库配合使用，实现多源业务数据的集成分析。

    取得成果

    亿级以内的数据量分析，从过去的10多分钟提升到秒级响应。有效支持平台千余用户的分析。