云原生数据仓库AnalyticDB MySQL 助力蜂创提升营销SAAS平台和CDP

阿里云AnalyticDB 下文简称 ADB 满足了我们营销SAAS平台海量数据实时分析秒级返回的诉求 平台的用户和订单数据一直大规模增长 对分析型数据库的弹性要求较高 ADB的平滑弹性升降配对业务影响很小 在扩容升配的时候还能正常访问 ADB弹性模式的冷热存储分离能力帮我们节约了很大的数据存储成本。PolarDB-X解决了我们海量数据读写和存储扩展性的问题。? ----蜂创科技研发负责人吕军雷

关于蜂创科技

北京蜂创科技有限公司于2016年成立 中国企业级数字化营销解决方案提供商。公司拥有品牌“极目云客”。旗下营销活动一体化管理SaaS平台、客户关系CRM管理平台、终端门店管理平台、精准营销投放平台等平台 领先于国内数字营销垂直领域。以SaaS管理平台、资源供应链、整合传播增值服务为一体化解决方案 为企业级客户精准实现市场目标提供高效助力。

致力于企业的数字化营销 让企业在人、货、场上数据在线 并进行参与互动 数据智能和有效协作。

业务快速发展 面临巨大技术挑战

蜂创的业务飞速发展 数据量迅猛增长 给数据平台带来了巨大的技术挑战。

查询速度慢

极目云客平台单表数据量从数亿到数十亿不等 业务上需要做多表关联以及多维度及时分析查询。过去用普通关系数据库来支撑 查询耗时太长 不能快速返回业务查询结果 特别是对于交互式探索分析来说 用户体验影响更大 希望在毫秒/秒级实时响应 提高产品核心竞争力。

降低技术复杂度

基于传统数据仓库和以hadoop为代表的大数据技术方案 由于技术组件多、架构复杂、数据链路长、技术复杂度高 带来的问题是系统维护成本高 需要投入较大人力专门搭建平台和升级运维。由于学习成本高 人才培养难度大。

同时由于数据需要经过多个技术组件 数据接入和数据ETL开发工作量都比较大 新增一个业务场景需要全链路开发 从数据产生到应用上线时间周期长。

扩展性要求高

近年来公司业务发展非常迅速 客户数越来越多 数据量越来越大 需要保证平台的读写和存储性能水平扩展 要求技术架构稳定 业务代码无需修改来应对业务增长。

实时数仓解决方案

针对蜂创的业务挑战和应用场景 采用AnalyticDB MySQL版 简称ADB 作为实时数仓引擎 构建云上湖仓一体的解决方案 整体技术架构如下图所示

业务数据通过DTS将PolarDB-X的数据同步到ADB 简化数据采集链路开发过程 解决数据传输实时性问题 实现数据秒级延迟。

基于AnalyticDB构建一体化的数据仓库 能在同一平台进行数据清洗、ETL计算和实时查询服务 数据无需搬迁 减少开发工作量。

AnalyticDB支持数十亿数据毫秒/秒级查询实时响应 实现交互查询应用和报表实时化 极大提高了用户体验和产品竞争力。

AnalyticDB支持对OSS等外部开放数据存储进行自由读写。

同时AnalyticDB支持冷热数据分层功能 可以根据业务特征将数据定义为热数据、温数据和冷数据。热数据存储在ESSD介质上 查询性能好 将冷数据存储在OSS等介质上 查询性能稍弱 但存储成本降低 支持按照二级分区将同一张表的近期数据定义为热数据、远期数据定义为冷数据 热数据按时间周期滚动变为冷数据 既保证热点数据的查询性能 又能降低存储成本。冷热数据存储功能让存储总成本降低60%以上。

AnalyticDB弹性能力

AnalyticDB采用云原生的技术架构 天然具备原生的弹性能力。AnalyticDB支持集群资源横向水平扩展 在不中断业务的情况下随时动态扩容 降低运维成本。

在蜂创的业务场景中 存在明显的波峰波谷特征 在上班高峰期早上9点至11点查询请求量是其他时段的数倍。过去为了应对查询高峰 需要最大化预留计算资源 但在业务低峰期 这些资源实际上是浪费的。

AnalyticDB的分时弹性能力完美地解决了这个问题 可以按小时制定分析弹性计算资源计划 每天早上8点半准时弹出扩展计算资源 11点自动释放 平滑地解决了业务高峰资源瓶颈问题。分时弹性计算资源按小时计费 只需承担2小时的资源成本 比过去24小时持有计算资源的模式总体成本降低30%。

未来展望

大数据与数据库技术的融合是大势所趋 “湖仓一体”正成为企业数据仓库架构设计新方向。AnalyticDB 具备海量数据的存储和计算能力、支持开放的数据格式 同时具备数据库的数据实时写入更新、数据一致性 兼容标准SQL语法 与常用BI产品无缝对接。既具备大数据平台的能力又具备数据库的体验 是企业级数据仓库产品的最佳选择。

本文转自网络，原文链接：https://developer.aliyun.com/article/783373
本站部分内容转载于网络，版权归原作者所有，转载之目的在于传播更多优秀技术内容，如有侵权请联系QQ/微信：153890879删除，谢谢！