更多存储标杆案例
欢迎点击下方链接查看
公司介绍
哈啰出行是国内领先的专业移动出行平台,致力于为用户提供便捷、高效、普惠、安全的出行工具和服务。公司于2016年9月在上海成立。成立四年多来,秉持着“科技推动出行进化”的使命,凭借卓越的创新能力、差异化的发展战略和技术驱动下的优异运营能力,哈啰从激烈的市场竞争中脱颖而出。目前公司已经进化为包括两轮出行(哈啰单车、哈啰助力车、哈啰电动车、小哈换电)、四轮出行(哈啰顺风车、全依托于智能锁,赋能了在线的实时调度。单车数据、APP数据无缝打通,因而催生了数据的实时采集、分析、存储需求。业务场景介绍2网叫车、哈啰打车)等的综合化移动出行平台,APP累计注册用户超4亿。
截至2020年10月底,哈啰出行旗下哈啰单车已经进驻全国超460城,用户累计骑行240亿公里,累计减少碳排放量近280万吨;哈啰助力车已进入全国超400城,用户累计骑行近80亿公里,节约碳排放28万吨;哈啰顺风车已覆盖全国超300城,认证车主逾1800万名。
业务场景介绍
依托于智能锁,赋能了在线的实时调度。单车数据、APP数据无缝打通,因而催生了数据的实时采集、分析、存储需求。
每天增量数据TB级别,影响系统稳定性
客户原有架构是数据采集到kafka,然后应用日志写入ELK做查询,同时写入ClickHouse做分析。由于每天增量数据在TB级别,对ES稳定性压力比较大。当查询数据操作,会影响ES的写入延时。由于写入量大,查询基本处于不可用状态。因此,当天数据采用单副本,隔天再生成多副本。这种方式对数据的可靠性时很大的挑战。同时,自建Kafka、ES、ClickHouse成本较高,急需降低成本。
日志服务提供TB级别日志的实时采集、弹性扩容、实时查询
阿里云日志服务为客户提供了TB级别日志的实时采集、弹性扩容、实时查询的能力。
在数据采集方面,原来把数据采集到kafka,在分发到下游ES、ClickHouse。SLS原生支持Kafka协议。各个客户端只需把kafka的地址设置成SLS的kafka协议地址即实现了无缝迁移。
在弹性扩容方面,SLS采用Shard模型,当流量发生上涨时,在控制台动动手指分裂Shard即可实现写入带宽的扩容。也可以设置成自动分裂,当流量打到上限时,自动扩容出新的Shard。
在查询和分析方面,客户原来采用ES做查询,ClickHouse做分析。而由于流量比较大,ES查询基本不可用。SLS同时提供了查询和分析能力。在查询方面,支持关键字检索、数值范围查询、json字段的递归查询、多条件组合查询。在数据分析方面,支持以SQL92语法分析日志,秒级别即可分析数百亿条日志。SQL语法支持200+函数,以及支持join计算,可与OSS、MySQL数据源做关联分析。同时一些特有的函数例如同比环比函数、IP地理位置函数等等。
在可视化方面,SLS控制台作为阿里云排名Top 5的控制台,为可以提供所见即所得的查询分析体验。同时控制台还可以供客户做二次开发,嵌入到自己的后台运维系统中。
达到的效果
客户通过把日志数据迁移到SLS,替代原有的kafka、ES、ClickHouse,累积节省成本达到30%,同时满足了稳定性、扩展性需求,以及对日志查询分析的需求。
大家好,我是腾讯云防火墙的产品经理jojen,又见面了,今天在这里和大家聊一聊NA...
1.冬天最流氓了,总是喜欢对我冻手冻脚。 2.我们都是这样,上课的时候不省人事...
基于阿里巴巴的互联网架构、大数据技术,利用混合云架构打造全新的云化电子税 务...
备受关注的2021全球分布式云大会·北京站于4月7日隆重召开,分布式云是2021年全...
云计算是一片热土,各种巨头都在抢滩登陆,在国内,阿里云似乎已经一只脚踏上了...
如果你使用 docker 进行大规模开发,但是没有清理策略,那么你的磁盘马上就会被...
从 3.2.4 版本开始,游戏引擎 Godot 上线了 Web 版本。Godot 本身已足够轻量,所...
什么是大数据? 大数据(big data),指无法在一定时间范围内用常规软件工具进行...
本文转载自微信公众号「五分钟学大数据」,作者园陌。转载本文请联系五分钟学大...
一、背景 ? 我们大部分人的编程习惯都是线性编程,所谓线性编程就是一个请求涉及...