当前位置:主页 > 查看内容

云原生架构下日志服务数据预处理

发布时间:2021-05-14 00:00| 位朋友查看

简介:直达最佳实践:【 云原生架构下日志服务数据预处理 】 最佳实践频道:【 最佳实践频道 】 这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求!场景描述 某家国际教育机构,提供在线教育服务,其用……
直达最佳实践:【云原生架构下日志服务数据预处理
最佳实践频道:【最佳实践频道
这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求!场景描述

某家国际教育机构,提供在线教育服务,其用户主要分布在中美两地,该企业拥抱云计算,在架构设计上也全面采用了云原生服务,本实践将重点聚焦该客户以下几个典型场景:
场景一:跨地域/跨账号数据汇集
场景二:数据内容富化(join维表)
场景三:数据投递/归档、入湖分析
场景四:统一采集,按业务分发分析
场景五:数据监控智能告警
基于这些场景,本篇实践会介绍对应的解决方案和最佳实践操作手册,方便用户快速快速对号入座,解决云原生架构下的常见日志难题。

方案优势
数据规整:对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数仓计算。数据富化:日志(例如业务订单)与维表(例如用户信息MySQL表)进行字段join,为日志添加更多维度信息供分析。数据分发/汇聚:将全量日志按转发规则分别提取到多个下游存储供不同业务使用。监控告警:监控大规模数据,触发告警,支持机器学习算法(e.g:智能巡检),通过告警策略配置,对触发的告警进行降噪处理(去重、静默、合并、抑制、路由分派等),然后分派给特定通知渠道(短信、邮件等)。产品列表
云架构设计工具CADT日志服务SLS对象存储OSS数据湖分析DLA云数据库RDS MySQL版业务架构

207.png

直达最佳实践 》》

207.png


本文转自网络,原文链接:https://developer.aliyun.com/article/784046
本站部分内容转载于网络,版权归原作者所有,转载之目的在于传播更多优秀技术内容,如有侵权请联系QQ/微信:153890879删除,谢谢!

推荐图文


随机推荐