本文介绍如何在日志服务控制台上配置数据加工规则及加工任务,实现对日志数据的加工处理。
前提条件
- 已创建Project和Logstore。更多信息,请参见创建Project和Logstore。
- 已采集到数据。更多信息,请参见数据采集。
背景信息
日志服务提供的数据加工功能,支持读取源Logstore的日志数据,对数据进行加工过滤处理。通过数据加工规则,对持续更新或者指定时间段的原始日志进行加工处理,并支持将加工后的日志数据动态写入到不同的Logstore。您也可以对加工后的日志数据进行查询分析,进一步发掘数据价值。
操作步骤
- 登录日志服务控制台。
- 在Project列表区域,单击目标Project。
- 进入数据加工模式。您可以通过以下两种方式进入数据加工模式。
- 在日志存储 > 日志库页签中,单击目标Logstore。在查询分析页面,开启数据加工,进入数据加工模式。
- 在日志存储 > 日志库页签中,单击目标日志库前的>,依次选择数据处理 > 加工。单击加工后的加号(+),进入数据加工模式。
- 在数据加工页面,设置原始日志的查询时间范围。请确保在原始日志页签中有日志数据。
- 在编辑框输入加工规则。规则语法请参见数据加工语法。
- 预览数据。您可以通过快速预览、高级预览方式预览数据。更多信息,请参见预览调试。
- 查看预览结果。
- 如果加工规则语法错误或者权限配置错误,导致数据加工失败,请根据页面提示处理。
- 如果确认数据加工结果无误,请执行步骤8。
- 保存数据加工结果。
- 单击保存数据加工。
- 在创建数据加工规则页面,配置如下信息,并单击确定。日志服务支持创建多个存储目标,将数据加工结果存储到多个Logstore中。说明
- 在配置多个目标Logstore时,可以在数据加工规则中,使用e_output()函数或e_couput()函数将目标名称通过name参数传递,用于将特定日志写入到特定的目标Logstore中。
- 在配置多个目标Logstore时,如果数据加工规则中没有使用e_output()函数,默认将数据加工结果写入到第1个存储目标的Logstore中。如果只有1个目标Logstore,则一般无需在加工规则中使用e_output()函数。
参数 说明 规则名称 数据加工规则的名称。 授权方式 您可以通过如下方式授予日志服务读取源Logstore中数据的权限。 - 默认角色:授予日志服务使用阿里云系统角色AliyunLogETLRole来读取源Logstore中的数据。
单击授权系统角色AliyunLogETLRole,根据页面提示完成授权。
说明- 如果您使用的是RAM用户,需要由阿里云主账号进行授权。
- 该操作仅在首次配置时需要。
- 自定义角色:授予日志服务使用自定义角色来读取源Logstore中的数据。
在角色ARN中输入您自定义角色的ARN,详情请参见配置自定义角色授权。
- 密钥:日志服务使用具备源Logstore读取权限的阿里云主账号或RAM用户的访问密钥来读取源Logstore中的数据。
在AccessKey ID和AccessKey Secret中输入阿里云主账号或RAM用户的访问密钥,详情请参见配置访问密钥。
存储目标 目标名称 存储目标的逻辑名称。 目标Region 选择目标Project所在地域。 跨地域数据加工使用HTTPS协议传输,确保日志数据的私密性。
跨地域数据加工使用公网传输数据,可能因为公网传输网络的不确定性导致加工任务出现延迟。您可以选中DCDN加速复选框,加快跨地域传输速度。在使用DCDN加速时,需确保对应的Project已开启加速功能。更多信息,请参见开启全球加速服务。
说明 跨地域数据加工按公网流量(压缩后)计费,计费详情请参见计费概述。目标Project 用于存储数据加工结果的目标Project名称。 目标库 用于存储数据加工结果的目标Logstore名称。 授权方式 您可以通过如下方式授予日志服务读写目标Logstore的权限。 - 默认角色:授予日志服务使用阿里云系统角色AliyunLogETLRole将数据加工结果写入目标Logstore。
单击授权系统角色AliyunLogETLRole,根据页面提示完成授权。
说明- 如果您使用的是RAM用户,需要由阿里云主账号进行授权。
- 该操作仅在首次配置时需要。
- 自定义角色:授予日志服务使自定义角色将数据加工结果写入目标Logstore。
在角色ARN中输入您自定义角色的ARN。更多信息,请参见目标Logstore访问授权。
- 密钥:日志服务使用具备读写目标Logstore权限的阿里云主账号或RAM用户的访问密钥将数据加工结果写入目标Logstore。
在AccessKey ID和AccessKey Secret中输入阿里云主账号或RAM用户的访问密钥。更多信息,请参见配置目标Logstore访问密钥。
加工范围 时间范围 时间范围如下所示。 - 所有:对Logstore中的数据从开始位置持续加工,直到加工任务被手动停止。
- 某时间开始:指定开始时间点,从该时间点对应的位置开始加工,直到加工任务被手动停止。
- 特定时间范围:指定任务的起止时间,加工任务执行到指定时间后自动停止。
说明 这里设置的时间范围以日志接收时间为准。高级选项 高级参数配置 对于加工规则脚本中需要使用的密码信息,如数据库连接密码等,可以使用Key-Value形式保存在密钥对中,在脚本中通过变量引用 ${key}
的方式进行使用。您可以单击+,配置多组Key-Value对。例如config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj,表示RDS实例所属的专有网络ID。模型参数配置 该配置主要用于机器学习中的时序数据。更多信息,请参见机器学习服务。 保存数据加工规则后,自动执行该规则。