日志服务中有部分字段为保留字段,使用API写入数据,或添加Logtail采集配置时,请不要将字段名称设置为日志服务的保留字段。

注意事项

在采集日志或投递数据到其他云产品时,日志服务可以将日志来源、时间戳等信息以Key-Value对的形式添加到日志中,其中字段名称为 __source__等固定名称,这些字段是日志服务的保留字段。
  • 使用API写入日志数据或添加Logtail配置时,请不要将Key即字段名称设置为这些保留字段,否则可能会造成字段名称重复、查询不精确等问题。
  • 所有__tag__前缀的字段均不支持投递。
  • 日志服务为日志数据增加的字段按照按量付费正常收费,为其开启索引时也会产生少量索引流量及存储费用。

保留字段

目前,日志服务的保留字段包括:

表 1. 日志服务保留字段
保留字段名称 数据格式 索引与统计设置 说明
__time__ 整型,Unix标准时间格式。

例如,__time__: 1523868463

  • 索引设置:__time__通过API中的参数from和to选择,无需添加该字段的索引。
  • 统计设置:当用户为任何一列开启统计后,默认为__time__开启统计。
使用API/SDK写入日志数据时指定的日志时间,该字段可用于日志投递、查询、分析。
__source__ 字符串格式。
  • 索引设置:开启索引后,日志服务默认为__source__创建索引,索引数据类型为text类型,分词字符为空。查询时输入source:127.0.0.1 或者 __source__:127.0.0.1
  • 统计设置:当用户为任何一列开启统计后,默认为__source__开启统计。
日志来源设备。该字段可用于日志投递、查询、分析、自定义消费。
__topic__ 字符串格式。
  • 索引设置:开启索引后,日志服务默认为__topic__创建索引,索引数据类型为text类型,分词字符为空。查询时输入__topic__:XXX
  • 统计设置:当用户为任何一列开启统计后,默认为__topic__开启统计。
日志主题(Topic)。如果您设置了日志主题,日志服务会自动为您的日志添加日志主题字段,Key为__topic__,Value为您的主题内容。该字段可用于日志投递、查询、分析、自定义消费。
__partition_time__ 字符串格式。 日志内容中不存在该字段,无需设置索引。 投递MaxCompute的日志分区时间列。由__time__计算得到,用于日志投递MaxCompute时设置日期格式分区列,详细说明请参考通过日志服务投递日志到MaxCompute
__extract_others__ 字符串,可反序列化成JSON Map。 日志内容中不存在该字段,无需设置索引。 日志中投递MaxCompute的未配置字段组装为一个JSON Map。用于日志投递MaxCompute时打包其它未单独配置的字段,详细说明请参考通过日志服务投递日志到MaxCompute
_extract_others_ 字符串,可反序列化成JSON Map。 日志内容中不存在该字段,无需设置索引。 __extract_others__相同,建议使用__extract_others__
__tag__:__client_ip__ 字符串格式。
  • 索引设置:开启索引后,日志服务默认为所有标签(Tag)字段创建索引,索引数据类型为text类型,分词字符为空,在查询时要完全命中,或采用模糊查询。
  • 统计设置:默认没有为该列开启统计。如需开启统计,请手动添加__tag__:__client_ip__的索引,并开启统计功能。
日志来源设备的公网IP,该字段为系统标签(Tag)。开启记录外网IP功能后,服务端接收日志时为原始日志追加该字段。可用于日志查询、分析、自定义消费。

对该字段进行SQL分析时,需要给该字段加上双引号。

__tag__:__receive_time__ 字符串,可转换为整型的Unix标准时间格式。
  • 索引设置:开启索引后,日志服务默认为所有标签(Tag)创建索引,索引数据类型为text类型,分词字符为空,在查询时要完全命中,或采用模糊查询。
  • 统计设置:默认没有为该列开启统计。如需开启统计,请手动添加__tag__:__receive_time__的索引,并开启统计功能。
日志到达服务端的时间,该字段为系统标签(Tag)。开启记录外网IP功能后,服务端接收日志时为原始日志追加该字段。可用于日志查询、分析、自定义消费。
__tag__:__path__ 字符串格式。
  • 索引设置:开启索引后,日志服务默认为__tag__:__path__创建索引,索引数据类型为text类型,分词字符为空。查询时输入__tag__:__path__:XXX
  • 统计设置:默认没有为该列开启统计。如需开启统计,请手动添加__tag__:__path__的索引,并开启统计功能。
Logtail采集的日志文件路径,Logtail为日志自动填加该字段。可用于日志查询、分析、自定义消费。

对该字段进行SQL分析时,需要给该字段加上双引号。

__tag__:__hostname__ 字符串格式。
  • 索引设置:开启索引后,日志服务默认为__tag__:__hostname__创建索引,索引数据类型为text类型,分词字符为空。查询时输入__tag__:__hostname__:XXX
  • 统计设置:默认没有为该列开启统计。如需开启统计,请手动添加__tag__:__hostname__的索引,并开启统计功能。
logtail采集数据的来源机器主机名,Logtail为日志自动填加该字段。可用于日志查询、分析、自定义消费。

对该字段进行SQL分析时,需要给该字段加上双引号。

__raw_log__ 字符串格式。 请手动添加并设置该字段的索引,索引数据类型为text,并根据需求选择是否开启统计。 解析失败的原始日志。关闭丢弃解析失败日志功能后,Logtail在解析日志失败时上传原始日志。其中Key为__raw_log__、Value为日志内容。可用于日志投递、查询、分析、自定义消费。
__raw__ 字符串格式。 请手动添加并设置该字段的索引,索引数据类型为text,并根据需求选择是否开启统计。 解析成功的原始日志。开启上传原始日志功能后,Logtail会将原始日志作为__raw__字段,和解析后的日志一并上传。一般用于审计、合规审查等场景。可用于日志投递、查询、分析、自定义消费。