日志服务将日志投递到OSS后,支持存储为不同的文件格式,本文介绍CSV格式。

参数配置

配置投递规则时,如果选择存储格式csv,对应的参数配置如下所示。

CSV字段配置
参数说明如下所示,更多详情请参见CSV标准postgresql CSV说明
参数 说明
CSV字段 您可以在日志服务的原始日志页签中查看日志字段的Key,将您需要投递到OSS的字段名(Key)有序填入。 除了日志内容的Key和Value外,日志服务还提供保留字段__time____topic____source__,保留字段详情请参见保留字段
说明 同一个Key在CSV字段中只能配置一次,不支持多次使用。
分隔符 支持逗号(,)、竖线(|)、空格和制表符,用于分割不同字段。
转义符 当字段内出现分隔符时,需要使用转义符包裹该字段,避免读数据时造成字段错误分割。
无效字段内容 CSV字段中指定的Key不存在时,投递此参数配置的内容。
投递字段名称 打开投递字段名称开关后,将字段名称写入到CSV文件。

OSS文件地址

投递到OSS后,OSS文件地址样例如下所示。

压缩类型 文件后缀 OSS文件地址举例 说明
无压缩 .csv oss://oss-shipper-shenzhen/ecs_test/2016/01/26/20/54_1453812893059571256_937.csv 未压缩的CSV文件可下载到本地,以文本方式打开查看。
snappy .snappy.csv oss://oss-shipper-shenzhen/ecs_test/2016/01/26/20/54_1453812893059571256_937.snappy.csv 如果使用了snappy压缩,解压缩的详细说明请参见解压snappy压缩文件

示例

如果您通过HybridDB来消费OSS的CSV文件数据,相关投递参数配置如下所示。
  • 分隔符:逗号(,)。
  • 转义符:双引号(“)。
  • 无效字段内容:不填写。
  • 投递字段名称:不勾选(HybirdDB默认CSV文件行首无字段说明)。