本文档主要为您介绍数据加工语法相关的数据结构及其说明。

基本数据结构

基本数据结构的不同类型和说明如下表所示。

类型 说明
整数 用于设置字段值或者函数的参数传递。

例如：e_set("f1", 100)中赋值字段f1的值为100。

浮点 用于设置字段值或者函数的参数传递。

例如：e_set("f1", 1.5)中赋值字段f1的值为1.5。

字符串（String） 字符串说明如下：
  • "abc"和'abc' 相同。当字符串中包含双引号（"）时，可以使用'abc"xyz'，也使用反斜线（\）进行反转（"abc\"xyz"）。

    反斜线（\）表示反转，即"\\abc\\xyz"表示\abc\xyz。

  • r"\\10.64.1.1\share\folder"和"\\\\10.64.1.1\\share\\folder"相同，都表示字符串\\10.64.1.1\share\folder。
  • 多字节字符串以unicode表示，例如：中文的长度是2。
  • 正则表达式以字符串形式表示。
说明 e_search函数接收的搜索字符串中的字符串需使用双引号（""）包裹，不支持单引号（''）。即e_search("domain: '/url/test.jsp'")是错误的，正确的为e_search('domain: "/url/test.jsp"')。
字节 b'abc'不同于字符串的内存编码形式，作为某些特殊函数接收或者返回类型。
空 None或null表示无。部分函数的命名参数的默认值是None，表示特定的默认行为。
说明 空字符串与None、null的数据类型不同。
列表（List） 数组，例如[1,2,3,4]。
  • 某些函数参数接收的是列表，例如：e_dict_map("dict data", ["f1", "f2", "f3"], ...)。
  • 某些函数返回结果的是列表，例如当json_select选择了一个数组时会返回列表。
元组（tuple） 元组，与列表功能相同。例如（1,2,3,4）。
字典（Dict） 形式为{"key": "value", "k2": "v2", ...}的键值对组合。关键字一般是字符串，且不能重复，值可以为上述各种类型。以哈希方式存储， 查找时无序。
  • 事件是一种特殊的字典。
  • 某些函数接收特定格式的字典。例如{"key": [1,2,3], "ke": {"k3": "va3"} }。
  • 字典结构也应用于字典映射的输入数据。
布尔（Bool） 例如True、False、true、false。
表格 多列的表格结构。您可以从外部资源中加载多行CSV格式内容构建表格，或者从RDS、Logstore中加载多列数据获取。主要用于映射富化或其他高级配置场景。
日期时间对象 表示日期时间的内存对象，可以转换为Unix字符串或者格式化的时间字符串，或者传递给其他dt_类函数进行进一步转换。

事件类型

相关事件类型和说明如下：
  • 基本类型

    数据加工将日志数据以字典结构进行加工处理，例如{"__topic__": "access_log", "content": "....."}。

    字典的关键字和值，对应日志的字段和值。

    说明 事件的关键字和值都是字符串且关键字不能重复。
  • 元字段
    元字段主要包含如下三部分：
    • 时间字段 __time__：日志到达日志服务的服务器被接收时的时间。数据类型为整数字符串，Unix标准时间格式。单位为秒，表示从1970-1-1 00:00:00 UTC计算起的秒数。
    • 主题__topic__：日志库内的日志可以通过日志主题来划分。您可以在写入时指定日志主题，并在查询时指定查询的日志主题。
    • 源 __source__：日志的来源，例如产生该日志机器的IP地址。
  • 时间字段修改
    修改时间字段的值，就是修改日志的事件时间。可以用日期时间函数对其进行更多的操作。
    说明 如果删除了时间字段，在输出日志时，会取数据加工处理数据时的系统时间作为新的事件时间。
  • 标签
    标签（tag）指日志存在标记，用于区分字段。标签会以__tag__:名称关键字的格式存在。
    • 如果源Logstore打开了记录外网IP功能，则会存在tag: __tag__:__receive_time__。
    • 容器服务的日志会存在许多容器类的tag，例如：__tag__:__container_name__。
    • 可以添加、修改tag。例如添加一个tag名为type：e_set("__tag__:type", "access_log")。
  • 赋值自动转换
    事件的关键字和值都是字符串，因此对事件进行赋值或者设置新的字段值时，会自动对关键字和值进行字符串转换。例如： 
    e_set("v1", 12.3)
e_set("v2", True)
    将字段v1的值设置为字符串12.3，将字段v2值设置为字符串true。
    如下为各数据类型转换为字符串示例：
    类型 样例 转换类型 转换样例
    整数 1 字符串 "1"
    浮点 1.2 字符串 "1.2"
    布尔 True 字符串 "true"
    字节 b"123" 使用UTF8解码为字符串 "123"
    元组
    • 样例1：(1, 2, 3)
    • 样例2：("a", 1)
    		 列表的字符串
    • 样例1："[1, 2, 3]"
    • 样例2："[\"a\", 1]"
    列表
    • 样例1：[1,2,3]
    • 样例2：["a", 1]
    		 字符串
    • 样例1："[1, 2, 3]"
    • 样例2："[\"a\", 1]"
    字典 {"1":2, "3":4} 字符串 "{\"1\": 2, \"3\": 4}"
    日期时间 datetime(2018, 10, 10, 10, 10, 10) ISO格式字符串 2018-10-10 10:10:10

固定标示

数据加工预设了一些固定标示，以便简化代码或便于理解：
标示 类型 说明
true Bool 真，等价于True
false Bool 假，等价于False
null None 无，等价于None
F_TAGS 字符串 TAG字段正则表达式，等价于"__tag__:.+"
F_META 字符串 TAG，__topic__，__source__字段的正则表达式表示，等价于__tag__:.+|__topic__|__source__
F_TIME 字符串 __time__字段的名称，等价于__time__。
F_PACK_META 字符串 pack meta字段的正则表达式表示形式，等价于"__pack_meta__|__tag__:__pack_id__"
F_RECEIVE_TIME 字符串 服务器接收日志的时间的tag字段，等价于"__tag__:__receive_time__"。

JSON对象

一般指JSON表达式函数json_select或者json_parse解析提取后的对象，实际是基本数据结构的形式。输入字符串转换成对应JSON对象的形式如下表所示。
字符串 JSON对象 实际类型
1 1 整数
1.2 1.2 浮点
true True 布尔
false False 布尔
"abc" "abc" 字符串
null None None
["v1", "v2", "v3"] ["v1", "v2", "v3"] 列表
["v1", 3, 4.0] ["v1", 3, 4.0] 列表
{"v1": 100, "v2": "good"} {"v1": 100, "v2": "good"} 字典
{"v1": {"v11": 100, "v2": 200}, "v3": "good"} {"v1": {"v11": 100, "v2": 200}, "v3": "good"} 字典