采集Beats和Logstash数据源 - 日志服务

操作步骤

1. 登录日志服务控制台。
2. 在接入数据区域，选择自定义数据插件。
3. 在选择日志空间页签中，选择目标Project和Logstore，单击下一步。
   您也可以单击立即创建，重新创建Project和Logstore，详情请参见步骤1：创建Project和Logstore。
4. 在创建机器组页签中，创建机器组。
   • 如果您已有可用的机器组，请单击使用现有机器组。
   • 如果您还没有可用的机器组，请执行以下操作（以ECS为例）。
     1. 选择ECS实例安装Logtail，详情请参见安装Logtail（ECS实例）。

        如果已在ECS上安装Logtail，可直接单击确认安装完毕。

        说明 如果是自建集群、其他云厂商服务器，需要手动安装Logtail，详情请参见安装Logtail（Linux系统）或安装Logtail（Windows系统）。
     2. 安装完成后，单击确认安装完毕。
     3. 创建机器组，详情请参见创建IP地址机器组或创建用户自定义标识机器组。
5. 在机器组配置页签中，应用机器组。
   选择一个机器组，将该机器组从源机器组移动到应用机器组。
6. 在数据源设置页签中，配置配置名称和插件配置。
   • inputs为Logtail采集配置，必选项，请根据您的数据源配置。
     说明 一个inputs中只允许配置一个类型的数据源。
   • processors为Logtail处理配置，可选项。您可以配置一种或多种处理方式，详情请参见处理数据。

   由于Beats和Logstash输出的都是JSON格式数据，因此需要使用processor_anchor将JSON展开。

   {
     "inputs": [
       {
         "detail": {
           "BindAddress": "0.0.0.0:5044"
         },
         "type": "service_lumberjack"
       }
     ],
     "processors": [
       {
         "detail": {
           "Anchors": [
             {
               "ExpondJson": true,
               "FieldType": "json",
               "Start": "",
               "Stop": ""
             }
           ],
           "SourceKey": "content"
         },
         "type": "processor_anchor"
       }
     ]
   }
   						

   参数	类型	是否必选	说明
   type	string	是	数据源类型，固定为service_lumberjack。
   BindAddress	string	否	Lumberjack协议绑定的地址。不配置时，默认为127.0.0.1:5044，支持自定义。如果Lumberjack协议需要被局域网内其他主机访问，请配置为0.0.0.0:5044。
   V1	bool	否	是否使用Lumberjack V1版本协议。不配置时，默认为false。目前Logstash支持Lumberjack V1。
   V2	bool	否	是否使用Lumberjack V2版本协议。不配置时，默认为true。目前Beats系列软件支持Lumberjack V2。
   SSLCA	string	否	证书授权机构（Certificate Authority）颁发的签名证书路径，默认为空。如果是自签名证书可不设置此选项。
   SSLCert	string	否	证书的路径，默认为空。
   SSLKey	string	否	证书对应私钥的路径，默认为空。
   InsecureSkipVerify	bool	否	是否跳过SSL安全检查。不配置时，默认为false，不跳过SSL安全检查。

7. 在查询分析配置页签中，设置索引。
   默认已设置索引，您也可以根据业务需求，重新设置索引，具体请参见开启并配置索引。

   说明

   • 全文索引和字段索引属性必须至少启用一种。同时启用时，以字段索引属性为准。
   • 索引类型为long、double时，大小写敏感和分词符属性无效。