采集HTTP数据 - 日志服务

原理

Logtail根据您在采集配置中设置的HTTP请求的URL、Method、Header、Body等信息，定期对指定URL发起请求，将请求返回的状态码、body内容以及响应时间做为数据源上传到日志服务。

功能

• 支持配置多个URL。
• 支持配置HTTP方法。
• 支持配置HTTP请求的间隔。
• 支持自定义请求头。
• 支持HTTPS。
• 支持检测body是否匹配固定模式。

应用场景

• 监控应用状态（以HTTP方式提供监控接口），例如：
  • Nginx
  • Docker（HTTP方式）
  • Elastic Search
  • Haproxy
  • 其他以HTTP方式提供监控接口的服务
• 检测服务可用性。

  定期请求服务，通过状态码以及请求延迟做服务的可用性监控。

• 定期拉取数据，例如微博评论、粉丝数等。

使用限制

• URL必须以http或https开头。
• 不支持自定义证书。
• 不支持交互式通信方式。

操作步骤

例如：每隔1000ms请求一次nginx status模块，URL为http://127.0.0.1/ngx_status，使用正则表达式提取返回body中的状态信息，操作步骤如下所示。

1. 登录日志服务控制台。
2. 在接入数据区域，选择自定义数据插件。
3. 在选择日志空间页签中，选择目标Project和Logstore，单击下一步。
   您也可以单击立即创建，重新创建Project和Logstore，详情请参见步骤1：创建Project和Logstore。
4. 在创建机器组页签中，创建机器组。
   • 如果您已有可用的机器组，请单击使用现有机器组。
   • 如果您还没有可用的机器组，请执行以下操作（以ECS为例）。
     1. 选择ECS实例安装Logtail，详情请参见安装Logtail（ECS实例）。

        如果已在ECS上安装Logtail，可直接单击确认安装完毕。

        说明 如果是自建集群、其他云厂商服务器，需要手动安装Logtail，详情请参见安装Logtail（Linux系统）或安装Logtail（Windows系统）。
     2. 安装完成后，单击确认安装完毕。
     3. 创建机器组，详情请参见创建IP地址机器组或创建用户自定义标识机器组。
5. 在机器组配置页签中，应用机器组。
   选择一个机器组，将该机器组从源机器组移动到应用机器组。
6. 在数据源设置页签中，配置配置名称和插件配置。
   • inputs为Logtail采集配置，必选项，请根据您的数据源配置。
     说明 一个inputs中只允许配置一个类型的数据源。
   • processors为Logtail处理配置，可选项。您可以配置一种或多种处理方式，详情请参见处理数据。

   {
    "inputs": [
        {
            "type": "metric_http",
            "detail": {
                "IntervalMs": 1000,
                "Addresses": [
                    "http://127.0.0.1/ngx_status"
                ],
                "IncludeBody": true
            }
        }
    ],
    "processors" : [
        {
            "type": "processor_regex",
            "detail" : {
                "SourceKey": "content",
                "Regex": "Active connections: (\\d+)\\s+server accepts handled requests\\s+(\\d+)\\s+(\\d+)\\s+(\\d+)\\s+Reading: (\\d+) Writing: (\\d+) Waiting: (\\d+).*",
                "Keys": [
                    "connection",
                    "accepts",
                    "handled",
                    "requests",
                    "reading",
                    "writing",
                    "waiting"
                ],
                "FullMatch": true,
                "NoKeyError": true,
                "NoMatchError": true,
                "KeepSource": false
            }
        }
    ]
   }

   参数	类型	是否必选	参数说明
   type	string	是	数据源类型，固定为metric_http。
   Addresses	string 数组	是	URL列表。 说明 必须以http或https开头。
   IntervalMs	int	是	每次请求的间隔，单位：ms。
   Method	string	否	请求的方法名。必须大写，默认为GET。
   Body	string	否	HTTP Body字段内容，默认为空。
   Headers	key：string， value：string map	否	HTTP Header的内容，默认为空。
   PerAddressSleepMs	int	否	Addresses列表中，每个URL请求的间隔时间，单位：ms，默认值：100ms。
   ResponseTimeoutMs	int	否	请求超时的时间，单位：ms，默认值：5000ms。
   IncludeBody	bool	否	是否采集请求的body，默认值：false。如果为true，则将请求body内容存放在名为content的key中。
   FollowRedirects	bool	否	是否自动处理重定向，默认值：false。
   InsecureSkipVerify	bool	否	是否跳过https安全检查，默认值：false。
   ResponseStringMatch	string	否	对返回的body内容进行正则表达式检查，检查结果存放在名为_response_match_的key中，如果匹配，value为yes；如果不匹配，value为no。

7. 在查询分析配置页签中，设置索引。
   默认已设置索引，您也可以根据业务需求，重新设置索引，具体请参见开启并配置索引。

   说明

   • 全文索引和字段索引属性必须至少启用一种。同时启用时，以字段索引属性为准。
   • 索引类型为long、double时，大小写敏感和分词符属性无效。