日志服务提供数据实时消费功能,支持通过API或SDK实时消费数据。本文介绍实时消费功能的概念、功能优势、应用场景、计费规则、消费目标等信息。

实时消费

实时消费是指第三方软件、多语言应用、云产品、流式计算框架等通过API或SDK实时消费日志服务的数据。实时消费是对全量数据的顺序读写,类似于消息中间件Kafka的功能。

实时消费
说明 实时消费和查询与分析都是读取数据。关于两者的区别,请参见日志消费与查询区别

应用场景

实时消费适用于流计算、实时计算等场景。实时消费的实时性较强,通常为秒级。您可以自定义存储时间。

功能优势

实时消费具有以下优势:
  • 数据集中

    日志服务已完成不同机器上的数据集中化,您只需通过SDK实时消费采集到日志服务的数据。

  • 分类管理

    您可以利用日志服务的数据分类管理功能,实现不同的应用和产品实时消费不同项目、不同类型的数据。

计费规则

实时消费涉及多个计费项,包括读写流量、请求费用等。更多信息,请参见计费项

消费目标

日志服务支持的实时消费目标如下表所示。

类型 目标 说明
第三方软件 Splunk 您可以通过Splunk实时消费日志服务的数据。具体操作,请参见阿里云日志服务Splunk Add-on
Flume 您可以通过Flume实时消费日志服务的数据。具体操作,请参见Flume消费
Logstash 您可以通过Logstash实时消费日志服务的数据。具体操作,请参见Logstash消费
QRadar QRadar等安全信息与事件管理系统可以通过HTTPS协议或Syslog协议实时消费日志服务的数据。具体操作,请参见通过HTTPS投递日志到SIEM通过Syslog投递日志到SIEM
多语言应用 多语言应用 Java、Python、Go等语言的应用作为消费者或消费组消费日志服务的数据。具体操作,请参见普通消费通过消费组消费日志数据
云产品 函数计算 您可以通过函数计算实时消费日志服务的数据。具体操作,请参见通过函数计算消费日志数据
实时计算 您可以通过实时计算实时消费日志服务的数据。具体操作,请参见实时计算(Blink)消费
云监控 您可以通过云监控实时消费日志服务的数据。具体操作,请参见云监控消费
流式计算 Storm 您可以通过流式计算框架Storm实时消费日志服务的数据。具体操作,请参见Storm消费
Flink 您可以通过流式计算框架Flink实时消费日志服务的数据。具体操作,请参见开源Flink消费
Spark 您可以通过流式计算框架Spark实时消费日志服务的数据。具体操作,请参见Spark Streaming消费