CDC Debezium 介绍
Debezium是什么?
Debezium是一个分布式平台，它将您现有的数据库转换为事件流，因此应用程序可以看到数据库中的每一个行级更改并立即做出响应。Debezium构建在Apache Kafka之上，并提供Kafka连接兼容的连接器来监视特定的数据库管理系统。Debezium在Kafka日志中记录数据更改的历史，您的应用程序将从这里使用它们。这使您的应用程序能够轻松、正确、完整地使用所有事件。即使您的应用程序停止(或崩溃)，在重新启动时，它将开始消耗它停止的事件，因此它不会错过任何东西。
Debezium架构
最常见的是，Debezium是通过Apache Kafka连接部署的。Kafka Connect是一个用于实现和操作的框架和运行时
源连接器，如Debezium，它将数据摄取到Kafka和
接收连接器，它将数据从Kafka主题传播到其他系统。
下图显示了一个基于Debezium的CDC管道的架构:
除了Kafka代理本身之外，Kafka Connect是作为一个单独的服务来操作的。部署了用于MySQL和Postgres的Debezium连接器来捕获这两个数据库的更改。为此，两个连接器使用客户端库建立到两个源数据库的连接，在使用MySQL时访问binlog，在使用Postgres时从逻辑复制流读取数据。
默认情况下，来自一个捕获表的更改被写入一个对应的Kafka主题。如果需要，可以在Debezium的主题路由SMT的帮助下调整主题名称，例如，使用与捕获的表名不同的主题名称，或者将多个表的更改转换为单个主题。
一旦更改事件位于Apache Kafka中，来自Kafka Connect生态系统的不同连接器就可以将更改流到其他系统和数据库，如Elasticsearch、数据仓库和分析系统或Infinispan等缓存。根据所选的接收连接器，可能需要应用Debezium的新记录状态提取SMT，它只会将“after”结构从Debezium的事件信封传播到接收连接器。
嵌入式引擎
使用Debezium连接器的另一种方法是嵌入式引擎。在这种情况下，Debezium不会通过Kafka Connect运行，而是作为一个嵌入到定制Java应用程序中的库运行。这对于在应用程序内部使用更改事件非常有用，而不需要部署完整的Kafka和Kafka连接集群，或者将更改流到其他消息传递代理(如Amazon Kinesis)。您可以在示例库中找到后者的示例。
Debezium特性
Debezium是Apache Kafka Connect的一组源连接器，使用change data capture (CDC)从不同的数据库中获取更改。与其他方法如轮询或双写不同，基于日志的CDC由Debezium实现:
确保捕获所有数据更改
以非常低的延迟(例如，MySQL或Postgres的ms范围)生成更改事件，同时避免增加频繁轮询的CPU使用量
不需要更改数据模型(如“最后更新”列)
可以捕获删除
可以捕获旧记录状态和其他元数据，如事务id和引发查询(取决于数据库的功能和配置)
- 发表于:
- 原文链接：https://kuaibao.qq.com/s/20191013A0EMPG00?refer=cp_1026
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
