CDC通过捕获数据库变更实现数据同步,C#可通过SQL Server CDC轮询、Debezium+Kafka、触发器+消息队列等方式订阅变更事件。

变更数据捕获(Change Data Capture,简称 CDC)是一种跟踪数据库中数据变更的技术,能够捕获表中发生的插入、更新和删除操作。它不依赖于应用层的日志,而是直接从数据库的事务日志或触发器等机制中提取变更事件,确保数据变更的实时性和完整性。CDC 常用于数据同步、缓存更新、事件驱动架构和微服务间通信等场景。
常见的 CDC 实现方式
CDC 的实现方式因数据库而异,常见方法包括:
- 基于事务日志解析:如 MySQL 的 binlog、PostgreSQL 的逻辑复制、SQL Server 的 CDC 特性或变更表。
- 触发器(Triggers):在表上创建 INSERT/UPDATE/DELETE 触发器,将变更记录写入专门的变更日志表。
- 轮询时间戳字段:通过查询带有 LastModifiedTime 字段的表,定期拉取新增或修改的数据(效率较低)。
在 C# 中如何订阅数据库变更
C# 本身不提供原生的 CDC 支持,但可以通过以下几种方式实现对数据库变更的订阅:
1. 使用 SQL Server CDC + 轮询查询
如果使用 SQL Server 并启用了 CDC 功能,系统会自动生成变更表(如 cdc.dbo_YourTable_CT)。你可以用定时任务定期查询这些表获取变更:
// 示例:使用 SqlCommand 查询 SQL Server CDC 变更
using (var connection = new SqlConnection(connectionString))
{
var command = new SqlCommand(@"
SELECT __$operation, Id, Name, __$start_lsn
FROM cdc.dbo_YourTable_CT
WHERE __$start_lsn > @lastLsn", connection);
command.Parameters.AddWithValue("@lastLsn", lastProcessedLsn);
connection.Open();
using (var reader = command.ExecuteReader())
{
while (reader.Read())
{
int operation = reader.GetInt32(0); // 1=delete, 2=insert, 3=update(old), 4=update(new)
// 处理变更
}
}}
可通过 sp_cdc_get_min_lsn 和 sp_cdc_get_max_lsn 管理 LSN(日志序列号)范围。
2. 使用 Debezium + Kafka + .NET 消费者
Debezium 是一个开源 CDC 工具,支持 MySQL、PostgreSQL、MongoDB 等,通过读取数据库日志将变更发布到 Kafka。C# 应用可通过 Confluent.Kafka 库订阅 Kafka 主题:
using Confluent.Kafka;
var config = new ConsumerConfig
{
BootstrapServers = "localhost:9092",
GroupId = "cdc-group",
AutoOffsetReset = AutoOffsetReset.Latest
};
using (var consumer = new ConsumerBuilder(config).Build())
{
consumer.Subscribe("your_table_changes");
while (true)
{
var consumeResult = consumer.Consume();
Console.WriteLine($"Received: {consumeResult.Message.Value}");
// 解析 JSON 消息,处理 insert/update/delete
}}
Debezium 发送的消息是结构化 JSON,包含 before、after、op(操作类型)、ts_ms 等字段。
3. 使用触发器 + 消息队列
在数据库中创建触发器,将变更写入一个消息表或调用外部服务(如 Service Broker),然后 C# 程序监听该表或接收通知:
-- 示例:SQL Server 触发器
CREATE TRIGGER trg_YourTable_Change
ON dbo.YourTable
AFTER INSERT, UPDATE, DELETE
AS
BEGIN
INSERT INTO ChangeLog (TableName, Operation, Timestamp)
VALUES ('YourTable', 'U', GETDATE());
END
C# 中可用 SqlDependency 或后台服务轮询 ChangeLog 表来触发处理逻辑。
4. 使用第三方库或中间件
- Microsoft SQLDependency / SqlNotificationRequest:适用于 SQL Server,可监听查询变更(基于 Service Broker)。
- Entity Framework Interceptors:在 SaveChanges 时捕获变更,属于应用层方案,不能捕获外部变更。
- Wolverine 或 MassTransit:结合持久化存储与事件发布,适合事件溯源架构。
选择建议
根据实际需求选择合适方案:
- 若追求低延迟、高可靠,推荐 Debezium + Kafka 架构。
- 若仅限 SQL Server 且环境封闭,可用 CDC 查询 + 定时任务。
- 轻量级项目可用 触发器 + 轮询,但注意性能影响。
基本上就这些。关键是理解数据库变更来源,并选择合适的订阅机制让 C# 程序及时响应。










