数据结构

Kafka 通过 *多层级可靠性机制* 保证数据不丢失

Kafka 通过 **多层级可靠性机制** 保证数据不丢失,涵盖 **生产者发送**、**Broker 存储** 和 **消费者消费** 三个核心环节。以下是详细解决方案:

---

### **一、生产者端保证(Producer → Broker)**
#### 1. **ACK 确认机制**
- **`acks=0`**:不等待 Broker 确认,可能丢失数据(高性能,低可靠性)。
- **`acks=1`**(默认):Leader 副本写入即返回,若 Leader 宕机且未同步到 Follower 会丢失。
- **`acks=all`**(或 `acks=-1`):要求所有 ISR(In-Sync Replicas)副本写入后才返回,数据最安全。

#### 2. **重试机制**
- 配置 `retries=MAX_INT`(如 `Integer.MAX_VALUE`)和 `retry.backoff.ms`,在网络抖动或 Leader 切换时自动重试。
- **幂等性**:启用 `enable.idempotence=true`,避免重试导致消息重复(仅限单分区)。

#### 3. **同步发送**
- 避免异步发送(`producer.send()` 后不检查 Future),改用同步阻塞或回调确认:
  ```java
  Future<RecordMetadata> future = producer.send(record);
  RecordMetadata metadata = future.get(); // 阻塞等待确认
  ```

---

### **二、Broker 端保证(数据持久化)**
#### 1. **多副本机制(Replication)**
- 每个 Partition 配置 `replication.factor=N`(通常 ≥3),数据写入 Leader 后同步到 Follower。
- **ISR 列表**:只有与 Leader 保持同步的 Follower 才参与 ACK(`acks=all` 时生效)。

#### 2. **持久化刷盘**
- **`log.flush.interval.messages`**:累积多少条消息后刷盘(默认不强制,依赖 OS 缓存)。
- **`log.flush.interval.ms`**:定期刷盘间隔(建议结合 UPS 电源防止断电丢数据)。

#### 3. **Leader 选举优化**
- 配置 `unclean.leader.election.enable=false`,禁止非 ISR 副本成为 Leader,避免数据不一致。

---

### **三、消费者端保证(Broker → Consumer)**
#### 1. **手动提交 Offset**
- 禁用自动提交(`enable.auto.commit=false`),在业务逻辑完成后手动提交 Offset:
  ```java
  consumer.commitSync(); // 同步提交
  // 或 consumer.commitAsync(); // 异步提交
  ```

#### 2. **消费幂等性**
- 即使重复消费(如 Offset 提交延迟),业务逻辑需保证幂等(如数据库唯一键去重)。

#### 3. **Consumer 容错**
- 消费失败时记录日志并重试,而非直接跳过:
  ```java
  try {
      processMessage(record);
      consumer.commitSync();
  } catch (Exception e) {
      log.error("消费失败,重试中...", e);
      retryOrStoreToDeadLetterQueue(record);
  }
  ```

---

### **四、极端情况应对**
#### 1. **Broker 全量崩溃**
- **最小 ISR 要求**:设置 `min.insync.replicas=2`(至少 1 Leader + 1 Follower 存活),否则生产者会收到 `NotEnoughReplicasException`。
- **跨机房容灾**:部署多机房集群(如使用 Kafka MirrorMaker 同步)。

#### 2. **磁盘损坏**
- 使用 RAID 或分布式存储(如 HDFS)备份 Kafka 数据目录。

---

### **五、监控与运维保障**
1. **实时监控**:
   - 监控 `UnderReplicatedPartitions`(未充分复制的分区)。
   - 告警 `LogEndOffset` 和 `ConsumerLag`,确保消费进度正常。
2. **定期测试**:
   - 模拟 Broker 宕机,验证数据恢复能力。
   - 压测生产/消费链路,确保 ACK 机制有效。

---

### **总结:Kafka 不丢失数据的核心配置**
| 环节       | 关键配置                                                                 |
|-----------|-------------------------------------------------------------------------|
| **生产者** | `acks=all`, `retries=MAX_INT`, `enable.idempotence=true`                |
| **Broker** | `replication.factor≥3`, `min.insync.replicas≥2`, `unclean.leader.election.enable=false` |
| **消费者** | `enable.auto.commit=false`, 手动提交 + 幂等处理                         |

> **注意**:高可靠性往往牺牲吞吐量(如 `acks=all` 降低写入性能),需根据业务权衡。