geroc/sync-api Docker 镜像 - 轩辕镜像

镜像概述

本Docker镜像专注于提供数据同步能力，支持在不同数据源（如数据库、文件系统、云存储等）之间进行数据同步操作。通过简洁的配置即可实现数据的单向或双向同步，保障数据在多系统间的一致性和可用性，降低数据同步流程的部署与维护复杂度。

核心功能

• 多源同步支持：兼容多种数据源类型，包括关系型数据库（MySQL、PostgreSQL等）、文件系统（本地文件、NFS等）、云存储（S3、OSS等）及消息队列（Kafka、RabbitMQ等）。
• 灵活同步模式：支持全量同步（首次同步完整数据）和增量同步（仅同步变更数据），可根据业务需求选择合适模式。
• 定时/实时触发：支持定时同步（通过配置时间间隔）和实时同步（监听数据源变更事件）两种触发方式。
• 数据一致性保障：内置数据校验机制，确保同步前后数据一致性，支持同步失败重试及日志记录。
• 轻量化设计：基于精简基础镜像构建，资源占用低，可快速部署于各类容器化环境。

使用场景

• 数据备份：定期将核心业务数据同步至备份存储，保障数据安全。
• 跨系统数据整合：实现不同业务系统（如ERP、CRM）间的数据互通，支持业务数据统一分析。
• 实时数据同步：在分布式系统中，同步关键业务数据至实时分析平台，支持实时决策。
• 数据迁移：跨环境（如开发、测试、生产）或跨平台（如自建数据库迁移至云数据库）的数据迁移场景。

使用方法### 基本使用（Docker Run）通过docker run命令快速启动同步服务，示例如下：```bash

docker run -d
--name data-sync
-e SOURCE="mysql://user:password@source-db:3306/mydb" \ # 源数据源地址（格式：[类型]://[用户名]:[密码]@[地址]:[端口]/[资源路径]） -e DESTINATION="postgres://user:password@dest-db:5432/mydb" \ # 目标数据源地址（格式同上） -e SYNC_MODE="incremental" \ # 同步模式：full（全量）/incremental（增量），默认incremental -e SYNC_INTERVAL="3600" \ # 同步间隔（秒），实时同步时无需配置 -e LOG_LEVEL="info" \ # 日志级别：debug/info/warn/error，默认info -v /path/to/local/config:/app/config \ # 挂载本地配置文件（可选，优先级高于环境变量） sync-image:latest

### 环境变量配置
| 环境变量         | 说明                                                                 | 示例值                                          | 是否必填 |
|------------------|----------------------------------------------------------------------|-------------------------------------------------|----------|
| `SOURCE`         | 源数据源地址，需指定数据源类型（如mysql、file、s3等）                 | `file:///source-data`、`s3://my-bucket/source`  | 是       |
| `DESTINATION`    | 目标数据源地址，格式同`SOURCE`                                        | `postgres://user:pass@dest-db:5432/mydb`        | 是       |
| `SYNC_MODE`      | 同步模式：`full`（全量同步）/`incremental`（增量同步）                | `incremental`                                   | 否（默认incremental） |
| `SYNC_INTERVAL`  | 定时同步间隔（秒），若配置则启用定时同步；不配置则为单次同步          | `3600`（每小时同步一次）                        | 否       |
| `REAL_TIME`      | 是否启用实时同步（覆盖`SYNC_INTERVAL`）：`true`/`false`               | `true`                                          | 否（默认false） |
| `LOG_LEVEL`      | 日志输出级别                                                         | `debug`                                         | 否（默认info） |
| `RETRY_TIMES`    | 同步失败后重试次数                                                   | `3`                                             | 否（默认3） |
| `RETRY_INTERVAL` | 重试间隔（秒）                                                       | `60`                                            | 否（默认60） |

### 高级配置（配置文件）
若需更复杂的同步规则（如字段映射、数据过滤），可通过挂载本地配置文件实现。配置文件为YAML格式，路径为容器内`/app/config/sync.yaml`，示例如下：
```yaml
source:
  type: mysql
  address: source-db:3306
  database: mydb
  table: users
  filter: "id > 1000"  # 数据过滤条件（可选）
destination:
  type: postgres
  address: dest-db:5432
  database: mydb
  table: users
sync:
  mode: incremental
  key: id  # 增量同步依据字段（如主键）
  mapping:  # 字段映射（源字段: 目标字段，可选，默认字段名一致）
    username: user_name
    create_time: created_at
  interval: 3600
log:
  level: info
  file: /var/log/sync.log  # 日志文件路径（可选，默认标准输出）

查看同步状态与日志

• 查看容器状态：docker ps --filter "name=data-sync"
• 查看同步日志：docker logs -f data-sync
• 查看同步历史记录：容器内日志文件路径默认在/var/log/sync.log（可通过配置文件自定义），或通过docker exec -it data-sync cat /var/log/sync.log查看。