treeverse/lakectl Docker 镜像 - 轩辕镜像

lakeFS 镜像文档

镜像概述与主要用途

lakeFS 是一款开源工具，能够将对象存储转换为类 Git 仓库，使数据湖管理具备代码管理的特性。它支持 AWS S3、Azure Blob Storage 和 Google Cloud Storage 作为底层存储服务，提供 S3 API 兼容性，可与 Spark、Hive、AWS Athena、Presto 等现代数据框架无缝协作。通过 lakeFS，用户可以构建可重复、原子化和版本化的数据湖操作，覆盖从复杂 ETL 作业到数据科学与分析的全流程。

核心功能与特性

开发阶段

• 实验隔离：创建数据分支进行工具试用、版本升级和代码变更测试，隔离环境不影响其他用户
• 历史调试：检出仓库提交历史中的特定版本，获取一致的历史数据快照用于问题排查
• 并行协作：基于元数据管理的隔离分支支持团队并行工作，无需复制文件

部署阶段

• 版本控制：借鉴软件工程最佳实践，通过 CI/CD 工作流安全部署数据。在隔离分支摄入新数据，执行数据验证后，通过合并操作将其加入生产环境
• 数据测试：定义预合并和预提交钩子，运行测试以强制实施数据模式和验证数据属性，在问题影响生产前捕获

生产阶段

• 快速回滚：通过原子操作将数据即时恢复到之前的一致快照，选择仓库提交历史中的任意版本进行恢复
• 故障排查：基于失败流程的输入数据快照进行问题调查，确保排查环境一致
• 跨集合一致性：通过原子、可回滚的操作，为数据消费者提供多个同步的数据集合

使用场景与适用范围

• 数据湖管理：实现数据版本控制、分支管理和变更追踪，解决数据湖混乱问题
• ETL 作业：确保 ETL 流程的可重复性和原子性，支持失败后回滚到稳定版本
• 数据科学与分析：提供隔离的实验环境，支持数据版本对比和结果复现
• 数据质量验证：通过预提交钩子在数据入库前进行质量检查，防止劣质数据进入生产
• 团队协作：多团队并行操作数据湖，避免相互干扰，提高协作效率

使用方法与配置说明

Docker 部署（MacOS/Linux）

1. 确保已安装 Docker 和 Docker Compose
2. 执行以下命令启动 lakeFS：

   bash
   curl [***] | docker-compose -f - up
   

3. 在浏览器中打开 [***] API 请求）

Docker 部署（Windows）

1. 确保已安装 Docker
2. 在 PowerShell 中执行以下命令启动 lakeFS：

   shell
   Invoke-WebRequest [***] | Select-Object -ExpandProperty Content | docker-compose -f - up
   

3. 在浏览器中打开 [***]

二进制文件下载

可直接下载 lakeFS 二进制文件运行，二进制文件可从 GitHub Releases 获取

仓库设置

请参考 快速入门指南 配置本地 lakeFS 安装。更多详细设置说明，请访问 lakeFS 文档。

社区支持

通过以下渠道获取 lakeFS 最新动态和支持：

• Slack：获取团队和其他用户的帮助
• ***：关注更新和新闻
• ***：观看视频教程
• 联系我们：处理其他问题

更多信息

• lakeFS 官方文档
• 贡献指南（如需参与贡献）
• 产品路线图

许可协议

lakeFS 是完全免费的开源软件，采用 Apache 2.0 许可协议。