rucio/rucio-dev Docker 镜像 - 轩辕镜像

Rucio开发环境容器

镜像概述和主要用途

本容器为Rucio科学数据管理系统提供开发环境，可在Dockerhub上获取，镜像名称为rucio/rucio-dev，对应的Dockerfile详见GitHub仓库。该容器允许将本地代码挂载至容器的bin、lib和tools目录，无需重建容器即可针对开发代码运行测试和检查。容器配置了PostgreSQL数据库，关闭了fsync及大部分预写日志（WAL）的耐久性功能，以提高测试I/O吞吐量，适用于Rucio的开发与测试场景。

核心功能和特性

• 本地代码挂载：支持将本地Rucio代码挂载至容器的bin、lib、tools目录，实时反映代码变更
• 高效测试环境：PostgreSQL数据库优化配置，关闭部分耐久性功能，提升测试IO吞吐量
• 无需重建容器：可直接基于挂载的本地开发代码运行测试和检查，简化开发流程
• 完整依赖集成：包含运行Rucio所需的全部依赖，开箱即用

前提条件

软件依赖

• Docker：需安装Docker引擎，安装方法参考Docker官方安装指南（如Debian/Ubuntu系统可参考Docker Community Edition安装说明）
• docker-compose：需安装docker-compose工具，例如通过sudo apt install docker-compose安装

环境验证

1. 启动Docker服务：

   bash
   sudo systemctl start docker
   

2. 验证Docker运行状态：

   bash
   docker run hello-world
   

   若成功，将输出确认信息，表明Docker环境就绪。

环境准备

代码仓库准备

1. Fork Rucio主仓库（点击GitHub页面的"Fork"按钮）
2. 克隆个人fork的仓库至本地~/dev/rucio：

   bash
   cd ~/dev
   git clone ***:<your_username>/rucio.git
   cd rucio
   

3. 添加上游仓库作为远程，以便后续提交PR：

   bash
   git remote add upstream ***:rucio/rucio.git
   git fetch --all
   

4. （可选）替换预提交钩子，使pylint在容器内运行：

   bash
   # 替换~/dev/rucio/tools/pre-commit为远程钩子文件
   curl -o ~/dev/rucio/tools/pre-commit [***]
   chmod +x ~/dev/rucio/tools/pre-commit
   

启动容器环境

使用docker-compose启动Rucio开发环境：

bash
docker-compose --file etc/docker/dev/docker-compose.yml up -d

验证容器运行

检查运行中的容器：

bash
docker ps

应显示Rucio服务器、PostgreSQL数据库、FTS及其MySQL数据库、Graphite监控和三个XrootD存储服务器容器。

进入容器

bash
docker exec -it dev_rucio_1 bin/bash

开发流程

代码编辑与测试

在主机编辑代码（如~/dev/rucio目录下的文件），容器内实时同步。推荐使用两个终端进行开发：

终端1（日志监控）

bash
docker exec -it dev_rucio_1 /bin/bash
logshow  # 查看Rucio服务器日志

终端2（交互操作）

bash
docker exec -it dev_rucio_1 /bin/bash
rucio whoami  # 示例命令，终端1将显示服务器调试输出

运行测试

容器内可运行完整测试套件或选择性测试：

• 完整测试（约10分钟）：

  bash
  tools/run_tests_docker.sh
  

• 初始化测试环境后运行指定测试：

  bash
  tools/run_tests_docker.sh -i  # 初始化测试环境
  nosetests -v lib/rucio/tests/test_replica.py  # 运行特定模块测试
  nosetests -v lib/rucio/tests/test_replica.py:TestReplicaCore  # 运行测试类
  nosetests -v lib/rucio/tests/test_replica.py:TestReplicaCore.test_delete_replicas_from_datasets  # 运行单个测试用例
  

开发技巧

服务器代码变更

修改服务器端文件（如lib/rucio/web）后，若变更未生效，可刷新memcache并重启web服务器：

bash
echo 'flush_all' | nc localhost *** && httpd -k graceful

数据库访问

容器的PostgreSQL数据库暴露端口至主机，可通过以下信息连接：

• 地址：localhost:5432
• 数据库名：rucio
• 模式名：dev
• 用户名：rucio
• 密码：secret 可使用数据库工具（如DBeaver）连接管理。

Docker磁盘空间清理

清理Docker占用的磁盘空间：

bash
docker system prune -f --volumes