mtsrus/hadoop Docker 镜像 - 轩辕镜像

Hadoop Docker镜像

仅用于测试目的！

镜像概述和主要用途

该Docker镜像提供包含Hadoop集群组件的一站式容器化解决方案，支持HDFS独立部署、Yarn资源管理及Hive数据仓库集成。主要用于测试环境，可快速搭建Hadoop相关服务，支持Hadoop 2和3两个版本系列，满足不同测试需求。

核心功能和特性

• 多组件集成：根据配置不同，可包含HDFS（NameNode、Secondary NameNode、DataNode）、Yarn（ResourceManager、NodeManager）、MapReduce JobHistory Server及Hive（Hive Server、Metastore Server）等组件
• 版本支持：提供Hadoop 2.x和3.x系列镜像，包含HDFS、Yarn、Hive等不同功能组合版本
• 灵活配置：支持通过挂载配置文件、设置环境变量等方式自定义服务参数
• 资源优化：针对测试场景优化资源需求，可根据组件类型调整CPU、内存配置

HDFS

版本

• mtsrus/hadoop:hadoop2.7.3-hdfs

• mtsrus/hadoop:hadoop2-hdfs - 与上述版本相同

• mtsrus/hadoop:hadoop3.3.6-hdfs

• mtsrus/hadoop:hadoop3-hdfs - 与上述版本相同

前提条件

最小资源要求：

• 200m CPU
• 700Mb 内存
• 1Gb 存储空间

示例

详见docker-compose.yml

端口号

注意：Hadoop 2镜像与Hadoop 3使用相同端口号：

• 9820:9820 - HDFS IPC
• 9870:9870 - WebHDFS

配置

/var/hadoop/conf/*.xml 文件

默认配置

• /var/hadoop/conf/core-site.xml
• /var/hadoop/conf/hdfs-site.xml

可通过将自定义配置文件挂载到容器内/var/hadoop/conf目录来覆盖默认Hadoop配置。

替代变量

以下变量会被替换为实际值：

• {{hostname}} - 当前主机名

容器环境变量

• WAIT_TIMEOUT_SECONDS=120 - 启动每个服务后检查存活状态的超时时间（秒）

/var/hadoop/conf/hadoop-env.sh 环境变量

默认值

• export HADOOP_HEAPSIZE=512 - 所有Hadoop组件的最大JVM内存（MB），如无单独配置则应用此值

若容器因OutOfMemory失败，应增加此值，例如设为1024或2048。

服务专用变量

• export HADOOP_NAMENODE_OPTS=-Xmx2048m - NameNode的最大JVM内存
• export HADOOP_SECONDARYNAMENODE_OPTS=-Xmx2048m - Secondary NameNode的最大JVM内存
• export HADOOP_DATANODE_OPTS=-Xmx1024m - DataNode的最大JVM内存

参考：[***]

Yarn

版本

• mtsrus/hadoop:hadoop2.7.3-yarn

• mtsrus/hadoop:hadoop2-yarn - 与上述版本相同

• mtsrus/hadoop:hadoop3.3.6-yarn

• mtsrus/hadoop:hadoop3-yarn - 与上述版本相同

前提条件

最小资源要求：

• 400m CPU
• 1Gb 内存
• 1Gb 存储空间

示例

详见docker-compose.yml

端口号

注意：Hadoop 2镜像与Hadoop 3使用相同端口号：

• 9820:9820 - HDFS IPC
• 9870:9870 - HDFS WebHDFS
• 8042:8042 - NodeManager UI
• 8088:8088 - Yarn UI

若WITH_JOBHISTORY_SERVER=true：

• ***:*** - MapReduce JobServer
• ***:*** - MapReduce JobServer History

配置

/var/hadoop/conf/*.xml 文件

默认配置

• /var/hadoop/conf/core-site.xml
• /var/hadoop/conf/hdfs-site.xml
• /var/hadoop/conf/yarn-site.xml
• /var/hadoop/conf/capacity-scheduler.xml
• /var/hadoop/conf/mapred-site.xml

可通过将自定义配置文件挂载到容器内/var/hadoop/conf目录来覆盖默认Hadoop配置。

替代变量

以下变量会被替换为实际值：

• {{hostname}} - 当前主机名

容器环境变量

• WAIT_TIMEOUT_SECONDS=120 - 启动每个服务后检查存活状态的超时时间（秒）
• WITH_JOBHISTORY_SERVER=false - 设置为true以启动MapReduce JobHistory服务器

/var/hadoop/conf/hadoop-env.sh 环境变量

参见HDFS镜像文档。

/var/hadoop/conf/yarn-env.sh 环境变量

• export YARN_RESOURCEMANAGER_OPTS=-Xmx1024m - Yarn ResourceManager的最大JVM内存
• export YARN_NODEMANAGER_OPTS=-Xmx1024m - NodeManager的最大JVM内存
• export HADOOP_JOB_HISTORYSERVER_OPTS=-Xmx1024m - MapReduce JobHistory服务器的最大JVM内存

参考：[***]

Hive

版本

• mtsrus/hadoop:hadoop2.7.3-hive2.3.10

• mtsrus/hadoop:hadoop2-hive - 与上述版本相同

• mtsrus/hadoop:hadoop3.3.6-hive3.1.3

• mtsrus/hadoop:hadoop3-hive - 与上述版本相同

前提条件

最小资源要求：

• 500m CPU
• 2Gb 内存
• 1Gb 存储空间
• 运行中的关系型数据库（如Postgres）实例，用于Metastore存储

示例

详见docker-compose.yml

端口号

注意：Hadoop 2镜像与Hadoop 3使用相同端口号：

• 9820:9820 - HDFS IPC
• 9870:9870 - HDFS WebHDFS

若WITH_HIVE_SERVER=true：

• 8042:8042 - NodeManager UI
• 8088:8088 - Yarn UI
• ***:*** - MapReduce JobServer History
• ***:*** - Hive服务器
• ***:*** - Hive管理UI

若WITH_HIVE_METASTORE_SERVER=true：

• 9083:9083 - Hive Metastore服务器

配置

/var/hive/conf/*.xml 和 var/hadoop/conf/*.xml 文件

默认配置

• /var/hadoop/conf/hive-site.xml

可通过将自定义配置文件挂载到容器内/var/hive/conf目录来覆盖默认Hive配置。HDFS和Yarn配置仍可通过var/hadoop/conf目录传递。

替代变量

以下变量会被替换为实际值：

• {{hostname}} - 当前主机名
• {{HIVE_METASTORE_DB_URL}} - HIVE_METASTORE_DB_URL环境变量（默认jdbc:postgresql://postgres:5432/metastore）
• {{HIVE_METASTORE_DB_DRIVER}} - HIVE_METASTORE_DB_DRIVER环境变量（默认org.postgresql.Driver）
• {{HIVE_METASTORE_DB_USER}} - HIVE_METASTORE_DB_USER环境变量（默认hive）
• {{HIVE_METASTORE_DB_PASSWORD}} - HIVE_METASTORE_DB_PASSWORD环境变量（默认hive）

Metastore数据库

Hive使用{{HIVE_METASTORE_DB_DRIVER}}指定的驱动将元数据存储在{{HIVE_METASTORE_DB_URL}}中。默认使用Postgres。

可通过设置上述环境变量更改URL组件，或通过更新/var/hive/conf/hive-site.xml文件替换整个URL。

也可使用其他支持的关系型数据库（如MySQL），方法是更改连接URL并将JDBC驱动嵌入/挂载到容器内/opt/hive/lib/drivername.jar路径。Postgres JDBC驱动已嵌入镜像中。

容器环境变量

• WAIT_TIMEOUT_SECONDS=120 - 启动每个服务后检查存活状态的超时时间（秒）
• WITH_HIVE_SERVER=true - 设置为false以禁用Hive服务器
• WITH_HIVE_METASTORE_SERVER=true - 设置为false以禁用Hive Metastore服务器

/var/hadoop/conf/hadoop-env.sh 环境变量

参见HDFS镜像文档。

/var/hadoop/conf/yarn-env.sh 环境变量

参见Yarn镜像文档。

/var/hive/conf/hive-env.sh 环境变量

• export HIVE_SERVER2_HEAPSIZE=256 - Hive服务器的最大JVM内存（MB）
• export HIVE_METASTORE_HEAPSIZE=256 - Hive Metastore服务器的最大JVM内存（MB）

参考：[***]