radarbase/kafka-connect-rest-fitbit-source Docker 镜像 - 轩辕镜像
radarbase/kafka-connect-rest-fitbit-sourceKafka Connect的REST API通用源连接器和Fitbit专用源连接器，用于将REST API数据（特别是Fitbit用户数据）导入Kafka
0 次下载activeradarbase镜像
Kafka Connect REST源连接器与Fitbit源连接器
本项目包含Kafka Connect的REST API通用源连接器，以及专门用于Fitbit的源连接器。目前REST源连接器的文档仍在完善中，以下主要介绍Fitbit源连接器的使用。
Fitbit源连接器
概述
Fitbit源连接器是Kafka Connect的源组件，用于通过Fitbit API将Fitbit用户的生理和活动数据（如心率、步数、睡眠等）接入Kafka，支持单用户（个人应用）和多用户（服务器应用）场景，提供灵活的配置和数据路由能力。
核心功能
- 支持Fitbit OAuth 2.0认证，自动管理access token和refresh token
- 适配单用户（个人应用）与多用户（服务器应用）数据采集
- 采集多种Fitbit数据类型：日内步数、心率、卡路里，睡眠阶段，活动日志，用户时区等
- 可自定义Kafka主题，实现不同类型数据的分离存储
- 支持文件型、Web服务型（如ManagementPortal）或Firebase用户仓库，灵活管理用户认证信息
使用场景
适用于需要将Fitbit用户健康数据接入Kafka的场景，如健康监测平台、科研数据分析系统、用户行为分析平台等，尤其适合需要批量处理多用户Fitbit数据的应用。
安装要求
运行该连接器需满足：
- Docker及docker-compose（最新版本）
- Java 11或更高版本
使用方法
1. 注册Fitbit应用
- 访问Fitbit开发者平台注册应用：
- 多用户场景选择服务器应用，单用户场景选择个人应用
- 服务器应用需额外申请日内API数据访问权限（用于获取高频数据）
2. 配置用户认证
手动配置用户（单用户/少量用户）
- 复制用户配置模板：将项目中的
docker/fitbit-user.yml.template复制到docker/users/目录，重命名为<用户名>.yml - 获取用户令牌：通过Fitbit OAuth 2.0交互式教程获取用户的
access token和refresh token，填入上述文件
自动配置用户（多用户）
参考scripts/REDCAP-FITBIT-AUTH-AUTO/README.md中的自动化认证流程，支持批量用户配置
3. 配置连接器属性
- 复制属性模板：将
docker/source-fitbit.properties.template复制为docker/source-fitbit.properties - 填写应用凭证：在配置文件中填入Fitbit应用的
client ID和client secret - （可选）调整其他配置参数，参数说明如下表：
| 名称 | 描述 | 类型 | 默认值 | 有效值 | 重要性 |
|---|---|---|---|---|---|
| rest.source.poll.interval.ms | 轮询源URL的频率（毫秒） | long | 60000 | - | 低 |
| rest.source.base.url | REST源连接器的基础URL | string | - | - | 高 |
| rest.source.destination.topics | REST源连接器的目标主题列表 | list | "" | - | 高 |
| rest.source.topic.selector | REST源连接器的主题选择器类 | class | org.radarbase.connect.rest.selector.SimpleTopicSelector | 继承自org.radarbase.connect.rest.selector.TopicSelector的类 | 高 |
| rest.source.payload.converter.class | REST响应转SourceRecords的转换器类 | class | org.radarbase.connect.rest.converter.StringPayloadConverter | 继承自org.radarbase.connect.rest.converter.PayloadToSourceRecordConverter的类 | 低 |
| rest.source.request.generator.class | REST请求生成器类 | class | org.radarbase.connect.rest.single.SingleRequestGenerator | 继承自org.radarbase.connect.rest.request.RequestGenerator的类 | 低 |
| fitbit.users | 需轮询的Fitbit用户ID列表（逗号分隔，空则包含用户目录所有用户） | list | "" | - | 高 |
| fitbit.api.client | Fitbit API的客户端ID | string | - | 非空字符串 | 高 |
| fitbit.api.secret | Fitbit API客户端的密钥 | password | - | - | 高 |
| fitbit.user.poll.interval | 每个用户每个请求路由的轮询间隔（秒） | int | 150 | - | 中 |
| fitbit.api.intraday | 是否有权限访问Fitbit日内API | boolean | false | - | 中 |
| fitbit.user.repository.class | 用户认证管理类 | class | org.radarbase.connect.rest.fitbit.user.YamlUserRepository | 继承自org.radarbase.connect.rest.fitbit.user.UserRepository的类 | 中 |
| fitbit.user.dir | 文件型用户仓库的用户凭证目录 | string | /var/lib/kafka-connect-fitbit-source/users | - | 低 |
| fitbit.user.repository.url | Web服务型用户仓库的URL | string | "" | - | 低 |
| fitbit.user.repository.client.id | Web服务用户仓库的客户端ID | string | "" | - | 中 |
| fitbit.user.repository.client.secret | Web服务用户仓库的客户端密钥 | string | "" | - | 中 |
| fitbit.user.repository.oauth2.token.url | Web服务用户仓库的OAuth 2.0令牌URL | string | "" | - | 中 |
| fitbit.intraday.steps.topic | 日内步数数据的Kafka主题 | string | connect_fitbit_intraday_steps | 无控制字符的非空字符串 | 低 |
| fitbit.intraday.heart.rate.topic | 日内心率数据的Kafka主题 | string | connect_fitbit_intraday_heart_rate | 无控制字符的非空字符串 | 低 |
| fitbit.sleep.stages.topic | 睡眠阶段数据的Kafka主题 | string | connect_fitbit_sleep_stages | 无控制字符的非空字符串 | 低 |
| fitbit.sleep.classic.topic | 传统睡眠数据的Kafka主题 | string | connect_fitbit_sleep_classic | 无控制字符的非空字符串 | 低 |
| fitbit.time.zone.topic | 用户时区数据的Kafka主题 | string | connect_fitbit_time_zone | 无控制字符的非空字符串 | 低 |
| fitbit.activity.log.topic | 活动日志数据的Kafka主题 | string | connect_fitbit_activity_log | 无控制字符的非空字符串 | 低 |
| fitbit.intraday.calories.topic | 日内卡路里数据的Kafka主题 | string | connect_fitbit_intraday_calories | 无控制字符的非空字符串 | 低 |
| fitbit.user.firebase.collection.fitbit.name | Firebase用户仓库的Fitbit认证集合名 | string | fitbit | - | 低 |
| fitbit.user.firebase.collection.user.name | Firebase用户仓库的用户信息集合名 | string | users | - | 低 |
4. 集成ManagementPortal用户仓库（可选）
若使用ManagementPortal管理用户，需在ManagementPortal中创建OAuth客户端，配置如下：
Client ID: fitbit.user.repository.client.id Client Secret: fitbit.user.repository.client.secret Scope: SUBJECT.READ MEASUREMENT.CREATE Resources: res_restAuthorizer Grant types: client_credentials Access Token validity: 600 Refresh Token validity: 0
并设置fitbit.user.repository.oauth.token.url为[***]
5. 启动与验证
启动服务
shelldocker-compose up -d --build
查看运行日志
shelldocker-compose logs -f radar-fitbit-connector
验证数据接入
通过Kafka Avro控制台消费者查看数据（以心率数据为例）：
shelldocker-compose exec schema-registry-1 kafka-avro-console-consumer \ --bootstrap-server kafka-1:9092,kafka-2:9092,kafka-3:9092 \ --from-beginning \ --topic connect_fitbit_intraday_heart_rate
（将主题名替换为实际需要验证的数据类型，如connect_fitbit_intraday_steps表示步数数据）
airbyte/source-kafka
by Airbyte
认证
暂无描述
100K+ pulls
上次更新：6 个月前
bitnami/kafka
by VMware
认证
比特纳米Kafka安全镜像是一款针对分布式流处理平台Kafka的预配置、安全加固容器镜像，集成行业最佳安全实践，涵盖漏洞扫描、最小权限原则、加密通信支持及合规性检查，旨在简化Kafka部署流程，确保数据传输与存储安全性，适用于企业级流数据处理场景，帮助用户快速搭建安全可靠的Kafka集群。
952100M+ pulls
上次更新：4 个月前
bitnamicharts/kafka
by VMware
认证
Bitnami为Apache Kafka提供的Helm Chart是一款预配置的Kubernetes包管理工具，旨在简化分布式流处理平台Apache Kafka在Kubernetes集群中的部署、配置与全生命周期运维管理，集成了高可用性集群设置、安全认证机制、Prometheus监控指标及自动伸缩策略等核心功能，帮助用户无需手动处理复杂的集群参数配置，即可快速搭建稳定、可扩展且符合生产级标准的Kafka服务，适用于从开发测试到大规模生产环境的各类场景。
410M+ pulls
上次更新：4 个月前
airbyte/source-pinterest
by Airbyte
认证
暂无描述
100K+ pulls
上次更新：2 个月前
ubuntu/kafka
by Canonical
认证
Apache Kafka 是一个分布式事件流平台，它支持高吞吐量、低延迟的实时数据流处理与传输，可广泛应用于消息传递、日志聚合、实时分析、数据集成等场景，其长期维护轨道由 Canonical 负责，以确保平台在稳定性、安全性及功能迭代方面获得持续支持，为企业级用户提供可靠的事件流处理解决方案。
591M+ pulls
上次更新：1 个月前
airbyte/source-s3
by Airbyte
认证
暂无描述
1M+ pulls
上次更新：2 个月前
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
登录仓库拉取
通过 Docker 登录认证访问私有仓库
Linux
在 Linux 系统配置镜像服务
Windows/Mac
在 Docker Desktop 配置镜像
Docker Compose
Docker Compose 项目配置
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
宝塔面板
在宝塔面板一键配置镜像
群晖
Synology 群晖 NAS 配置
飞牛
飞牛 fnOS 系统配置镜像
极空间
极空间 NAS 系统配置服务
爱快路由
爱快 iKuai 路由系统配置
绿联
绿联 NAS 系统配置镜像
威联通
QNAP 威联通 NAS 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
专属域名拉取
无需登录使用专属域名
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
轩辕镜像免费版与专业版有什么区别？
免费版仅支持 Docker Hub 访问，不承诺可用性和速度；专业版支持更多镜像源，保证可用性和稳定速度，提供优先客服响应。
轩辕镜像支持哪些镜像仓库？
专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等；免费版仅支持 docker.io。
流量耗尽错误提示
当返回 402 Payment Required 错误时，表示流量已耗尽，需要充值流量包以恢复服务。
410 错误问题
通常由 Docker 版本过低导致，需要升级到 20.x 或更高版本以支持 V2 协议。
manifest unknown 错误
先检查 Docker 版本，版本过低则升级；版本正常则验证镜像信息是否正确。
镜像拉取成功后，如何去掉轩辕镜像域名前缀？
使用 docker tag 命令为镜像打上新标签，去掉域名前缀，使镜像名称更简洁。
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"