Kafka资源
探索与 Kafka 相关的精选开源项目、速读教程和最新工作机会
相关开源项目
pathwaycom/pathway
Python ETL框架，支持流处理、实时分析、LLM管道和RAG。基于Rust引擎，提供Python API，兼容批处理与流处理，支持Docker和Kubernetes部署。
datatalksclub/data-engineering-zoomcamp
免费9周数据工程课程，涵盖从容器化到流处理的完整数据管道构建。提供动手实践、社区支持与项目实战。
apache/kafka
Apache Kafka 是一个开源分布式事件流平台，用于构建高性能数据管道、流式分析、数据集成和关键任务应用。支持 Java 17 和 25，客户端和流模块兼容 Java 11。主要语言为 Java，使用 Scala 2.13。
yudaocode/springboot-labs
涵盖 Spring Boot 2.X、Spring Cloud、Spring Cloud Alibaba、Dubbo、分布式消息队列和分布式事务六大技术栈的深度入门仓库，提供 50000+ 行示例代码，适合开发者系统学习。
heibaiying/bigdata-notes
大数据入门指南，涵盖 Hadoop、Spark、Flink 等核心组件，提供安装、开发与实战教程，助力初学者快速掌握大数据技术栈。
influxdata/telegraf
基于 Go 开发的指标、日志和任意数据收集处理代理。提供超过 300 个插件，支持系统监控、云服务、消息传递等。编译为独立静态二进制文件，无外部依赖，使用 TOML 配置。
zhisheng17/flink-learning
基于 Flink 1.14.2 的学习项目，涵盖入门、原理、实战、性能调优及源码解析。包含 Connector、Metrics、DataStream/Table API 等案例，以及 PVUV、日志存储、实时去重等大型项目实践。提供专栏《大数据实时计算引擎 Flink 实战与性能优化》。
aalansehaiyang/technology-talk
专为 Java 程序员打造的面试指南，涵盖大厂面试题、系统架构、中间件及职场技巧，助力技术提升。
sogou/workflow
C++ 并行计算与异步网络框架，支持 HTTP、Redis、MySQL、Kafka 等协议，可构建高性能后端服务与微服务系统。
debezium/debezium
开源 CDC 平台，低延迟流式捕获数据库变更。基于 Kafka Connect，支持多种数据库，确保变更事件有序、可靠传递。
ibm/sarama
Go 语言编写的 Apache Kafka 客户端库，提供 MIT 许可证。支持最新稳定版 Kafka 与 Go，兼容性保证为 2 个版本 + 2 个月。提供 API 文档、示例、测试模拟及命令行工具。
yahoo/cmak
用于管理 Apache Kafka 集群的工具，支持多集群管理、集群状态检查、副本选举、分区重分配、主题创建与配置更新等功能。
provectus/kafka-ui
开源 Web UI，用于管理 Apache Kafka 集群。支持多集群管理、性能监控、消息浏览、动态配置、身份验证与 RBAC，提供轻量级仪表盘，帮助开发者快速排查问题。
redpanda-data/redpanda
高性能流数据平台，兼容 Kafka API，无需 ZooKeeper 和 JVM。提供丰富的连接器生态系统和可配置分层存储，专为开发者打造。
wangzhiwubigdata/god-of-bigdata
专注大数据学习面试，涵盖Flink/Spark/Hadoop/Hbase/Hive等框架，提供系统性学习路径、实战进阶与面试指南，助力大数据成神之路。
automq/automq
基于 S3 的无盘 Kafka，成本降低 10 倍，无跨可用区流量费，秒级自动扩缩容，毫秒级延迟，多可用区高可用。
threedotslabs/watermill
Go 语言消息流处理库，用于构建事件驱动应用。支持多种 Pub/Sub 实现（如 Kafka、RabbitMQ、HTTP、PostgreSQL），提供灵活中间件与插件，强调易用性、高性能与高可靠性。
risingwavelabs/risingwave
事件流平台，用于代理、应用和分析。实时、大规模地摄取、转换和提供事件数据。基于 Rust 构建，提供 Postgres 兼容的 SQL 和 Python 接口。支持 Apache Iceberg™，实现流处理与数据湖仓管理的统一。
redpanda-data/connect
高性能流处理器，连接多种源与汇，支持声明式配置、AI 集成与高可靠交付，提供丰富监控与追踪能力。
segmentio/kafka-go
Go 语言编写的 Kafka 客户端库，提供低级和高级 API，兼容 Go 标准库接口，支持上下文和内存优化，适用于 Kafka 0.10.1.0 至 2.7.1 版本。
harisekhon/devops-bash-tools
包含 1000+ DevOps Bash 脚本，覆盖 AWS、GCP、Kubernetes、Docker、CI/CD、SQL、PostgreSQL、MySQL、Hive、Impala、Kafka、Hadoop、Jenkins、GitHub、GitLab、BitBucket、Azure DevOps、TeamCity、Spotify、MP3、LDAP、代码/构建检查、Linux/Mac/Python/Perl/Ruby/NodeJS/Golang 包管理，以及高级 dotfiles（.bashrc、.vimrc、.gitconfig、.screenrc、tmux 等）。
graylog2/graylog2-server
免费开源的日志管理平台，基于 Java 开发。提供日志收集、分析与可视化功能，支持大规模部署。欢迎贡献代码或加入社区讨论。
didi/knowstreaming
一站式云原生实时流数据平台，通过0侵入、插件化构建企业级Kafka服务，极大降低操作、存储和管理实时流数据门槛。支持多版本Kafka纳管，提供可视化运维、监控告警、资源治理等核心功能。
dotnetcore/cap
基于最终一致性的分布式事务解决方案，提供带 Outbox 模式的事件总线。支持多种消息队列与数据库，具备实时监控面板，确保事件消息永不丢失。
coderleixiaoshuai/java-eight-part
Java面试八股文，涵盖并发、Java8、Redis、消息队列等核心知识点，提供学习路线和实战案例，助力攻克大厂面试。
robinhood/faust
基于 Python 的流处理库，将 Kafka Streams 理念移植到 Python。支持异步、静态类型和分布式状态管理，适用于实时数据管道和高吞吐量事件处理。
apache/flink-cdc
基于 Apache Flink 的分布式数据集成工具，通过 YAML 定义数据管道，支持全库同步、分片表同步、模式演化和数据转换。提供 CdcUp CLI 启动 playground 环境，简化开发与测试流程。
materializeinc/materialize
实时数据层，使用 SQL 创建秒级业务视图。支持 PostgreSQL、MySQL、Kafka 等数据源，提供强一致性与低延迟查询。可部署于任何基础设施，适用于 AI/RAG 管道、操作仪表盘等场景。
obsidiandynamics/kafdrop
基于 Java 17+ 的轻量级 Kafka Web UI，支持查看主题、分区、消费者组及消息浏览，兼容 SASL/TLS 安全连接与 Azure Event Hubs。
opengoofy/hippo4j
异步线程池框架，支持动态变更、监控与报警，无需修改代码即可引入。提供全局管控、数据采集、运行监控、功能扩展及多种模式，适配主流框架，提升系统运行保障能力。