-
基于 Kafka 实现分布式事件驱动
事件驱动是一种灵活的系统设计方法,在事件驱动的系统中,当数据发生变化时系统会产生、发布一个对应的事件,其它对这个事件感兴趣的部分会接收到通知,并进行相应的处理。事件驱动设计最大的好处在我看来有两点:一...
-
Kafka 集群 Golang 应用实例
项目见:🐞 kafka cluster example 这个实例做了些什么? 搭建了拥有 3 节点 kafka、 3 节点 zookeeper 的 docker 集群服务;...
-
图解 kafka 的高可用机制
对于一个复杂的分布式系统,如果没有丰富的经验和牛逼的架构能力,很难把系统做得简单易维护,我们都知道,一个软件的生命周期中,后期维护占了70%,所以系统的可维护性是极其重要的, kafka 能成为大数据...
-
个性化推荐系统实践应用
个性化推荐已经成为现代人们生活的一部分, “猜你喜欢”、“相关阅读”你一定并不陌生。计算机如何做到对用户投其所好? 企业在做个性化推荐时要如何精准把握用...
-
[译] Kafka 最佳实践
这里翻译一篇关于 Kafka 实践的文章,内容来自 DataWorks Summit/Hadoop Summit 上一篇分享,PPT 参考 https://www.slidesh...
-
你弄懂Kafka使用什么性能策略吗
本文是我研究Kafka的一点心得,欢迎指出纰漏 更多访问 我的博客 前言 Kafka 作为愈加流行的流处理平台,让人好奇它为何如此受人青睐,盛名之下无虚士,我从性能角度来探索 Kafka...
-
egg.js的kafka插件
该插件是kafka-node 的封装, 方便在egg.js 环境下使用的一个egg风格的插件, 并提供了方便的api发送给kafka消息的方法
-
一个分布式 MySQL Binlog 存储系统的架构设计
1. kingbus简介 1.1 kingbus是什么? kingbus是一个基于raft强一致协议实现的分布式MySQL binlog 存储系统。它能够充当一个MySQL Slave从真...
-
kafka connector 插件,支持输入 mysql binlog 和 json 格式写入ClickHouse
kafka-connectors 是基于 kafka 所提供 connect 组件所实现的 connector 插件。通过扩展该插件实现将 kafka 的数据同步至 ClickHouse 中。在当前版本中,支持解析由 Debezium MySQL 插件采集的 binlog 数据和 Json 数据同步至 ClickHouse。
-
Storm 理解内部消息缓冲机制
优化 Storm 拓扑性能有助于我们理解 Storm 内部消息队列的配置和使用,在这篇文章中,我将向大家解释并说明在 Storm(0.8或0.9)版本中工作进程以及相关联的 Executor 线程是如...
-
用于在Kafka上构建无状态应用程序的流处理框架
用于在Kafka上构建无状态应用程序的流处理框架
-
Gravity 是一款数据复制组件,提供全量、增量数据同步,以及向消息队列发布数据更新
Gravity 是一款数据复制组件,提供全量、增量数据同步,以及向消息队列发布数据更新
-
RocketMQ入门篇
RocketMQ整体结构 如上图所示,整体可以分成4个角色,分别是:Producer,Consumer,Broker以及NameServer; 1.NameServer 可以...
-
KSQL:Apache Kafka 的开源 Streaming SQL 引擎
微信公众号: 深广大数据Club 关注可了解更多大数据相关资讯。问题或建议,请公众号留言; 如果你觉得深广大数据Club你有帮助,欢迎转发朋友圈分享 现代企业以数据为核心,随...
-
LSM原理解读
06年,Google发表了BigTable论文,从此推开了大数据时代的大门。 为什么又提及BigTable,是因为这篇论文中使用了LSM这种数据结构。 LSM: Log Structure...
-
ZooKeeper集群配置部署
配置zookeeper 进入zookerper-3.4.7目录,执行 cp conf/zoo_sample.cfg conf/zoo.cfg vim conf/zoo.cf...
-
kafka之旅总览
初识kafka 初识kafka集群 初识kafka中的生产者与消费者 初识kafka对消息处理与可靠性做出的保证 查看原文: kafka之旅总览
-
Kafka如何解决常见的微服务通信问题
微服务自成立以来就以不同的方式相互沟通。有些人更喜欢使用HTTP REST API,但这些API有自己的排队问题,而有些则更喜欢较旧的消息队列,比如RabbitMQ,它们带有扩展和操作方面的问题。 ...
-
一个零售供应链的基础版本(约130万行代码)
一个零售供应链的基础版本(约130万行代码)
-
Kafka Network 层解析
我们知道kafka是基于TCP连接的。其并没有像很多中间件使用netty作为TCP服务器。而是自己基于Java NIO写了一套。关于kafka为什么没有选用netty的原因可以看 这里 。 对J...