Kafka

共有 340 篇文章 | 453人关注

Kafka

WatersVic 发表了【主题】 · 5天前

Twitter 的 Kafka 迁移历程
Twitter 的实时性特点为 Twitter 的工程团队带来了独特而具有挑战性的问题。我们需要快速发布突发新闻，向用户提供相关广告，并解决很多其他实时性问题。Twitter 的 Pub/Sub 系统...

人工智能 Facebook 区块链 Kafka EventBus 架构 HDFS JVM HTML 7 13
brownbutterfly 分享了【项目】 · 6天前

一个朴素的dubbo网关和平台基础组件
一个朴素的dubbo网关和平台基础组件

Dubbo Redis maven 数据库 Kafka 43
redfish 分享了【项目】 · 6天前

Jackdaw是Apache Kafka分布式流平台的Clojure库
使用Jackdaw，您可以使用AdminClient API创建和列出主题，使用Producer和Consumer API生成和使用记录，以及使用Streams API创建流处理应用程序。 Jackdaw还包含将记录序列化和反序列化为JSON，EDN和Avro的函数，以及用于编写单元和集成测试的函数。

Clojure Kafka 分布式系统 JSON 测试 51
MargeryBen 发表了【主题】 · 9天前

ASP.NET Core 日志收集（log4net+Kafka+ELK）
在开发环境中，记录日志这件事情常常被忽视，因为我们有强大的 IDE ，可以调试，可以断点，问题出现后一般都能很快解决。但在生产环境，异常一旦发生，如果不能重现，又没有提前做好日志记录，就会非常被动，问...

人脸识别 HTML Kafka 命令行 Redis Bootstrap Logstash Ruby JSON 1 21
Ethan 发表了【主题】 · 10天前

唯品会分布式强一致日志存储系统 VDL 正式对外开源
VDL简介 VDL(Vip Distributed Log)的定位是高吞吐、低延时的分布式日志存储，而多副本、强一致性是其关键特征。这里的Log不是指syslog或者log4j产生的用...

微信分布式系统状态机数据库运维 Kafka Git 6 24
GrantChad 发表了【主题】 · 16天前

有赞透明多级缓存解决方案（TMC）
一、引子 1-1. TMC 是什么 TMC ，即“透明多级缓存（ Transparent Multilevel Cache ）”，是有赞 PaaS 团队给公司内应用...

微信人工智能算法 Redis etcd 架构 Kafka Java JVM Spring 5 37
LylyHugo 发表了【主题】 · 17天前

DataPipeline在大数据平台的数据流实践
文 | 吕鹏 DataPipeline架构师进入大数据时代，实时作业有着越来越重要的地位。本文将从以下几个部分进行讲解DataPipeline在大数据平台的实时数据流实践。一、...

Apache Hive C语言数据库架构 Kafka HDFS 测试 1 25
MarionMandel 发表了【主题】 · 19天前

kafka集群搭建
服务器基本信息 ip地址安装服务 10.0.0.52 zookeeper-3.4.10、kafka2.10、kafka-manager 10.0.0.53 zookeeper-3...

区块链 Kafka ZooKeeper VIM Java Oracle Linux 8 46
EliotBeau 发表了【主题】 · 20天前

20条关于Kafka集群应对高吞吐量的避坑指南
Apache Kafka是一款流行的分布式数据流平台，它已经广泛地被诸如New Relic（数据智能平台）、Uber、Square（移动支付公司）等大型公司用来构建可扩展的、高吞吐量的、高可靠的实时数...

机器人人工智能 Kafka Apache Log4j ZooKeeper 架构 Git Java 7 12
BoyleGene 发表了【主题】 · 21天前

大数据平台的数据同步服务实践
引言在大数据系统中，我们往往无法直接对在线系统中的数据直接进行检索和计算。在线系统所使用关系型数据库、缓存数据库存储数据的方式都非常不同，很多存储系统并不适合分析型（OLAP）的查询，也不允许...

人工智能 Apache Hive Hadoop HBase 数据库架构 HDFS Kafka 6 37
MillArcher 发表了【主题】 · 22天前

分享一些 Kafka 消费数据的小经验
前言之前写过一篇《从源码分析如何优雅的使用 Kafka 生产者》，有生产者自然也就有消费者。建议对 Kakfa 还比较陌生的朋友可以先看看。就我的使用经验来说，大部分...

微信人工智能 Facebook 区块链 Kafka 数据库 Git 测试 2 32
JuliaNicola 发表了【主题】 · 26天前

强化学习在美团“猜你喜欢”的实践
1 概述 “猜你喜欢”是美团流量最大的推荐展位，位于首页最下方，产品形态为信息流，承担了帮助用户完成意图转化、发现兴趣、并向美团点评各个业务方导流的责任。经过多年迭代，目...

机器人微信 Caffe 测试游戏架构 Kafka HDFS TensorFlow 机器学习 1 24
CoverdaleJacob 发表了【主题】 · 29天前

当Elasticsearch遇见Kafka
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文由 michelmu 发表于云+社区专栏 Elasticsearch作为当前主流的全文检索引擎，除了强大的全文检索能力...

机器人 Kafka Elasticsearch Bootstrap Elm Logstash 架构 2 24
beautifulbear 发表了【主题】 · 1月前

Spark 2.4.0 发布了
Spark2.4.0 今天官网发布，这是一个大好消息。 Spark 2.4.0 是 2.x 的第五个发型版本。官方发布消息链接如下： http://spark.apache.org/rel...

Spark Python Kafka HTML Java 测试 7 70
GraceOscar 发表了【主题】 · 1月前

快速上手 Kafka
上一篇我们对 Kafka 做了很多概念性的解释，试图去理解它的内部机制。但这还远远不够，所以，这里我们来起手一个 Demo，加强理解。一、下载 kafka 要快速上手，我们需要下载 k...

机器人微信人工智能 Kafka 命令行 Bootstrap ZooKeeper Java 前端 3 62
ElsieIra 发表了【主题】 · 1月前

Redis Stream——作为消息队列的典型应用场景
Redis Stream Redis最新的大版本5.0已经RC1了，其中最重要的Feature莫过于Redis Stream了，关于Redis Stream的基本使用介...

数据分析 Facebook 测试 Redis 嵌入式 Kafka 架构树莓派物联网 6 154
AnthonyHerbert 发表了【主题】 · 1月前

唯品会 Dragonfly 日志系统的 Elasticsearch 实践
开篇-唯品会日志系统初探唯品会日志系统，承接了公司上千个应用的日志，提供了日志快速查询、统计、告警等基础服务，是保障公司技术体系正常运行必不可缺的重要系统之一。日均接入应用日志600亿...

Facebook 区块链云计算 Elasticsearch Node.js Logstash HBase Lucene 架构 Kafka 4 87
lazydog 分享了【项目】 · 1月前

易观第二届OLAP漏斗算法大赛
易观第二届OLAP漏斗算法大赛

算法 Go语言 Git Kafka Lua 分布式系统 112
whitebear 分享了【项目】 · 1月前

层级时间轮的 Golang 实现
Golang implementation of Hierarchical Timing Wheels.

Go语言 Git Kafka 189