RSS Feed
Articles
-
项目问题总结
之前做的几个项目陆续上线了,碰到了不少稀奇古怪的问题,还有一些运营的问题,这里总结一下。
-
MysqlBinlog中的事务
binlog抽取的项目测试了一段时间,一直都很顺利,最近扩大了测试的规模,发现了一些细节问题。
-
分发log数据到HDFS
将Kafka中的数据分发到HDFS上,提到这个需求首先想到的就是Flume。
-
类型转换
之前几个月一直在忙一个binlog抽取的项目,将mysqlbinlog拉出来,写入kafka,
-
关于Avro的使用
14年开始尝试Flume的时候了解到Avro相关的东西,但一直都没有很深入的使用。
-
关于Mysql的Binlog抽取
这个月换了工作,双十一之前入职了京东大数据平台——实时数据组。
-
如何设计日活的流计算
之前在Redis上构建了基于Bitmap索引的存储结构,在Openresty上实现了一个简易的查询引擎,
-
如何查询Redis中的Bitmap数据
书接上回,我们已经将日活的维度数据写入Redis的Bitmap结构中。