Welcome To My New Blog ! (原博客地址 http://0101.pro)

从2016年12月15日开始,重新记录我的生活,Good Luck !

简要工作经历

2010年6月 毕业于大连理工大学管理学院

2010年8月 入职阿里巴巴-淘宝-技术研发部-交易中心

2010年8月 ~ 2011年3月 熟悉淘宝下单系统,日常功能开发,参与聚划算一期项目

2011年3月 ~ 2012年6月 维护淘宝购物车系统,在系统独立、重构、去IOE等项目中担任主力开发,曾到运维团队短期轮岗学习

2012年6月 ~ 2012年12月 转岗至AndroidAppStore团队,参与开发了淘宝官方AndroidApp淘应用

2013年1月 ~ 2013年8月 回到交易中心参与核心系统性能优化和异地双活项目

2013年8月 退隐江湖

2013年11月 入职OneApm(蓝海讯通)

2013年11月 ~ 2014年6月 参与开发了AI和MI早期版本的探针和数据处理后台等系统

2014年7月 ~ 2014年12月 Saas上线后的功能开发和维护

2015年1月 ~ 2015年10月 大数据团队TL,组建团队,搭建Hadoop集群和周边配套系统的开发,满足离线统计计算的基本需求

2015年11月 ~ 2017年11月 运维团队TL,团队主要工作是运维系统开发、基础软件的升级和定制化、监控体系建设、性能测试与优化

2017年11月 入职京东大数据-实时计算研发团队

2017年11月 ~ 2018年7月 启动Fregata项目,支撑binlog采集、kafka消息分发HDFS等实时数据处理业务,部署规模1.5WDocker

2018年7月 ~ 2019年6月 基于社区Flink1.5,完成了JD的FlinkOnK8s的研发工作,并持续迭代

2019年1月 ~ 2019年7月 Fregata框架2.0重构,成为单机版的流式数据处理框架

2019年12月 离职京东 自由职业

2020年1月 ~ 2020年3月 梳理后台系统的研发和运维情况

2020年4月 ~ 2020年6月 设计重构行情计算、websocket推送网关等系统

2020年7月 ~ 2020年12月 设计一个高性能撮合引擎,满足流式计算的Exactly-once特性,秒吞吐百万级OrderCommand

2021年1月 ~ 2021年6月 参与设计和开发了一个Oracle预言机项目,类Chainlink

2021年7月 ~ 2021年12月 重新设计了一个类ta4j的库,开发了一系列辅助trade工具,比如网格、趋势信号等

2022年1月 ~ 2022年12月 主流交易所的行情数据聚合,数据分析、报警等工具开发

主要技能

常用开发语言:Java Lua Awk

常用开源技术:Flume Kafka Flink Hadoop Hive Hbase Phoenix Redis Mysql Infobright Vertica ElasticSearch InfluxDB OpenResty

近期参与的开发项目

数据迁移工具【Meepo】,写了两篇Blog来介绍,【简介】【性能优化】

高性能日志采集工具【Logwatch】【正则在日志解析中的使用】

监控Jvm的PerfData指标数据和Flags,存储选择Vertica,日增量8KW行以上,方便Jvm问题的排查和性能优化。

高性能数据流分发框架Fregata,支撑了JD的实时数据采集,数仓准实时化。

FlinkOnK8s,增强了预览拓扑和运行时拓扑,重新封装了BatchSink、AsyncFunction等核心组件,重新设计了背压预警告警体系。

维护一个单机流处理框架【Fevernova】

重构ta4j指标库