WHOAMI
Xu Jiang
技术人的日常.
  • Kafka Storm HDFS Architecture Design

    Storm是一个分布式是实时计算系统,它设计了一种对流和计算的抽象,概念比较简单,实际编程开发起来相对容易。下面,简单介绍编程实践过程中需要理解的Storm中的几个概念: Topology Storm中Topology的概念类似Hadoop中的MapReduce Job,是用来编排容纳一...

    • Stream
  • 企业级开发平台持续集成自动化架构设计

       近期变动比较大,离职了,拒了几个大企业offer;选择加入了一家非常有前景的创业公司,很多人不理解,虽然入职时间不长,但是和大公司比较真的非常有意思,虽然辛苦一些,但是能学到不少东西,让我对大数据创业有了更多新的认识,甚至完全颠覆我曾经的一些想法,真的非常棒;好了,到此为...

    • tools
  • Hadoop列式存储引擎Parquet-ORC和snappy压缩

    相对于传统的行式存储格式,列式存储引擎具有更高的压缩比,更少的IO操作而备受 青睐。列式存储缺点:在column数很多,每次操作大部分列的时候,cpu压力突增,而且增加处理时长。优点:在cloumn数很多,每次操作若干列的场景,列式存储的性价比,性能更高。 在很多大数据的应用场景下面,...

    • hadoop