JDP Release 3.1.0

Release Note

JDP 3.1 是 3.x 系列中的第二个版本,经过一段长久时间的研发测试,今天决定发布正式版本。此版本没有任何全新的features,立足于 3.1 版本,我们把 mpack 深度与 Ambari 融合,真正做到一体化的产品体验。Ambari 默认 Stack 是 JDP,支持的版本是3.0.0和3.1.0;Stack 中组件的全新升级,均使用最新的稳定版本。新版本对于资源的使用量进行了优化,目前一台4g、2c的虚拟机可安装和部署,实现在笔记本电脑也能体验 JDP 的完整功能。

要下载 JDP 3.1,请访问快速入门 页面,提供云盘压缩包下载,您可以在私有网络的情况下安装使用 JDP。我们在此列出主要的版本变更,按组件进行分组:

  • JDP 3.1
    • ambari-2.7.0.0-0
    • clickhouse 3.1.0.0-108-18.14.13
    • jdp-select 3.1.0.0-108
    • kafka 3.1.0.0-108-1.0.1
    • nifi 3.1.0.0-108-1.7.0
    • superset 3.1.0.0-108-0.26.3
    • zookeeper 3.1.0.0-108-3.4.6

相关 JDP Roadmap 访问Github

JDP 核心

  • 一体化的流分析平台,在未来 3.3 版本中。
  • 数据流 Kafka,实时处理引擎
  • 海量数据即席查询 ClickHouse
  • 数据可视化 Superset
  • 分布式协调服务 Zookeeper
  • 利用 JDP 实现一站式企业级数据仓库平台

Next

JDP 未来计划新增一些简单、易用、强大的 Batch & Stream 统一的一体化功能。全新的设计,在混口饭吃的工作中,抽出时间在设计与实现下一代数据流平台,而且 JDP 定位为一款真正企业级可用的一体化数据流平台,需要实现足够简单且强大的数据流处理和管理能力,这是我们设计 JDP 的初衷。

JDP 设计的组件和相关技术非常驳杂,整个研发过程漫长且耗费硬件资源,开发维护不易,我们已经在尽力的努力克服外部困难,规范化整个 Devops 流程,希望能改善目前效率的问题。

next JDP 版本中,会新增 Hadoop 3.2.x 版本以及 Spark、Flink 相关组件,一切的原因是为了更好;我们的流分析引擎核心 Runtime 支持 Spark 、Flink,用户无需感知这些 Runtime 技术,一体化的部署、运维、监控均有 JDP 实现,外部接口兼容标准的数据库协议,大大降低用户的成本,我们会有一层自己的数据库 DSL 设计,我们称为 FQL,其实是 SQL++,就这样。

JDP 3.3 中计划,会启动另外一个 stack 孵化工作,探索 k8s + ai 技术,毕竟行行转 ai,容器我一直比较抵触,体积超大,带状态服务支持弱,但 ai 各种 py 库,真的很适合容器化,升级方便,维护性成本高,难以规模化部署运维,涉及网络、存储、计算、调度、容器、分布式等技术,显然是庞然大物,国内专业玩 k8s 的公司,貌似基本难有做大的,企业级市场,基础设施难挣钱,业务挣钱,难有企业重视,基本都是使用层面,扯远啦;回归正题,JDP 需要去很好的解决这些问题,一切是为了更好,实现一体化流分析平台的价值,容器化 JDP 某些模块,长期看是利好的,可以降低成本。。。

未来的时间,我会逐渐披露更多细节,敬请期待。。。


好久没更新啦,扯句闲话,我遇到我偶像 Linus Torvalds 年轻时刚去美国硅谷工作时一样的情况,境遇如此相似;以后尽量产出一些高质量的内容,在分享吧,码子不易,文末附 JDP 3.1 美图一张。

单机、分布式系统都能一体化的管理。。。

[1] JDP 官网: http://www.fusionlab.cn/

[2] JDP 快速启动:http://www.fusionlab.cn/zh-cn/docs/intro/quickstart.html

Whoami公众号

原创文章,转载请注明: 转载自Itweet的博客
本博客的文章集合: http://www.itweet.cn/archives/