Release Note

JDP 3.1 是 3.x 系列中的第二个版本，经过一段长久时间的研发测试，今天决定发布正式版本。此版本没有任何全新的features，立足于 3.1 版本，我们把 mpack 深度与 Ambari 融合，真正做到一体化的产品体验。Ambari 默认 Stack 是 JDP，支持的版本是3.0.0和3.1.0；Stack 中组件的全新升级，均使用最新的稳定版本。新版本对于资源的使用量进行了优化，目前一台4g、2c的虚拟机可安装和部署，实现在笔记本电脑也能体验 JDP 的完整功能。

要下载 JDP 3.1，请访问快速入门 页面，提供云盘压缩包下载，您可以在私有网络的情况下安装使用 JDP。我们在此列出主要的版本变更，按组件进行分组：

  • JDP 3.1
    • ambari-2.7.0.0-0
    • clickhouse 3.1.0.0-108-18.14.13
    • jdp-select 3.1.0.0-108
    • kafka 3.1.0.0-108-1.0.1
    • nifi 3.1.0.0-108-1.7.0
    • superset 3.1.0.0-108-0.26.3
    • zookeeper 3.1.0.0-108-3.4.6

相关 JDP Roadmap 访问Github

JDP 核心

  • 一体化的流分析平台，在未来 3.3 版本中。
  • 数据流 Kafka，实时处理引擎
  • 海量数据即席查询 ClickHouse
  • 数据可视化 Superset
  • 分布式协调服务 Zookeeper
  • 利用 JDP 实现一站式企业级数据仓库平台

Next

JDP 未来计划新增一些简单、易用、强大的 Batch & Stream 统一的一体化功能。全新的设计，在混口饭吃的工作中，抽出时间在设计与实现下一代数据流平台，而且 JDP 定位为一款真正企业级可用的一体化数据流平台，需要实现足够简单且强大的数据流处理和管理能力，这是我们设计 JDP 的初衷。

JDP 设计的组件和相关技术非常驳杂，整个研发过程漫长且耗费硬件资源，开发维护不易，我们已经在尽力的努力克服外部困难，规范化整个 Devops 流程，希望能改善目前效率的问题。

next JDP 版本中，会新增 Hadoop 3.2.x 版本以及 Spark、Flink 相关组件，一切的原因是为了更好；我们的流分析引擎核心 Runtime 支持 Spark 、Flink，用户无需感知这些 Runtime 技术，一体化的部署、运维、监控均有 JDP 实现，外部接口兼容标准的数据库协议，大大降低用户的成本，我们会有一层自己的数据库 DSL 设计，我们称为 FQL，其实是 SQL++，就这样。

JDP 3.3 中计划，会启动另外一个 stack 孵化工作，探索 k8s + ai 技术，毕竟行行转 ai，容器我一直比较抵触，体积超大，带状态服务支持弱，但 ai 各种 py 库，真的很适合容器化，升级方便，维护性成本高，难以规模化部署运维，涉及网络、存储、计算、调度、容器、分布式等技术，显然是庞然大物，国内专业玩 k8s 的公司，貌似基本难有做大的，企业级市场，基础设施难挣钱，业务挣钱，难有企业重视，基本都是使用层面，扯远啦；回归正题，JDP 需要去很好的解决这些问题，一切是为了更好，实现一体化流分析平台的价值，容器化 JDP 某些模块，长期看是利好的，可以降低成本。。。

未来的时间，我会逐渐披露更多细节，敬请期待。。。

好久没更新啦，扯句闲话，我遇到我偶像 Linus Torvalds 年轻时刚去美国硅谷工作时一样的情况，境遇如此相似；以后尽量产出一些高质量的内容，在分享吧，码子不易，文末附 JDP 3.1 美图一张。

单机、分布式系统都能一体化的管理。。。

[1] JDP 官网: http://www.fusionlab.cn/

[2] JDP 快速启动：http://www.fusionlab.cn/zh-cn/docs/intro/quickstart.html