百度Doris成为Apach孵化项目

来源:互联网    作者:toutiaonews    人气:    发布时间:2018-07-18    

原标题:百度Doris成为顶级开源社区Apache基金会孵化项目

  近日,开源社区Apache基金会宣布“百度开源的Doris项目全票通过进入Apache孵化器”。这是百度继ECharts后第二个进入Apache基金会的项目,充分彰显了百度“开源速度”。

  Doris前身是百度Palo,是百度开发的面向在线报表和分析的数据仓库系统,可以对标于商业的MPP数据仓库系统,比如Greenplum、Vertica、Teradata等。自2017年8月在Github上开源以来,收获700多个Star,目前性能和易用性方面已达到业界领先水平。同时,Doris在百度内部应用于200多个产品线,在公有云和ToB业务中也获得了高度认可,外部已有包括小米、瓜子在内的十多家公司使用。

image.png

  Doris主要基于C++和Java开发,集成了Google Mesa和Apache Impala的技术。其中Mesa是一个高度可扩展的分析数据存储系统,用于存储与Google互联网广告业务相关的关键测量数据。Impala是一种基于Hadoop数据处理环境的现代MPP SQL引擎。在Mesa与Impala进行组合的基础上,Doris被设计为一个不依赖于其他系统的简单且单一紧密耦合的系统,并实现了MySQL协议,使得用户可以像使用MySQL一样无门槛的过渡到Doris,包括各种报表应用都可以通过MySQL协议连接Doris,同时获得高并发低延迟点查询性能,而且还能进行高吞吐量的即席分析查询。Doris不仅提供大批量数据加载,而且还提供近乎实时的小批量,甚至流数据加载。此外Doris还具备高可用性,可靠性,容错性和可扩展性。

  Doris博采众长,并在此基础上进行了大胆创新,形成了自己独特的优势,其特点主要包括:1)完全兼容MySQL协议;2)采用列式存储、对数据以高压缩比进行压缩存储、向量化执行、LLVM优化等先进技术,因此获得了极高的查询效率;3)支持多种存储模型:同时支持类似于Mesa将列分为Key和Value的存储模型,同时支持Unique Key和Dup Key的存储模型。用户可以根据自己的业务场景,选用不同的存储模型;4)支持两层分区;5)支持多种数据导入方式;6)安全资源隔离扩容缩容;7)备份和恢复;8)支持web监控和管理。

  百度抱着参与、回馈、影响社区的态度进行各种开源活动,充分尊重和理解开源社区的规则和精神,而继ECharts成为Apache基金会的孵化项目后,百度继续捐献Doris项目给apache基金会。未来,百度也将会会继续跟各个开源社区进行更加广泛和深入的合作。

  Doris项目Champion及导师、Apache基金会副总裁Dave Fisher表示:“很荣幸,也很高兴作为Champion参与Doris在Apache基金会的孵化过程,这是我们第二次看到百度捐献优秀的项目到Apache基金会,我们很高兴看到百度在开源方面的巨大进步和突破。Doris作为面向在线报表和分析的数据仓库系统,具有独特的实现优势和较为丰富的使用前景,加入Apache基金会进一步表明Doris拥抱开源的决心,在遵循‘the Apache Way’的基础上,打造一个更为中立、开放、多元的社区文化,让更多人享受Doris项目带来的技术革命。”(作者:陈蕊)

打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,你说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

责任编辑:toutiaonews