数智资源网
首页 首页 大数据 大数据入门 查看内容

Apache CarbonData 0.2.0发布:已具备生产部署标准

木马童年 2020-10-18 11:45 11 0

Apache CarbonData是一种新的高性能数据存储格式,针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持“任意维度组合的过滤查询、快速扫描、 ...

Apache CarbonData是一种新的高性能数据存储格式,针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData提供了一种新的融合数据存储方案,以一份数据同时支持“任意维度组合的过滤查询、快速扫描、详单查询等”多种应用场景,并通过多级索引、字典编码、列存等特性提升了IO扫描和计算性能,实现百亿数据级秒级响应。

Apache CarbonData 0.2.0于2016年11月21日正式发布,完成了30+ new features,80+ bugfixs。

重要特性

1、整体性能比0.1版本提升了约2倍,系统稳定性已达生产部署标准。

2、与Apache Spark和Apache Hadoop无缝集成。

a、CarbonDataFiles Readable through Spark/MapReduce Program

b、Supportof SQLContext to Read CarbonData3、优化读取数据块的效率,性能提升三倍,优化前后对比如下:

  Apache CarbonData 0.2.0发布:已具备生产部署标准

4、支持直接通过Dataframe写成CarbonData文件,中间不需要csv文件过度。

  Apache CarbonData 0.2.0发布:已具备生产部署标准

5、支持更高压缩比的BZIP2,压缩效率可提升2倍以上。

6、支持将“IS NULL AND IS NOT NULL”下压到CarbonData文件中过滤查询。

7、优化thrift安装依赖,一般用户不需要安装thrift可运行CarbonData。只有修改thrift文件时,才需要安装thrift编译。

(更多0.2.0版本信息请参见:https://cwiki.apache.org/confluence/display/CARBONDATA/Apache+CarbonData+0.2.0-incubating+Released)

下载地址

我们可以到下面的地址获取Apache CarbonData的下载地址

https://www.apache.org/dyn/closer.lua/incubator/carbondata/0.2.0-incubating,

社区支持

github源代码:https://github.com/apache/incubator-carbondata

邮件列表:dev@carbondata.incubator.apache.org

Apache JIRA:https://issues.apache.org/jira/browse/CARBONDATA/?selectedTab=com.atlassian.jira.jira-projects-plugin:summary-panel

更多信息Cwiki:https://cwiki.apache.org/confluence/display/CARBONDATA/CarbonData+Home

数据存储 大数据 应用场景
0
为您推荐
小甲鱼数据结构与算法,资源教程下载

小甲鱼数据结构与算法,资源教程下载

课程名称小甲鱼数据结构与算法,资源教程下载课程目录:01 数据结构和算法绪论02 谈谈…...

云帆大数据Hadoop从入门到上手企业开发8天学习视频,资源教程下载

云帆大数据Hadoop从入门到上手企业开发8天学习视频,

课程名称云帆大数据Hadoop从入门到上手企业开发8天学习视频,资源教程下载课程介绍超…...

数据分析工具之spss/amos精品课程零基础到精通,资源教程下载

数据分析工具之spss/amos精品课程零基础到精通,资源

课程名称数据分析工具之spss/amos精品课程零基础到精通,资源教程下载课程介绍Matlab…...

郝斌数据结构系列培训学习视频,资源教程下载

郝斌数据结构系列培训学习视频,资源教程下载

课程名称郝斌数据结构系列培训学习视频,资源教程下载课程目录01:什么叫做数据结构02…...

2017算法与数据结构C++精解-慕课网,资源教程下载

2017算法与数据结构C++精解-慕课网,资源教程下载

课程名称2017算法与数据结构C++精解-慕课网,资源教程下载课程目录第1章 当我们谈论算…...

Spark Streaming实时流处理项目实战,Spark与Spark Streaming核心架构系统实践课程下 ...

Spark Streaming实时流处理项目实战,Spark与Spark St

课程名称Spark Streaming实时流处理项目实战,Spark与Spark Streaming核心架构系统实…...