数智资源网
首页 首页 大数据 查看内容

新型Hadoop分析工具有望提升速度和可扩展性

木马童年 2021-5-12 18:35 55 0

Hadoop在过去几年引起很多关注,因为它具有处理海量各种数据的能力。但Hadoop的批处理存在问题,用户对此的吐槽也越来越多,说这一流程拖慢迭代分析的数据提取。不过,最近新面世的两个Hadoop分析工具则有望超越同行 ...

Hadoop在过去几年引起很多关注,因为它具有处理海量各种数据的能力。但Hadoop的批处理存在问题,用户对此的吐槽也越来越多,说这一流程拖慢迭代分析的数据提取。不过,最近新面世的两个Hadoop分析工具则有望超越同行分析工具,加速处理速度。

Skytree将机器学习植入Hadoop集群

位于美国加州的Skytree公司上个月发布了最新版本的机器学习软件,它承诺可以改善对非结构化数据的提取、转换和加载(ETL)功能并且对安全工具进行了增强,旨在加强治理,并将这款软件更多地定位为企业级系统。

Skytree的机器学习软件可以操作各种来源的数据,但是Skytree却把这款产品作为Hadoop的自然搭配加以推出。Robert Dutcher 是Skytree的营销副总裁,他说公司采用这一策略是因为数据在Hadoop中是并行处理的。Hadoop使用批处理,跨许多节点分配任务,比起在一个单一节点上运行一项任务,这样的确可以提供不错的速度。这就让程序员可以对机器学习任务进行迭代。

新版软件主要关注的是在非结构化数据上做机器学习。这对于Skytree来说通常都是可行的,但是公司宣称此次更新通过把分配属性给数据点这一过程进一步自动化简化了分析之用的非结构化数据的准备。

本次更新包括了一个全新的管理控制台,它可以让管理员分配权限来定义什么样的数据源是可访问的,以及用户要如何对它们进行合并。

Arcadia将BI植入Hadoop

Arcadia Data公司算是BI领域的新人,一直低调运营,直至今年夏天,公司宣布推出新款Hadoop BI工具,旨在用来消除Hadoop和业务用户之间的中间系统。

该公司总部位于美国加州,通过使用一个系统实现上述目标,此系统可以随着时间的推移,学习用户的查询并且能够在Hadoop中为常用查询数据创建预定义形式。

该工具提供了一个可视化界面,它可以让业务用户浏览数据并将数据可视化。它的预置函数可以执行客户细分,购买路径分析等任务。

虽然Hadoop历来就是一个批处理引擎,但它的速度也是有限制的,Arcadia的高管说他们工具的速度要优于竞争对手(如Tableau Software和MicroStrategy Inc.)的BI工具,这是因为任务是在Hadoop本地运行的,而不经过中间系统。

BI-on-Hadoop根据该软件安装的每个节点、每年进行收费。

数据提取 分析工具 机器学习 非结构化数据 程序员 数据源
0
为您推荐
HIVE数据仓库完美实战课程,资源教程下载

HIVE数据仓库完美实战课程,资源教程下载

课程名称【快速掌握HIVE视频教程】HIVE数据仓库完美实战课程课程目录├第一周:hive基…...

尚硅谷大数据Flink技术与实战,资源教程下载

尚硅谷大数据Flink技术与实战,资源教程下载

课程名称尚硅谷大数据Flink技术与实战课程目录理论_Flink基础 001__Flink理论_Flink…...

小码哥李明杰Java版《恋上数据结构与算法》 ,资源教程下载

小码哥李明杰Java版《恋上数据结构与算法》 ,资源教

课程目录01-学前须知01-为什么要学习数据结构与算法02-编程语言的选择03-课程大纲04-…...

廖雪峰-2019大数据分析精品资料价值1980元,资源教程下载

廖雪峰-2019大数据分析精品资料价值1980元,资源教程

课程介绍:廖雪峰大神历时3个月打磨出来的《数据分析必备技能》的视频学习资料,由浅…...

阿里云大数据分析师ACP认证视频教程下载

阿里云大数据分析师ACP认证视频教程下载

课程介绍阿里云大数据行业认证-大数据分析师认证(ACP-Alibaba Cloud Certified Prof…...

尚硅谷-大数据项目之电商数仓教程下载

尚硅谷-大数据项目之电商数仓教程下载

课程介绍:本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以…...

恋上数据结构与算法(第二季),视频教程下载

恋上数据结构与算法(第二季),视频教程下载

课程介绍:课程由MJ老师和名企算法大咖共同研发,在保证易懂的同时确保课程的系统全面…...

社交网络分析与挖掘,视频教程下载

社交网络分析与挖掘,视频教程下载

课程介绍:社交网络和数据挖掘是计算机学科相关研究中的热点,其具体研究涵盖理论、关…...

数智资源网