数智资源网
首页 首页 大数据 大数据入门 查看内容

几款好用到爆的大数据开发工具

木马童年 2020-10-16 11:59 17 0

铁锤最近收集了一些码神常用的大数据开发工具,整理罗列出了这篇工具小合集,觉得有用的同学记得收藏 这是其中涉及的主题列表: 语言能力 Web框架 应用服务器 SQL的数据访问工具 SQL数据库 大数据 构建工具 云提供商 ...

铁锤最近收集了一些码神常用的大数据开发工具,整理罗列出了这篇工具小合集,觉得有用的同学记得收藏

这是其中涉及的主题列表:

语言能力

Web框架

应用服务器

SQL的数据访问工具

SQL数据库

大数据

构建工具

云提供商

大数据是对如此庞大或复杂的数据集的广义称呼,以至于传统数据处理应用程序不足。

在许多情况下,使用SQL数据库存储/检索数据就可以了。在其他一些情况下,它要么无法扩展,要么有更好的工具可用于我们的目的。这完全取决于用例。

现在让我们讨论存储/处理数据的不同非SQL工具-NoSQL数据库,内存缓存,全文搜索引擎,实时流,图形数据库等。

大数据-调查结果

MongoDB –一个流行的,跨平台的面向文档的数据库。

Elasticsearch –为云构建的分布式RESTful搜索引擎。

Cassandra –最初由Facebook开发的开源分布式数据库管理系统,旨在处理许多商用服务器上的大量数据,提供高可用性而没有单点故障。

Redis –一种开源(BSD许可)的内存中数据结构存储,用作数据库,缓存和消息代理。

Hazelcast –基于Java的开源内存数据网格。

EHCache –广泛用于通用缓存,Java EE和轻量级容器的开源Java分布式缓存。

Hadoop –用Java编写的开源软件框架,用于在由商用硬件构建的计算机集群上对超大型数据集进行分布式存储和分布式处理。

Solr –来自Apache Lucene 项目的用Java编写的开源企业搜索平台。

Spark – Apache Software Foundation(一个开放源代码群集计算框架)中最活跃的项目。

Memcached –通用分布式内存缓存系统。

Apache Hive –在Hadoop之上提供类似于SQL的层。

Apache Kafka –最初由LinkedIn开发的高吞吐量,分布式,发布-订阅消息系统。

Akka –一个工具包和运行时,用于在JVM上构建高度并发,分布式和弹性消息驱动的应用程序。

HBase –一种仿照Google BigTable建模的开源,非关系,分布式数据库,用Java编写,并在HDFS之上运行。

Neo4j –用Java实现的开源图形数据库。

CouchBase –针对交互式应用程序优化的开源,分布式NoSQL面向文档的数据库。

Apache Storm –开源的分布式实时计算系统。

CouchDB –面向文档的开源NoSQL数据库,使用JSON来存储数据。

Oracle Coherence –一种内存中数据网格解决方案,通过提供对常用数据的快速访问,使组织能够以可预测的方式扩展关键任务应用程序。

Titan –可扩展的图形数据库,已优化用于存储和查询包含分布在多计算

机集群中的数千亿个顶点和边的图形。

Amazon DynamoDB –一种快速,灵活的完全托管的NoSQL数据库服务,适用于需要任何规模的一致,单位毫秒毫秒延迟的所有应用程序。

Amazon Kinesis –一个在AWS上实时流数据的平台。

Datomic –用Clojure编写的完全事务化,可用于云的分布式数据库。

大数据 数据库 云提供商 数据集 传统数据 应用程序
0
为您推荐
深入浅出实战讲解-Spark框架实战 集中轰炸Spark-从入门到高级应用及优化

深入浅出实战讲解-Spark框架实战 集中轰炸Spark-从入

课程名称深入浅出实战讲解-Spark框架实战 集中轰炸Spark-从入门到高级应用及优化课程…...

北风网Spark大型项目实战138讲,资源教程下载

北风网Spark大型项目实战138讲,资源教程下载

课程名称北风网Spark大型项目实战138讲,资源教程下载课程目录001.课程介绍002.课程环…...

Hadoop&Spark企业应用实战,资源教程下载

Hadoop&Spark企业应用实战,资源教程下载

课程名称HadoopSpark企业应用实战,资源教程下载课程目录第一周:企业级Hadoop应用概…...

小象《金融数据分析》第二期,资源教程下载

小象《金融数据分析》第二期,资源教程下载

课程名称小象《金融数据分析》第二期,资源教程下载课程目录01 数据分析基本知识复习0…...

加强版吴超Hadoop七天培训视频完整版,Hadoop视频教程精华版下载

加强版吴超Hadoop七天培训视频完整版,Hadoop视频教程

课程名称加强版吴超Hadoop七天培训视频完整版,Hadoop视频教程精华版下载课程介绍云计…...

SWPU-ACM每周算法讲堂,资源教程下载

SWPU-ACM每周算法讲堂,资源教程下载

课程名称SWPU-ACM每周算法讲堂,资源教程下载课程目录1.动态规划入门2.搜索算法入门3.…...