首页 首页 云计算 查看内容

存储是怎样炼成的?

木马童年 2019-6-10 19:13 46 0

  什么FAT,NTFS,NFS,DAS,SAN,NAS,OSD这些名词我一个都不认识。  不知道各位大佬对上面的名词了解多少,通过上面的一些名词其实可以大致的看到存储是怎样一步步发展的。其中FAT,NTFS和NFS都是支持特定存储协议的 ...

  什么FAT,NTFS,NFS,DAS,SAN,NAS,OSD这些名词我一个都不认识。

  不知道各位大佬对上面的名词了解多少,通过上面的一些名词其实可以大致的看到存储是怎样一步步发展的。其中FAT,NTFS和NFS都是支持特定存储协议的存储系统,DAS,SAN,NAS,OSD是一种存储模型。稍微科普一下:

  FAT,NTFS大家肯定比较熟悉,这个就是单机文件系统,类似的还有EXT4等等。windows系统就是NTFS,Linux是EXT4居多。

  NFS(NetworkFileSystem)即网络文件系统,它允许网络中的计算机之间通过TCP/IP网络共享资源。使计算机可以像操作单机文件系统一样操作网络中的资源。

  DAS(Direct-AttachedStorage)直连式存储,是一种常用的存储模型。比如我们常用的移动硬盘,U盘就是直连式存储。它有非常大的弊端,不易扩容,性能低,不可靠等。

  SAN(StorageAreaNetwork)存储区域网络,它其实是建立专用于存储的区域网络,以达到存储和主机的物理分离。主要面向企业级存储,从理论上讲其易扩容可以支撑海量的数据存储,但是需要建立专用的光纤网络,成本较高。

  NAS(NetworkAttachedStorage)网络附加存储,可以简单理解为便捷的局域网存储装置,在linux系统中可以通过NFS协议挂载NAS存储。NAS相对于SAN拥有自己的操作系统,可以与各个系统更好的兼容,且更加灵活。

  OSD(Object-basedStorageDevice)对象存储,对象存储是一种新的网络存储架构,它兼具SAN高速直接访问磁盘和NAS分布式共享的特点,将数据存储和元数据信息分离,可以更加灵活的管理数据的存储。

  了解了上面那么多的名词,我们对于存储的发展大概有了一个认识了。其实存储的发展大概可以分为4个阶段,分别是单机文件系统,网络文件系统,集群文件系统和分布式文件系统

  单机文件系统

  以FAT,NTFS为代表,DAS其实也可以算作单机文件系统,他们共同的特点就是文件存储在单台服务器上,依靠操作系统的文件系统来实现文件的存储和管理。随着数据量的增大以及对与数据安全性的需求越来越高,它们的缺点也日益显露。

  可扩展性:容量小,无法存储大量数据,而且不能进行扩展。

  性能:随着文件数量的增多,读写性能会下降

  可靠性:没有备份机制,一旦硬件出了故障会造成数据的丢失。

  网络文件系统

  以NAS为代表,应用实现比如我们常用的网盘。它依托于网络提供了一定的便捷性,而且支持容量扩展,解决了单机文件系统容量小的问题。但是对于性能和可靠性的问题并没解决。

  集群文件系统

  以SAN为代表,实现比如RedHat的GFS(非Google的GFS),它是通过多个节点构成一个集群,各个节点的数据是相同的,对其中一个节点的数据进行修改时,其会以广播的形式通知其他各个节点。通过这一特性解决了单机文件系统存在的各项缺点。支持多个节点的扩展,多台节点共同提供服务提高性能,多个节点都进行数据保存保障数据的可靠性。但是其同样拥有很多缺点,集群的节点不能太多,对某一数据进行修改需要修改整个集群等等

  分布式文件系统

  以HDFS,CEPH和OSD为代表,实现了支持大规模节点的集群,并且提高了存储性能和数据的可靠性。我们用过HDFS或者CEPH的都清楚,他们依托于廉价的存储设备,可以随时增删节点对整个集群进行动态的扩容,高度可扩展。可以有效的避免单点故障,具有很高的容错性,可以提高稳定可靠的服务。整个分布式系统具有较高的吞吐量,可以满足大数据时代对于数据的存储。

  前面的文章初识大数据中我们提到了HDFS和CEPH,两者都是当前使用较广泛的分布式存储服务,支持万级集群规模,应用感知进行负载均衡优化性能和效率。HDFS作为Hadoop的一大核心为分布式计算提供了有力的支持,但是由于其设计对于小文件的支持并不好。CEPH实现了统一存储,同时支持文件,块和对象存储。两者都支持数据的归档压缩提高存储空间利用率,并以纠删码技术为主,复制副本技术为辅提高数据的可靠性。


在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

存储系统 计算机 数据存储 局域网 操作系统 数据信息
0
为您推荐
人算不如天算,数据驱动的云计算远超天算啦!

人算不如天算,数据驱动的云计算远超天算啦

在今天的世界, 一切业务数据化,一切数据业务化,只有这样才能迎接这个时代。所以我希…...

业务不到两年增速85%,是哪家公司这么厉害?

业务不到两年增速85%,是哪家公司这么厉害?

核心提示:自从2015年9月的OracleOpenWorld大会上推出全线的SaaS和PaaS产品以来,甲骨…...

打开企业云计算之门的利剑,不容错过?

打开企业云计算之门的利剑,不容错过?

在现实中,很多企事业单位的IT基础设施就处于此层次级别,即:只是采用了虚拟化技术去…...

云计算炙手可热,究竟是谁在背后?

云计算炙手可热,究竟是谁在背后?

核心提示:前不久,万达网络科技集团与美国IBM公司达成合作,借助IBM的云计算技术,进…...

云计算对数据进行智能分析,云计算核心技术有哪些?

云计算对数据进行智能分析,云计算核心技术

随着信息技术不断进步,闪存、磁盘、数据中心、DNA等各种新的存储技术不断出现。即便…...

“云”上存储日渐成熟, 那么最关键的是什么?

“云”上存储日渐成熟, 那么最关键的是什

展望未来,世界并不只是由公有或私有化技术组成,还有许多两者的混合体。因此势必会有…...

云计算开源呈现爆发式增长,如何使用云计算开源技术成为产业链关注的热点?

云计算开源呈现爆发式增长,如何使用云计算

近几年来,在云计算领域,开源技术呈现爆发式的增长,借用云计算领域的主流看法,这个…...

云计算提供了基础平台,云计算产业进入2.0

云计算提供了基础平台,云计算产业进入2.0

云计算引发了软件开发部署模式的创新,成为承载各类应用的关键基础设施,并为大数据、…...

私有云的建设是一个需要长期迭代的过程,我们都还在路上!

私有云的建设是一个需要长期迭代的过程,我

伴随着IT新技术的发展,像虚拟化、云计算和大数据对大家来说已经不再陌生了。在企业里…...

大家都要向云计算转型,为什么?

大家都要向云计算转型,为什么?

我们曾经开玩笑说硬件也要向云计算转型,软件也要向云计算转型,系统集成商也要向云计…...