物联网解决方案

新闻中心News

您当前的位置 : 首 页 > 新闻中心 > 行业新闻

海量数据技术

2022-09-09 14:01:40

云计算系统由大量服务器组成,同时为大量用户服务,因此云计算系统采用分布式存储的方式存储数据,用冗余存储的方式保证数据的可靠性。云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。通信技术

GFS即Google文件系统(Google File System),是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统,是针对大规模数据处理和Google应用特性而设计的。它运行于廉价的普通硬件上,但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。

一个GFS集群由一个主服务器(master)和大量的块服务器(chunkserver)构成,并被许多客户(Client)访问。主服务器存储文件系统所以的元数据,包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动,如块租约(lease)管理,孤儿块的垃圾收集,块服务器间的块迁移。主服务器定期通过HeartBeat消息与每一个块服务器通信,给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储,每份数据在系统中保存3个以上备份。物联网解决方案

客户与主服务器的交换只限于对元数据的操作,所有数据方面的通信都直接和块服务器联系,这大大提高了系统的效率,防止主服务器负载过重。

通信工程

以上内容由互联网收集整理,版权归原创作者所有,如有侵权请联系我们处理删除内容,谢谢!

上一篇:光通信的使用2022-09-08 17:13:44
下一篇:海量数据管理技术2022-09-09 14:09:18

最近浏览:

全国咨询电话:
0771-3396958

联系我们

电话:0771-3396958

网址:www.zangto.com

地址:广西南宁市青秀区佛子岭路18号德利国际AICC东盟国际文化广场B1栋18楼

本站内容部分来自网络,如有侵权请联系删除

微信公众号

Copyright © 壮都通信股份有限公司 All rights reserved 备案号:桂ICP备19011382号 , 欢迎来电咨询! 服务支持:壮都通信