首页 首页 大数据 大数据入门 查看内容

谷歌数据安全及设计的较佳实践

木马童年 2019-2-28 11:35 95 0

在次云端平台使用者大会(Google Cloud Platform Global User Conference)上,谷歌的两位——数据的运营副总裁Joe Kava和安全隐私方面的优秀工程师Niels Provos向与会者分享了谷歌在 范围内设计、构建、运行和保护数 ...

在次云端平台使用者大会(Google Cloud Platform Global User Conference)上,谷歌的两位——数据的运营副总裁Joe Kava和安全隐私方面的优秀工程师Niels Provos向与会者分享了谷歌在 范围内设计、构建、运行和保护数据的实践方式,其中包含 些令谷歌的数据独 无二的秘诀,及其对于谷歌云端平台用户的意义。

安全性和数据保护

谷歌 直以来将放在数据的安全和保护上,这也是我们的关键设计准则之 。在物理安全方面,我们以分层安全模型为特色,使用了如定制的电子访问卡、警报器、车辆进出限制、围栏架设、金属探测器及生物识别技术等保障措施。数据的地板配备了激光束入侵探测器,并安装了高清晰度的内外监视器,全天候检测追踪入侵行为。此外为以防万 ,可随时调用访问日志、活动记录以及监控录像。

同时数据还安排了经验丰富的保安人员每日例行巡逻,他们已接受过背景调查与严格的培训(可以点击查看数据的360度视频)。越靠近数据,安全措施系数就越高,只有 条安全通道能进入数据,通过安全徽章和生物识别技术来实现多重访问控制,只有特定职位的员工才有权进入。在整个谷歌公司,只有不到1%的员工曾踏足此区域。

我们还采用了非常严格的点对点监管链,用于储存、追踪全过程——从第 次HD输入机器直证实其已被销毁或清除。同时,我们采用了信息安全和物理安全双管齐下的方式,由于数据通过网络传输的特性,若未经授权可随意访问的话就会非常危险。有鉴于此,谷歌将数据传输过程中的信息保护摆在优先位置上,用户设备与谷歌间的数据传输通常都是利用HTTPS/TLS(安全传输层协议)来进行加密输送。谷歌是第 个默认启用HTTPS/TLS的主要云服务提供商。

谷歌自建硬件和监测系统

谷歌的服务器不包括那些不必要且会产生漏洞的组件,比如显卡、芯片组、外围连接器。谷歌的生产服务器运行着基于Linux精简版和硬化版定制的操作系统,且这些服务器和操作系统只为谷歌 家提供服务。服务器的资源是动态分配的,允许灵活增长与快速高效地适应,同时还能根据客户的需求来添加或重新分配资源。

团队还必须在谷歌的基础架构状态与功能上增加先进的实时可视性功能。众所周知,谷歌在数据方面好度用心。为了协助团队,谷歌已为所有的功能区域配备了监测与控制系统,包括服务器、存储、网络系统、配电房、机械冷却系统以及安全系统——我们全方位地对“从芯片到冷却装置”的性能和操作进行监测。

利用机器学习来优化数据操作系统

为了努力实现这 目标,我们利用机器学习和深度学习算法来优化数据的操作系统。正如想象的那样,我们的数据内部大而复杂,所有电气、机械和控制系统协力只为提供较优性能。对常人而言,由于系统之间的交互信息与可能的设置十分复杂,很难想象怎样实时优化数据;但对于电脑来讲,运算这些可能的情境并找到较佳设置简直小菜 碟。

过去几年内,我们开发出了这套算法,并使用全 谷歌网站数以亿计的数据点对其进行了训练。我们现在利用这个机器学习模型帮助数据可视化,以便运营团队为数据配置电力与冷却装置,以确保指定时间的性能达到较优较高效(考虑到影响性能的自变量多达19个),帮助团队找出难以 眼发觉的不连续或者效率不高的数据点。

以可再生能源为动力

在能源方面,我们致力于利用可再生能源来为基础设施提供动力,谷歌在可再生能源方面是全 较大的私人投资者。截目前,谷歌已经在可再生能源的“能源采购标准协议”上投入了超过20亿美元,这些协议重要的原因在于:

谷歌计划在未来10-20年间继续投资购买风能和太阳能;

这些风电场和谷歌数据有着相同的电网系统;

风电场和数据共享电网系统,为项目开发人员提供建立项目所需的财务保证,因此我们明白:除了可再生能源之外,不会再通过其他方式来发电。

冷却方面,平均每12-18个月我们会对基本的冷却技术进行重新设计。通过这种方式,我们所开发的水冷系统在创新上占据领先地位,使用水源包括海水、工业大坝水、回收水及灰水(污染较轻的生活用水)、收集重用的雨水,并涉及了热能储存。此外我们还设计了不使用水冷系统的数据,这种系统100%依靠室外空气自然冷却。关键是:并没有“ 体适用”的解决方案,每个数据会根据特定的位置设计出适合自己的冷却方案,以求能达到较高性能和较高效率。

数据由谷歌自行运营,不通过第三方

设计与建立方面的行业规范削减了对用户手册和图纸的需求,直通正确的解决方案,运营者无需凭借侥幸。 般来讲,运营团队受雇于低价揽活的外包商,而不是业主本身,但在谷歌并非如此,我们有自己的雇员来管理、运营数据。在运营时有这样的惯例:问题和错误常在午夜出现——通常是周日的午夜,因为那时没人随时待命处理问题。

工程师+运营团队的组合

对于所雇的员工和他们运营数据的方式,我们采取了不同的态度:工程师和运营专家的背景各不相同,但却有个共同点——他们都是系统思考者。团队的很多成员有关键业务方面的背景,比如美国海军核潜艇项目,在这些项目中,任何错误都会酿成灾难性后果,因此他们很懂系统的交互方式。此外,谷歌在所有数据园区还成立了区域站点团队,由负责设计和施工的工程师及运营团队共同组建而成,这些综合团队共同负责构建、调试系统以及提供全天候运营服务,从而赋予了我们对基础架构的自治权。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

工程师 谷歌云 安全性 数据保护 探测器 生物识别
0
为您推荐
什么样的人才是大数据人才呢?我们应该怎么定义和分类?

什么样的人才是大数据人才呢?我们应该怎么定义和分类

在未来世界,国家之间、区域之间甚至是公司之间的大数据人才的争夺战,将是愈演愈烈的…...

数据科学,数据分析和机器学习之间,有什么本质区别?

数据科学,数据分析和机器学习之间,有什么本质区别?

我们都知道机器学习,数据科学和数据分析是未来的发展方向。有些公司不仅利用大数据帮…...

大数据现在处于什么阶段,入行大数据,需要学习哪些基础知识?

大数据现在处于什么阶段,入行大数据,需要学习哪些基

大数据的发展历程总体上可以划分为三个重要阶段,萌芽期、成熟期和大规模应用期…...

大数据技术怎么学习,在学习大数据之前,需要具备什么基础?

大数据技术怎么学习,在学习大数据之前,需要具备什么

  大数据又称黑暗数据,是指人脑无法处理的海量数据聚合成的信息资产,在民生、IT、…...

对于大数据开发的学习,最经典的学习路线是什么?

对于大数据开发的学习,最经典的学习路线是什么?

对于现代社会,大数据开发的重要性不言而喻,通过大量的数据处理、分析获取有价值的信…...

大数据时代,主要需要什么类型的人才?

大数据时代,主要需要什么类型的人才?

什么是大数据,大数据是主要指的是,无法在可承受的时间范围内用常规软件工具进行捕捉…...