- 云计算与大数据技术应用
- 安俊秀 靳宇昌主编
- 2807字
- 2021-04-01 18:21:22
1.2 云计算技术发展背景
从技术上来说,云计算的出现得益于网络带宽的飞速增长和互联网的飞速发展。网络带宽的迅速增长使得在互联网环境下进行快速数据处理成为可能。互联网提供了一种新的数据浏览与交流的方式,用户既是信息的浏览者也是信息的创造者,从而产生了海量数据。这两个原因造成了使用智能终端和互联网的用户剧增,互联网成为用户日常生活所不可或缺的基础设施,得到了迅猛发展,促使了云计算的产生,并且已成为一种基础设施。
1.飞速发展的网络技术
20世纪60年代发生了第一波信息化革命,即计算机革命,很多传统企业紧跟这一轮信息化的浪潮,将计算机广泛应用到业务当中。20世纪90年代发生了第二波信息化革命,即互联网革命。1987年9月14日发出了中国第一封电子邮件:“Across the Great Wall we can reach every corner in the world.(越过长城,走向世界)”,揭开了中国人使用互联网的序幕,如图1-2所示。当时互联网的通信速率为300bit/s。
图1-2中国第一封电子邮件
1997年11月,中国互联网络信息中心(China Internet Network Information Center,CNNIC)发布了第一次《中国互联网发展状况统计报告》:中国共有上网计算机29.9万台,上网用户数62万,CN下注册的域名4066个,WWW站点约1500个,国际出口带宽25.408Mbit/s。1999年1月国际出口带宽143Mbit/s。截至2018年6月,我国国际出口带宽为8826302Mbit/s。从中可以看到网络的发展速度之迅猛。2003年,移动互联网开始兴起,随着3G、4G的出现,移动互联网的网速实现了快速提升。如果说3G、4G充分连接了人与人,那么目前提出的5G则可以连接万物,尤其是在虚拟现实、自动驾驶、远程医疗等方面提供更丰富的体验。据中国互联网络信息中心(CNNIC)报告,截至2018年12月,中国网民规模达8.29亿,互联网普及率达到59.6%。手机网民占比达98.6%,手机支付习惯已经形成。手机网民规模及其占网民比例如图1-3所示。
图1-3 手机网民规模及其占网民比例
云计算的核心其实是基于网络的应用,接入网络的带宽直接决定了企业使用云计算平台的质量。云计算服务使用方式简单、轻巧、方便,但是背后却消耗着大量的网络带宽,会大幅度增加互联网流量。云计算是一个可全球访问的资源结构,这意味着采用云计算结构的用户将是跨广域网的。
2.万维网的发明与发展
1989年,在欧洲粒子物理研究所工作的蒂姆·伯纳斯·李出于高能物理研究的需要发明了万维网(World Wide Web),也称为“Web”“WWW”“W3”,简称为Web,如图1-4所示。4年后,美国网景公司推出了万维网产品Mosaic浏览器,顿时风靡全世界。万维网的诞生给全球信息的交流和传播带来了革命性的变化,一举打开了人们通过互联网获取信息的方便之门。
图1-4 万维网的发明者及世界上第一个网站
万维网不等同于互联网,万维网只是互联网所能提供的服务之一,是靠着互联网运行的一项服务。也许大家想不到,尽管伯纳斯·李发明的万维网在20多年内创造出了无数的财富,但是创造者本人却坚持不对万维网申请专利,坚持让所有人都可以不付费而使用。由于他的杰出贡献,他被称为“互联网之父”。
Web 1.0时代开始于1994年,其主要特征是大量使用静态的HTML网页来发布信息,并开始使用浏览器来获取信息,这个时候主要是单向的信息传递。Web 1.0的本质是聚合、联合、搜索,其聚合的对象是巨量、无序的互联网信息。Web 1.0只解决了人对信息搜索、聚合的需求,而没有解决人与人之间沟通、互动和参与的需求。这个时期诞生了百度、Google、亚马逊等知名互联网企业。
在21世纪初期,正当互联网经济的泡沫破碎之际,Web 2.0(始于2004年3月)的兴起让网络迎来了一个新的发展高峰期。在Web 2.0中,软件被当成一种服务,万维网演化成了一个成熟的、为最终用户提供网络应用的服务平台,强调用户的参与、在线的网络协作、数据存储的网络化、社会关系网络、简易信息聚合(Really Simple Syndication,RSS)应用以及文件的共享。这个时候互联网上的信息传递变成了双向传递,用户既是信息的浏览者也是信息的创造者,Web 2.0模式大大激发了创造和创新的积极性,使互联网变得生机勃勃。
在Web 2.0时代,Flickr、Myspace、Facebook、YouTube、Blog、Wiki等社交网站的访问量已经远远超过传统门户网站。用户数量多以及用户参与程度高是这些网站的特点。因此,如何有效地为如此巨大的用户群体服务,让他们参与时能够享受方便、快捷的服务,成为这些网站不得不解决的一个问题。为了解决大型网站的访问量大、并发量高、海量数据的问题,一般会考虑业务拆分和分布式部署,可以把那些关联不太大的业务独立出来,部署到不同的机器上,从而实现大规模的分布式系统。这也促进了云计算与大数据的产生。
3.信息产业的发展演进
纵观整个信息技术的发展历史(如图1-5所示)看出,在不同时期,信息产业发展有两个重要的核心驱动力起着作用:硬件驱动力、网络驱动力。这两种驱动力量的对比和变化决定着产业中不同产品的出现时期以及不同形态的企业出现和消亡的时间。硬件驱动的时代诞生了IBM、Microsoft、Intel等企业。网络驱动的时代诞生了Google、Yahoo、Amazon等企业。
图1-5 信息产业发展演进路线图
随着2010年掀起的第三波信息化革命,即移动互联网革命,世界正式进入大数据时代。与此同时,凭借Google文件系统搭建起来的Google服务器集群,为Google提供了强大的搜索速度与处理能力。于是,如何有效利用这些服务器资源,为更多的企业或个人提供强大的计算能力与多种多样的服务,就成为像Google这样拥有巨大服务器资源的企业需要考虑的问题。于是云计算就应运而生。
4.云计算的提出
计算机提供的计算能力取决于硬件资源,计算能力不够时,需要不断增加计算机的硬件资源;但空闲时,硬件资源处于闲置状态,如不能将其共享加以使用,将是一种巨大的资源浪费。云计算正是为了解决这一问题而提出的新的计算服务模式,其基本思路是集中计算资源提供巨大的计算能力的同时,提供使用上的方便性和灵活性。
在IT领域,任何新事物都需要业务和技术的推动。随着分布式存储、并行计算、虚拟化技术、互联网技术的不断发展与成熟,使得基于互联网提供服务成为可能。在1983年,Sun公司提出了“云计算”的概念,即“网络就是电脑(The Network is the Computer)”,但是因为只提出了名词,并没有提出基础架构,而没有得到广泛认可。2006年8月9日,Google首席执行官埃里克·施密特(Eric Schmidt)在搜索引擎大会(SES San Jose 2006)上首次提出“云计算”的概念及体系架构。他将2003年Google在SOSP(操作系统原理会议)上发表的GFS(Google File System,Google文件系统)分布式文件存储系统、2004年在OSDI(操作系统设计与实现会议)上发表的MapReduce分布式处理技术和当年发表的BigTable分布式数据存储系统结合起来,提出了云计算基础架构。GFS解决了超大文件存储的问题,MapReduce解决了并行计算问题,BigTable解决了海量数据非关系型数据库的存储问题。这三篇论文仅仅提供了思想,并没有对代码进行开源。而MapReduce的概念是在1960年由“人工智能之父”约翰·麦卡锡(John McCarthy)提出的,当时他曾预言:“今后计算机将会作为公共设施提供给公众”,所以云计算最初的思想雏形可追溯到更早的时间,如图1-6所示是提出云计算概念的两位代表人物。2008年,云计算进入中国。2009年,中国首届云计算大会召开。2012年,我国的政府工作报告中给出了对云计算的定义。
图1-6 提出云计算的代表
a) Google首席执行官埃里克·施密特 b) “人工智能之父”约翰·麦卡锡