918博天娱乐官网

918博天娱乐官网动态

大数据情形下云基础架构有多主要?

  • 时间:2013-11-12
  • 泉源:

  918博天娱乐官网(泉源:CIO时代网 作者:不详)

  Q:大数据情形下云基础架构有多主要? 

    A:云和大数据在统一时段最先盛行起来 ,因而成了同义词。可是 ,二者并不是一回事儿。云是在集成处置惩罚器集群上实验的一种并行程序设计模式 ,主要用于数据麋集型漫衍式应用。云的作用就在于此。早在对大数据的热衷之前 ,云就已经保存。但厥后云的意义变了 ,被看成一种结构用以建设大数据基础架构。云以谷歌的MapReduce算法为基础 ,该算法是在集群中分派应用的一种要领。谷歌的文件系统、运行系统、MapReduce应用以及漫衍式文件系统(HDFS)险些都以Java为基础 ,从而引发了一系列问题。云也需要通过节点间的故障转移来提供弹性。在众多集群中 ,当一个节点失效了 ,应该能实时举行故障处置惩罚并转移到下一个集群中去。 

    在以后 ,我并不确定有了云就可以高枕无忧了。事实上关于云已有了普遍的共识:为企业所用还需要云基础架构的许多方面起作用才行。首先 ,云的焦点是NameNodes ,贮存了与云集群相关的元数据(集群中的每台装备、每台装备的容量、装备的用途及其能遭受的事情负载量)。这类信息并非随处可复制 ,而只保存于一个地方 ,因而成了云基础架构中的单点故障。若是云集群上正举行着主要的程序处置惩罚的话 ,那一定要解决这类信息。其次是JobTracker。JobTracker是管理MapReduce使命和为差别服务器安排事情负载的这样一个组成部分 ,换种说法 ,JobTracker更靠近以专门要领剖析的数据。需要强调的是 ,JobTracker也是一个单点故障 ,并且只保存于急群众的一台服务器上。这些也执偾有关当下的云架构最显着的问题。 

    云手艺自己并不简朴。若是妄想安排云 ,需要足够的程序。这些程序得能够胜任工具箱里简单程序无法做到的种种事情、得知道Pig是Pig Latin的缩写、与云运行情形息息相关。虽然 ,这些程序也得知道Java、JavaScript的目的符号语言Jaql。现现在找到能胜任PHP的程序已经不是什么难事儿了 ,只需找一些跨度极大的组合即可。 

    因此首先是会有一些单点故障。其次 ,云需要一些在手艺市场上没有的专项手艺。再次 ,会爆发性能问题。每个已安排云的公司都已经有了云操作方面的性能问题 ,因而关于其的大数据剖析会一直保存。虽然一些问题与糟糕的写入应用代码有关 ,但更多的是与其架构自己有关。许多公司在特另外服务器集群、直连存储和特另外软件工具上下了很大功夫 ,都只为改善云基础架构的速率和进给量。 

    虽然 ,基础架构的管理也让人头疼。一些人试图以ZooKeeper手艺来处置惩罚云基础架构管理 ,而许多厂商则力争以他们提供的定制产品来处置惩罚。问题是现在照旧没有一个很好的云管理范式 ,似乎也没什么指望。 

    前不久 ,福布斯的一篇文章表达了我要分享的另一个主要的关注点:云等同于肩负大数据项目的基础架构。现在 ,商人们并不明确这一历程 ,也不介意如那里置大数据。他们只是想要营业利润 ,要它快一点儿。文章的作者准确地视察到云也许很是适合处置惩罚规模数据(其文章看法所在) ,但绝对算不上迅速而专业的剖析或实时剖析学。因此 ,该文章也不可用于营业处置惩罚 ,只是起到了其下的某些价值作用 ,并且只是掌控数据的一种方法。 

    那指向了问题的焦点 ,最终的真正问题是:我们将大数据用于那里?许多人没有熟悉到这一问题 ,除了市场上那些想要使用大数据的商家们 ,他们的目的是使其产品和服务面向特定客户群体时能更为专业化。




网站地图