如今,全球大的职业社交网站LinkedIn公司对超大数据中心的需求和规模达到前所未有的程度,一些社交网络公司也正在采取许多相同的方法来构建超大规模数据中心基础设施,而谷歌、Facebook和微软公司一直在为此努力。
这些方法包括直接从数据中心设计制造商定制的硬件,软件和数据中心基础设施,并大型IT厂商采购硬件,这些IT厂商其中包括惠普、戴尔、思科等公司。
“我们将数据中心进行了改造,我们为此项目已经开展了8个月的工作。”LinkedIn公司全球基础设施架构和策略首席工程师尤瓦尔.巴沙尔说。
此外据悉,LinkedIn公司正在申请在波特兰之外新建一个数据中心基础设施。LinkedIn公司的目前所在数据中心设施是从Infomart公司租赁的,其数据中心设施采用的定制的电气和机械设计,网络交换机也是定制的。
这是LinkedIn公司第一个设计的可以使该公司从上万台服务器到10万台服务器上运行的数据中心。
巴沙尔表示,LinkedIn公司分布在美国加利福尼亚州、德克萨斯州、弗吉尼亚州,以及新加坡的数据中心,将逐渐过渡成新的超大规模数据中心基础设施。
Infomart公司在俄勒冈州希尔斯伯勒的波特兰数据中心
采用Homebaked100G交换机和fabric架构
数据中心改造转型中最重要的问题是重新思考LinkedIn公司数据中心的网络部署方式。该公司设计了自己的100千兆的交换机以及一个向外扩展的数据中心网络结构。
该计划的交换机与LinkedIn公司现有数据中心使用的一样。如今,该公司采用了一家知名厂商提供的普通交换机和白盒交换机的组合设计。
LinkedIn公司采用了以100G为基准的网络技术,因为该公司最终需要这样的带宽(未来标准),而且该技术可使它获得10G、25G、50G的传输速度,巴沙尔解释道。
使用psm4光学接口标准,LinkedIn公司工程师将100G的接口分为两个50G的接口。他们的最新交换技术与40G光互连解决方案相比,显著地降低了成本。巴沙尔表示。“这是当今高带宽连接的具成本效益的解决方案。”他说。
高功率密度的设计
在这一点上,LinkedIn公司还未开始设计自己的服务器,而其他的超大规模数据中心运营商都已采用自己设计的服务器。然而,该公司确实从其原始设计制造商购买服务器,并在菜单上选择了一些配置进行修改。
巴沙尔表示,对于下一代数据中心,LinkedIn公司已经考虑了其服务器设计的规格,并具有更好的成本效益。
新的fabric架构使LinkedIn公司能够转换到一个高功率密度的数据中心的设计,Facebook和微软使用了高度分布式的模型,这与低密度的数据中心完全不同。
LinkedIn公司俄勒冈的数据中心每机柜将有96个服务器,这略低于当今每柜18KW的功率密度,他说,但该数据中心采用的冷却技术可以允许其功率密度达到每架32千瓦。相比之下,Facebook公司的数据中心的平均功率密度约为5.5kW,这个数据是Facebook公司基础设施副总裁杰森?泰勒曾经透露的。另一个已经走上了高功率密度路线的互联网巨头是eBay公司。
为了对这种高功率密度的数据中心设施进行冷却,LinkedIn公司在每个机柜采用导热门,每个机柜其自身包含的生态系统,这里没有传统数据中心所采用的冷热通道技术。
“一切都采用的是冷通道,”巴沙尔说,“而热通道被包含在机架本身之内”。
在对服务器、电源和空间成本进行详细分析之后,LinkedIn公司决定采用高功率密度的设计。而高功率密度是LinkedIn公司对数据中心进行最优化的路线,巴沙尔表示。
采用这种设计的最主要的原因是,该公司采用租用数据中心空间,因此其具有空间和功耗的限制,而Facebook或谷歌公司一般都是自己设计和建造数据中心,而LinkedIn公司则没有这样的条件,巴沙尔解释。
开放创新
这也是LinkedIn公司决定不使用开放式计算项目的硬件,因为其并不适合标准的数据中心和数据中心机架。
巴沙尔表示,LinkedIn公司目前没有任何计划加入Facebook公司主导的开源硬件(OCP)和数据中心的设计工作,而苹果、微软、谷歌公司都已经成为OCP成员。但LinkedIn公司表示会分享公开支持OCP的理想。
LinkedIn公司将会通过OCP或另一种途径内部公开一些基础设施的创新。“我们将分享我们的硬件开发和软件开发的一些成果。”巴沙尔说。