引言:
2023年开始,一批批被特殊包裹、重达数百公斤的智能装备,从中国大地的四面八方纷纷涌向祖国北疆,这一现象一直持续至今。
OpenAI创始人山姆·阿尔特曼(Sam Altman)曾表示,通用人工智能(AGI)即将出现,而算力和能源是其发展的关键。这一观点精准地阐述了人工智能、算力与能源之间的关系。由Transformer大语言模型驱动的生成式AI的快速发展,依赖于AI数据中心的算力支持(用于大语言模型的训练与推理)。而算力的提供需要大量能源,能源的使用则需要电力变压器、发电机及其他电气和冷却设备等大量需要部署在AI数据中心内外的算力基础设施。
在全球碳中和政策的推动下,这些支撑大语言模型的算力基础设施不仅面临能源需求的急剧上升压力,还需应对向绿色能源转型的挑战。因此,全球许多国家和地区面临一个核心问题:进行大语言模型的训练和推理,究竟哪个城市是最好的选择?
生成式AI正面临绿色能源困境
埃隆·马斯克(ElonMusk)曾在2024年初的一次大会上说过一句耐人寻味的话:“你需要用‘电力变压器(Transformer)’来运行‘大语言模型的Transformer结构’”。的确,生成式AI的快速发展对全球电力网络带来了巨大压力,包括美国、欧洲和新加坡在内的许多国家都面临能源问题的紧迫挑战。据统计,到2026年,美国所有数据中心每年将产生1.55亿公吨二氧化碳排放,相当于370万辆乘用车一年的排放量。显然,AI数据中心不仅需要充足稳定的电力,还需要绿色可持续的电力。
根据全球知名半导体研究机构SemiAnalysis在2024年3月发表的《AI数据中心能源困境》报告,未来AI数据中心建设需满足以下几个基本条件:
1.足够便宜的电:鉴于持续消耗的巨大电力,电力成本要低廉,特别是随着时间推移,推理 (Inference) 需求会不断增加。
2.充沛稳定的电:能源供应链在环境干扰下要有稳定性和稳健性,以降低能源价格波动的可能性,以及能够快速提高电力生产,从而迅速规划大规模发电的能力。
3.持续大量的绿电:整体电力结构的碳强度要低,适合在经济可行条件下生产大量绿色能源。
纵观全球,能够满足上述条件的国家和地区屈指可数。中国在绿色能源(风能和太阳能)装机容量方面(包括新增装机容量)遥遥领先于其他国家。不仅如此,拥有丰富日照资源的中国内蒙古地区还具备全球领先的优势。据国际权威机构测算,中国内蒙古地区的PVOUT(表示PV系统在给定时间段内相对于系统理论峰值功率输出的实际发电量)高达1,700 kWh/kWp/年以上,美国为1,591 kWh/kWp/年,印度约1,400 kWh/kWp/年(其中马哈拉施特拉邦PVOUT为1,566 kWh/kWp/年)。也就是说,内蒙古地区拥有全球竞争水准的绿色发电能力,未来可能在建设MW级AI数据中心方面处于全球领先地位。
正是凭借这一优势,内蒙古呼和浩特近年来吸引了大批优秀大模型厂商。
打造未来超级智能的物理载体
根据中国信息通信研究院近日发布的《全球数字经济白皮书》,截至目前,全球大语言模型数量为1328个(包括同一企业、同一模型的不同参数版本),其中中国大语言模型数量占比超过1/3,达到36%,位居全球第二。据官方最新发布,截至目前,全国已通过网信办备案的大语言模型共有166个。
在这些厂商中,许多知名厂商的大语言模型实际上都是在呼和浩特进行训练的,依托强大的算力资源和丰富的模型训练场景,呼和浩特先后引进了大批大模型训练和推理企业。目前已落地大模型超过10个,训练总参数量已突破万亿。这其中包括很多我们熟知的大模型产品:中国电信星辰大模型、中国移动九天大模型、中国联通元景大模型、华为盘古大模型、百度文心大模型、京东言犀大模型、科大讯飞的星火大模型、百川智能的百川大模型以及第四范式的式说大模型等。
这些大语言模型在训练方面展现出多样化和创新性。它们普遍强调数据的多样性和规模,例如京东的言犀大模型融合了通用数据与供应链原生数据,华为的盘古大模型则利用了大量多领域数据。多模态训练成为主流,许多模型不仅处理文本,还包括图像、语音等数据类型,如百度的文心一言和商汤的日日新大模型。
同时,“领域特化”(在特定领域内对大模型进行训练和优化,使其更好地处理该领域的任务和数据,提高表现和精度。)也成为一大趋势,例如华为在中医药领域的深度优化。在技术创新方面,各公司各具特色,如百度采用知识增强和检索增强技术,京东将领域知识注入大模型。
此外,模型的持续迭代也是一大特点,如百川智能持续迭代新版本。在训练过程中,安全性和合规性被高度重视,多家公司强调了这一点。这些大模型的训练过程都参考了权威评测榜单,反映出行业内较为统一的评估标准。
作为我国最重要的大语言模型训练和推理基地,呼和浩特依托内蒙古地区丰富的绿色资源,全力打造全国最大的人工智能模型训练推理基地。据统计,在全国14个发电量有盈余的省市中,内蒙古的差额最大,其发电量远超实际使用量,为人工智能的发展提供了丰厚的资源基础。只有具备良好绿色能源条件的地区,才能为大语言模型和人工智能的持续演进提供基础,进而有潜力成为未来超级智能的物理载体。
呼和浩特:大语言模型训练的理想之地
对于AI数据中心而言,大语言模型的训练和推理是核心工作负载。那么,大语言模型的训练究竟需要多少能源?又有哪些条件使得众多大语言模型厂商选择呼和浩特作为训推基地?
当前,以OpenAI为代表的众多AI公司正在争相建立拥有10万个GPU的超级AI数据中心(园区集群)项目,这些项目面临着数据中心容量和电力供应不足的严峻制约。根据SemiAnalysis于2024年6月中旬发布的最新研究报告,一个拥有10万台GPU的AI数据中心(园区集群)需要超过150MW的数据中心容量,每年将消耗15.9亿KWh的电力。按照0.078美元/KWh的标准电价计算,仅电费就高达1.239亿美元。
显然,大语言模型的训练工作具有独特的负载要求:
首先,大语言模型训练不需要靠近主要人口中心,需要优先部署在具备经济可行性的地方。在这方面,呼和浩特展现出独特优势。该地区依托相对独立的蒙西电网,实施了创新的电力多边交易机制,使数据中心平均用电价格稳定在0.32元/千瓦时左右。
其次,大语言模型工作负载非常耗电,对稳定的绿色能源需求非常大,尤其对于MW级别的AI数据中心而言。呼和浩特正积极推进绿色能源战略,通过实施“风-光-储”一体化清洁能源供电示范项目等相关项目的支持,为大模型训练提供可持续的绿色能源供应,体现了呼和浩特在支持AI发展的同时对环境可持续性的长远考虑。
最后,大语言模型在AI数据中心运行时用电特征使得储能成为必然选择。这些AI数据中心的用电模式高度动态且难以预测,负载可能在短时间内从100%骤降至10%,然后迅速回升。这种源于AI算法计算需求瞬时变化的剧烈波动,与传统电网偏好的稳定负载形成鲜明对比,数据中心配备储能设备被视为可行的解决方案,有助于平滑负载波动。据悉,目前位于呼和浩特的华电和林格尔数据中心集群360MW绿色能源供给示范项目已全面启动建设,2024年底将建成投用。
呼和浩特的崛起,为AI产业发展树立了一个全新的范式。截至2024年6月底,位于呼和浩特的内蒙古枢纽和林格尔数据中心集群已集聚数据中心项目32个,已投用标准机架达到26.6万架,服务器装机能力达到150万台。总算力规模达2.4万P,其中智算算力规模2.18万P。计划到2025年底,数据中心标准机架达到60万架,服务器装机能力300万台,算力总规模达到8.4万P,其中智能算力规模7.9万P。
这片北方草原凭借丰富的绿色能源和积极高效的政策,不仅解决了大语言模型训练的能源难题,更展现了AI发展与环境可持续性的共生之道。
随着大语言模型企业纷纷入驻,呼和浩特正成为中国乃至全球AI产业的新高地。这里的绿色算力不仅吸引了AI企业,还为各行业的数字化转型提供了强大支撑。从智慧农业到智能制造,从工业互联网到智慧旅游,呼和浩特正成为绿色能源助推算力、赋能产业升级的典范。
那些重达数百公斤的数据中心服务器不断涌向祖国北疆,承载的是中国在全球AI竞争中的雄心。呼和浩特的成功,标志着中国在融合绿色能源、强大算力和尖端AI技术方面迈出了关键一步,为自身在全球AI版图中赢得了独特而重要的地位。