写诗、编程、聊天互动……打着“AI聊天机器人”名头的ChatGPT,集成了多种功能,也一跃成为史上月活用户数增长最快的消费者应用。
ChatGPT的爆火,也让人们注意到了AI应用背后庞大的算力需求与挑战。
中科曙光便表示,截止2月12日,曙光智算公司提供用于AI训练与推理计算的试用资源,在开放使用后一周内已被抢注一空。
通常情况下,这些计算资源要三个月左右才能被用户注册并使用。目前,曙光智算正协调多个计算中心,提供更多算力资源满足用户需求。
而在上周,浪潮信息也宣布推出AI算力服务产品,基于智算中心的算力基础设施,客户可申请AI算力免费试用。
实际上,以ChatGPT为首的生成式AI开发主要依托于大模型技术,这就离不开算力支撑。
而在算力基建中,除了芯片之外,AI服务器、AIDC等专用数据中心建设也同样必不可少。
就在2月13日,北京市宣布,将支持头部企业打造对标ChatGPT的大模型。
同日北京昇腾人工智能计算中心正式点亮,并与首批47家企业和科研单位签约。该中心一期算力规模达100P,短期算力规模将达500P,远期将达1000P,可为企业和科研单位等提供AI算力服务。
的确,AI对算力的需求已不能仅仅用“快速”来形容——据ChatGPT开发公司OpenAI 研究,2012-2018年,最大的AI训练的算力消耗已增长30万倍,平均每3个多月便翻倍,速度远远超过摩尔定律。
另据《2022-2023 中国人工智能计算力发展评估报告》,2022年我国智能算力规模已达268百亿亿次/秒(EFLOPS),超过通用算力规模。预计未来5年,中国智能算力规模年复合增长率将达52.3%。
图|人工智能算法计算量发展趋势(来源:中信建投)
生成式AI的开发需要基于海量的自然语言或多模态数据集,对拥有巨大参数的超大规模模型进行训练。
要成功训练出更大参数、更高精度、更高能力的大模型,不仅需要巨量的高性能AI算力进行支撑,还需要依托精心清洗获得的高质量海量数据集,同时还需要有高效的系统平台来保障长时间的模型训练过程。
以OpenAI的GPT-3模型为例,其存储知识的能力来源于1750亿参数,训练所需算力高达3640PFLOPS-day,单次训练费用约460万美元,而ChatGPT及未来GPT-4模型训练成本将更高。
当前,微软Azure云计算中心为ChatGPT提供算力支撑,单次训练成本超过千万美元。
华泰证券2月13日报告也指出,以GPT模型为代表的AI大模型训练,需要消耗大量算力资源,随着国产大模型开发陆续进入预训练阶段,算力需求持续释放或将带动算力基础设施产业迎来增长新周期。
未来拥有更丰富算力资源的模型开发者,或将能够训练出更优秀的AI模型,算力霸权时代或将开启。
文章出处:财联社