国产大模型DeepSeek,昨天(2月24日)发布“开源周”首个成果,可显著优化英伟达图像处理器、也就是GPU的效率,此后,DeepSeek还将开源另外4个代码库。
当前人工智能、也就是AI技术快速发展,高性能GPU成为推动AI模型训练的重要驱动力,其中,英伟达GPU因强大的计算能力和先进的架构设计,受到广泛关注。
DeepSeek开源的代码库FlashMLA,就是针对英伟达GPU的优化,它能让大语言模型在GPU上跑得更快、更高效。尤其是在高性能AI任务中,这一代码能够加速大语言模型的解码过程,从而提高模型的响应速度和吞吐量,这对于实时生成任务,比如聊天机器人、文本生成等尤为重要。
有科技公司表示,这一方案能在不损失模型性能的前提下,将缓存体积压缩至原来的四分之一,从而大幅降低显存需求,加速AI普惠,促进诞生更多的创新应用。
FlashMLA还只是开始,上周五(2月21日)DeepSeek宣布,从本周开始,会陆续开源5个代码库,以完全透明的方式,与全球开发者社区分享他们的研究进展。
随着国内AI产业的爆发,阿里巴巴集团也宣布,未来三年将投入超过3800亿元,用于建设云和AI硬件基础设施,总额超过去十年总和。这也将创下中国民营企业在云和AI硬件基础设施建设领域有史以来最大规模投资纪录。
目前,阿里云是亚洲第一的云计算公司,阿里巴巴通义千问大模型已成为全球顶尖的开源模型。
编辑: | 张博忺 |
剑网行动举报电话:12318(市文化执法总队)、021-64334547(市版权局)
Copyright © 2016 Kankanews.com Inc. All Rights Reserved. 看东方(上海)传媒有限公司 版权所有
全部评论
暂无评论,快来发表你的评论吧