正在阅读：DeepSeek加速AI普惠化进程，AMD EPYC化身“多面手”DeepSeek加速AI普惠化进程，AMD EPYC化身“多面手”

DeepSeek的火爆,加速了AI的普惠化进程,以更低的成本实现最大化的性能与能效成为可能。对于千行百业的用户来说,依托算力底层架构的创新,有效提升AI训练和推理的水平至关重要。

以AMD EPYC处理器为核心,AMD打造了一套覆盖云端训练、边缘推理和边缘AI的完整算力解决方案,推动着企业用户的数字化转型不断走向深入。

AI引领 持续进化 全面优化

AI计算对并行处理、数据吞吐、能耗等提出了更高的要求。首先,由于AI模型的训练和推理需要处理大量数据与复杂的计算任务,因此要求CPU具备多核心、多线程的能力,以便同时处理多个计算任务,提高训练的效率。其次,在AI模型训练中,CPU主要承载数据预处理、模型评估等较小的数据集或者简单的计算任务,具有更高频率和更高能效比的处理器有助于提高处理效率,并且更长久地支撑训练任务。最后,为了全面满足AI多样化的应用需求,CPU应具备同GPU(图形处理器)、NPU(神经网络处理器)、TPU(张量处理单元)等专用硬件的协同工作能力,以实现性能与能效的平衡。

AMD EPYC通过Zen核心、Chiplet设计、指令集优化、强大的协同设计等方面的革新与演进,为AI应用夯实了算力基础。

从Zen核心的持续进化来看,第四代EPYC所采用的Zen 4架构就具有显著的AI适应性。得益于单处理器最高可拥有96核心,第四代AMD EPYC处理器具业界领先的性能和能效。相比上一代产品,第四代AMD EPYC处理器可以提供高达2.8倍的性能,以及多达54%的更少电耗,并且提供完整的软硬件生态系统支持,从而更好地承载虚拟化、AI/ML、HPC等工作负载。特别值得一提的提,第四代AMD EPYC处理器还引入了对AI/ML应用程序至关重要的DDR5内存和第五代PCIe,大内存、大带宽的设计能够加快AI模型的训练和推理速度。另外,AMD 3D V-Cache技术的加持,进一步增强了第四代AMD EPYC处理器的多任务处理能力,并且有效降低了延迟。

珠玉在前,第五代EPYC基于Zen 5架构,对AI的支撑能力更上一层楼。相比Zen 4,Zen 5核心架构不仅提供多达17%的更高每时钟指令数(IPC),还能为AI和HPC(高性能计算)提供高达37%的更高IPC,从而提升了AI部署的洞察时间和部署速度。举例来说,64核的AMD EPYC 9575F可用于AI主机节点,在实际应用中,得益于5GHz的最大加速频率,AMD EPYC 9575F在一个由1000个节点组成的AI集群中,每秒可处理多达70万个推理令牌,极大地提高了处理效率;192核心的EPYC 9965 CPU可为包括TPCx-AI(衍生)在内的端到端AI工作负载提供更高的性能,在Meta Llama 3.1-8B的中小型企业级生成式AI模型中,EPYC 9965的吞吐量性能具有显著优势。

AMD EPYC第四代和第五代处理器通过高并发处理、低延迟的设计,以及高效的软硬件协同,能够充分释放AI潜能,并有效节省数据中心的空间和功耗。

训练、推理和边缘,一个也不能少

AI应用的碎片化与场景多样化,对算力平台提出了多维挑战,包括灵活性与适应性、能效比与功耗、实时性与低延迟、成本控制、算法与算力协同优化等。AMD EPYC通过架构创新与全方位优化,在AI大模型的训练、推理和边缘部署等方面,提供了高效、可靠、安全、成本和功耗优化的支撑。

AMD EPYC完全能够胜任AI模型开发、测试和批量训练的需要。AMD EPYC 9005可以充分助力GPU实现加速。在搭载GPU的系统中,作为主机CPU的AMD EPYC 9005经过专门优化,有助于提高特定AI工作负载的性能,以提高每台GPU服务器的投资回报率。举例来说,运行 Llama3.1-70B时,在相同情况下使用高频AMD EPYC 9575F处理器且搭载8个 GPU的服务器,系统整体性能可提升高达20%。

在AI推理方面,AMD EPYC 9005处理器能够充分提升每台服务器的性能,在机架数量减少多达86%的情况下仍能实现与原有硬件相当的整数性能,为运行AI工作负载腾出空间。基于AMD EPYC 9005 CPU的纯CPU型服务器能够高效处理大量AI工作负载,包括具有130亿个及以下参数的语言模型、图像和欺诈分析或推荐系统等。尤其是其AI推理性能卓越,与上一代产品相比,运行两个第五代AMD EPYC 9965 CPU的服务器可将推理吞吐量提升两倍。

在智慧城市、工业物联网、医疗、零售等边缘AI场景中,能耗、安全可靠与环境适应性等是用户最关注的。AMD EPYC 8004处理器是专为单路平台设计的高能效CPU,它拥有最多可达64个Zen 4c核心,并支持6通道DDR5内存,体积小巧,非常适合空间、功率有限的部署环境。比如,它特别针对云、电信网络、零售和智能边缘进行了性能优化,在低至70瓦的功耗范围内实现了卓越性能;它还经过了NEBS(网络设备构建系统)认证,运行更为安静,适用场景非常广泛。

EPYC领先AI新时代

据《中国人工智能计算力发展评估报告》的数据,2024年,中国智能算力的增长率高达74.1%。更高效的计算能力与更低的能耗将是未来算力芯片竞争的制高点。

在促进AI应用落地的过程中,AMD EPYC通过第四代与第五代处理器的持续演进、协同创新,为包含训练、推理、边缘部署在内的AI全生命周期提供性能、能效与成本的均衡支持,将继续领先AI算力时代。