正在阅读:Azure OpenAI服务的可用性介绍 Azure OpenAI服务的可用性讲解【详解】Azure OpenAI服务的可用性介绍 Azure OpenAI服务的可用性讲解【详解】

2023-10-17 14:18 出处:IT百科 作者:佚名 责任编辑:zhaojian2

  Microsoft昨天宣布扩大Azure OpenAI服务的可用性。通过此次扩展,澳大利亚东部、加拿大东部、美国东部 2、日本东部和英国南部的客户将能够访问流行的 OpenAI 型号 GPT-4 和 GPT-35-Turbo。在此扩展之前,Azure OpenAI 服务在美国东部、法国中部、美国中南部和西欧可用。在最近的财报电话会议上,Microsoft宣布Azure OpenAI服务现在为11,000多家客户提供服务,平均每天吸引100名新客户。

  Microsoft还宣布Azure ND H100 v5虚拟机(VM)系列正式发布,该系列具有最新的NVIDIA H100 Tensor Core GPU和NVIDIA Quantum-2 InfiniBand网络。此新 VM 系列专为 AI 工作负荷设计,现已在美国东部和美国中南部 Azure 区域推出。即使 VM 已正式发布,客户也必须注册其对访问新 VM 的兴趣。

  ND H100 v5 虚拟机包括以下功能:

  这些虚拟机配备了八个 NVIDIA H100 张量核心 GPU,承诺比前几代产品更快地实现 AI 模型性能。

  第四代英特尔至强可扩展处理器是这些虚拟机的基础,可确保最佳处理速度。

  NVIDIA Quantum-2 ConnectX-7 InfiniBand 每 GPU 400Gb/s,每个虚拟机 3.2 Tb/s 的跨节点带宽,确保跨 GPU 的无缝性能,与全球顶级超级计算机的功能相匹配。

  由于 PCIe Gen5 为每个 GPU 提供 64GB/s 的带宽,Azure 在 CPU 和 GPU 之间实现了显著的性能优势。

  DDR5 内存是这些虚拟机的核心,可提供更高的数据传输速度和效率,使其成为具有较大数据集的工作负载的理想选择。

  与前几代中的 FP8 相比,使用新的 8 位 FP16 浮点数据类型时,矩阵乘法运算的加速率提高了六倍。

  在 BLOOM 175B 端到端模型推理等大型语言模型中,加速速度提高了两倍,展示了它们进一步优化 AI 应用程序的潜力。

关注我们

最新资讯离线随时看 聊天吐槽赢奖品