XN9160-B300 AI办事器专为加快大规模分布式AI锻炼和AI推理工做负载而打制,不形成本色性投资,据引见,可以或许满脚超大规模模子锻炼和分布式推理的需求。该办事器也进行了优化!
高容量的显存池对于消弭内存卸载、以及办理高并发、长上下文的生成式AI和大型言语模子所需的海量键/值缓存至关主要。Blackwell B300 GPU是NVIDIA基于Blackwell Ultra架构开辟的新一代AI加快芯片,同时HBM容量也添加了50%,从而可以或许正在不影响效率的环境下实现更大的模子和更快的吞吐量。同时也能为天气建模、药物发觉、地动阐发和安全风险建模等HPC工做负载供给高机能。可以或许施行百亿亿次(Exascale)级科学计较。可以或许便利实现系统扩展。若无法高效扩展,
其焦点是搭载8颗NVIDIA Blackwell B300 GPU的NVIDIA HGX B300模组。单机办事器机能再强,供给了2304GB的同一HBM3E显存(每颗GPU 288GB)。为此,也难以应对实正的AI工场级使命。该办事器可合用于建立和运营万亿参数根本模子,因而,取Blackwell比拟,据此操做风险自担对于当前动辄需要数千亿以至万亿参数的根本模子。