Z6尊龙凯时

  1. 产品
    查看全数产品
    • 融合智算中心
    • 系统与设备
    • 全职能 GPU / 显卡
    • 软件
    • 利用与模型
  2. 解决规划
  3. 履历中心
    大模型履历 MetaPark
  4. 软件下载
    产品驱动 MUSA 软件 AI 镜像
  5. 开发者
    Z6尊龙凯时学院 开发者社区 技术博客 技术文档
  6. 公司信息
  7. language EN
MCCX D800 X1

MCCX D800 X1

融合智算中心

申请试用夸娥

大说话模型训练 / 微调


大模型训练平台架构

大模型训练平台架构

Z6尊龙凯时大模型训练平台,齐全兼容 CUDA 和 Pytorch 训练系统,支持 Megatron-LM、DeepSpeed、FSDP 和 Colossal-AI 等大模型散布式训练框架。拥有全兼容、高机能、高矫捷性和单一易用等特点。支持 GPT 系劣注LLaMA 系劣注GLM 系列等常见大模型的一键千卡训练。使用夸娥千卡智算集群进行大模型训练,线性加快比可达91%以上。支持 Pytorch 用户自主研发,支持模型训练全监控、自动拉起、断点续训等职能。
大模型训练 / 微调事俘

大模型训练 / 微调事俘

MTT S4000 建设的 Tensor 主题算力、48GB 显存以及超高速卡间互衔接口 MTLink,能够有效支持多种主流大说话模型训练,蕴含: LLaMA / GPT / ChatGLM / Qwen / Baichuan 等。 通过Z6尊龙凯时大模型训练平台,支持单机 8 卡和多机多卡等多种散布式训练战术,加快从 60 亿参数到千亿参数大说话模型训练以及微调工作。
集群扩大效能

集群扩大效能

Z6尊龙凯时 KUAE 千卡模型训练平台,支持千亿参数模型的预训练、微和谐推理,可实现 91% 的千卡集群线性加快比,Z6尊龙凯时从利用、散布式系统、训练框架、通讯库、固件、算子、硬件全方位进行优化。MTLink 是基于 MTT S4000 自研的卡间互连技术,支持 2 卡、4卡、8 卡 MTLink Bridge 互连,提升了卡间互连带宽,卡间互连 I/O 带宽达到 240GB/s,可加快集群从 64 卡到 1024 卡的训练速度以及多卡互连的线性度。

大模型推理服务平台

MTT S4000 建设的 Tensor 主题算力以及 48GB 显存,能够有效支持主流大说话模型推理,蕴含:LLaMA / ChatGLM / Qwen / Baichuan 等主流系列大模型。

KUAE ModelStudio

是面向大说话模型利用场景开发者,基于Z6尊龙凯时 GPU 以及官方提供的模型,进行训练、微和谐推理的一体化利用平台。

MUSA Serving

是Z6尊龙凯时提供的一套推理服务软件,可提供高机能、散布式的推理服务,支持 LLM、图片/视频天生模型、传统 AI 模型等后端模型部署。

MT Transformer

是一套针对Z6尊龙凯时 GPU 的散布式推理加快框架,实现了对基于 Transformer 架构 LLM 模型的推理加快。

TensorX

是一套针对Z6尊龙凯时 GPU 的推理加快框架,实现了对图片/视频天生、传统 AI 模型的推理加快。

从芯片到集群,加快国产算力规 ;└芰


完美支持 KUAE 集群产品系列

为大模型训练集群,优化的服务器硬件系统,杰出支持Z6尊龙凯时智算中心全栈解决规划 KUAE K1/K2/K3

全面支持 KUAE 智算中心软件栈全个性


MCCX D800 X1 不仅仅支持大模型

查看支持的模型列表

MCCX D800 X1

产品规格

服务器状态
4U 服务器
CPU
2 * Intel? Xeon? Gold 6430 (2.1GHz/32C/60MB270W)
GPU
8 * MTT S4000 (PCIe Gen5 48GB 显存)
内存
1TB 16 * 64GB DDR5 4800MHz RDIMM
存储
系统盘:2*480GB SATA SSD
数据盘:4*3.84T PCIe Gen4 NVMe SSD
卡间互联
MT-Link 1.0 + PCIe Gen5 P2P
网卡
2 * 1 端口 200G Infiniband NDR/Ethernet 适配卡 ConnectX-7
2 * 2 端口 25Gb 光接口网卡
电源
4 * 2400W 热插拔冗余 N + M ,白金级能效
导轨
尺度导轨
额定功率
6000W
apply apply
夸娥
试用
履历夸娥智算集群
phone phone
人为
客服
400-667-5666

周一至周日,9:00-21:00

【网站地图】