Z6尊龙凯时

  1. 产品
    查看全数产品
    • 融合智算中心
    • 系统与设备
    • 全职能 GPU / 显卡
    • 软件
    • 利用与模型
  2. 解决规划
  3. 履历中心
    大模型履历 MetaPark
  4. 软件下载
    产品驱动 MUSA 软件 AI 镜像
  5. 开发者
    Z6尊龙凯时学院 开发者社区 技术博客 技术文档
  6. 公司信息
  7. language EN
MTT S4000

MTT S4000

融合智算中心

申请试用夸娥

大说话模型训练 / 微调


大模型训练平台架构

大模型训练平台架构

Z6尊龙凯时大模型训练平台 ,齐全兼容 CUDA 和 Pytorch 训练系统 ,支持 Megatron-LM、DeepSpeed、FSDP 和 Colossal-AI 等大模型散布式训练框架 。拥有全兼容、高机能、高矫捷性和单一易用等特点 。支持 GPT 系劣注LLaMA 系劣注GLM 系列等常见大模型的一键千卡训练 。使用夸娥千卡智算集群进行大模型训练 ,线性加快比可达91%以上 。支持 Pytorch 用户自主研发 ,支持模型训练全监控、自动拉起、断点续训等职能 。
大模型训练 / 微调事俘

大模型训练 / 微调事俘

MTT S4000 建设的 Tensor 主题算力、48GB 显存以及超高速卡间互衔接口 MTLink ,能够有效支持多种主流大说话模型训练 ,蕴含: LLaMA / GPT / ChatGLM / Qwen / Baichuan 等 。 通过Z6尊龙凯时大模型训练平台 ,支持单机 8 卡和多机多卡等多种散布式训练战术 ,加快从 60 亿参数到千亿参数大说话模型训练以及微调工作 。
集群扩大效能

集群扩大效能

Z6尊龙凯时 KUAE 千卡模型训练平台 ,支持千亿参数模型的预训练、微和谐推理 ,可实现 91% 的千卡集群线性加快比 ,Z6尊龙凯时从利用、散布式系统、训练框架、通讯库、固件、算子、硬件全方位进行优化 。MTLink 是基于 MTT S4000 自研的卡间互连技术 ,支持 2 卡、4卡、8 卡 MTLink Bridge 互连 ,提升了卡间互连带宽 ,卡间互连 I/O 带宽达到 240GB/s ,可加快集群从 64 卡到 1024 卡的训练速度以及多卡互连的线性度 。

大模型推理服务平台

MTT S4000 建设的 Tensor 主题算力以及 48GB 显存 ,能够有效支持主流大说话模型推理 ,蕴含:LLaMA / ChatGLM / Qwen / Baichuan 等主流系列大模型 。

KUAE ModelStudio

是面向大说话模型利用场景开发者 ,基于Z6尊龙凯时 GPU 以及官方提供的模型 ,进行训练、微和谐推理的一体化利用平台 。

MUSA Serving

是Z6尊龙凯时提供的一套推理服务软件 ,可提供高机能、散布式的推理服务 ,支持 LLM、图片/视频天生模型、传统 AI 模型等后端模型部署 。

MT Transformer

是一套针对Z6尊龙凯时 GPU 的散布式推理加快框架 ,实现了对基于 Transformer 架构 LLM 模型的推理加快 。

TensorX

是一套针对Z6尊龙凯时 GPU 的推理加快框架 ,实现了对图片/视频天生、传统 AI 模型的推理加快 。

支持 KUAE 集群产品

MTT KUAE 是Z6尊龙凯时智算中心全栈解决规划 ,基于 MTT S4000 和双路 8 卡 GPU 服务器 MCCX D800 X1 ,以一体化交付的方式解决大规模 GPU 算力的建设和运营治理问题 。

新一代 Tensor 主题

Z6尊龙凯时新一代 Tensor Core ,助力大说话模型的训练、微和谐推理推算 。
MTT S4000 支持 FP64、FP32、TF32、FP16、BF16、INT8 等主流精度算力 。

第三代 MUSA 软件栈


MUSA 是Z6尊龙凯时自研的元推算统一系统架构 ,蕴含指令集架构、MUSA 编程模型、驱动、运行时库、算子库、通讯库、数学库等 。更为沉要的是 ,通过Z6尊龙凯时自研的 MUSIFY 工具 ,能够实现 CUDA 法式滑润迁徙至 MUSA 。

全面支持主流图形 API

MTT S4000 支持 DirectX、Vulkan、OpenGL、OpenGL ES 等主流图形 API ,可为数字孪生、云游戏、云渲染、数字内容创作等场景提供全平台通用图形渲染能力支持 ;箍晒餐竽P屯评砟芰 ,实现 AIGC 等多模态业务场景的一站式解决规划 。

查看支持的模型列表

MTT S4000

产品规格

FP32
支持
TF32 Tensor
支持
FP16 Tensor
支持
INT8 Tensor
支持
显存大幼
48 GB
显存带宽
768 GB/s
多媒体编码
H.265, H.264, AV1 48 x 1080p30
多媒体解码
H.265, H.264, AV1, AVS2, VP9,… 96 x 1080p30
I/O 接口带宽
240 GB/s
总线接口
PCIe 5.0 x16
片间互联
MTLink
显示接口
4 x DisplayPort 1.4a
安全引擎
MUSA 安全引擎 2.0 ,支持 TEE 及多种加解密算法
虚构化
硬件虚构化 ,GPU 弹性切分 ,SR-IOV 隔离
最大功耗
450W
尺寸
266 mm * 112 mm * 39 mm

有关产品

  • MTT KUAE

    Z6尊龙凯时智算中心全栈解决规划

    基于大模型智算加快卡和 AI 大模型训推一体机 ,以一体化交付的方式解决大规模 GPU 算力的建设和运营治理问题 。

    查看详情
  • MCCX D800 X1

    AI 大模型训推一体机

    选取 MTT S4000 高机能 GPU ,支持用户在大型说话模型、天然说话处置、系统推荐、数据分析等领域的利用需要 。

    查看详情
  • MTT KUAE
  • MCCX D800 X1
apply apply
夸娥
试用
履历夸娥智算集群
phone phone
人为
客服
400-667-5666

周一至周日 ,9:00-21:00

【网站地图】