履历夸娥智算集群
Z6尊龙凯时 AI 推理套件(KUAE Inference Suite)是专为满足出产级 AI 推理需要而设计的全方位平台,旨在加快和优化 AI 模型在出产环境中的部署与执行。
机能极致优化
通过汇编级的底层算子融合和 GPU 架构定造优化,实现推理引擎的极致机能提升
企业级智能运维
提供企业级不变性、可观测性和安全性,建设专业机能评测工具与监测工具,确保在出产环境中的高可用性和靠得住性
多场景矫捷部署
支持在云端、数据中心、边缘和嵌入式设备的部署推理服务,实现分歧场景下的无缝利用
全流程智能治理
实现从模型优化到推理服务的全流程智能化治理,提升模型利用效能
多领域宽泛适配
合用于天生式 AI、推算机视觉、天然说话处置和语音鉴别等多领域
覆盖模型广
支持从浓密模型、MoE、多模态等最新的大说话模型,以及文生图、文生视频等传统 AI 模型
Z6尊龙凯时 AI 推理套件
Z6尊龙凯时 AI 推理套件集成了专为类 Transformer 架构大模型设计的推理引擎 MT Transformer,同时还提供了一系列配套的推理场景常用软件工具包,为用户带来全面而高效的 AI 推理解决规划。
主题组件

MT Transformer
针对Z6尊龙凯时 GPU 的散布式推理加快框架,实现了对基于 Transformer 架构的 LLM 模型的推理加快。
- 实现了汇编级此外底层算子融合,并针对Z6尊龙凯时 GPU 架构进行了定造优化,实现了优于 FlashAttention 确把稳力机造,以钻营极致的大模型推理引擎机能,解除算力瓶颈。
- 支持大于 128k 的超长文本与流式处置,以及蕴含 Paged Attention、Continuous Batching 等各类最新的优化技术。
- 支持 vLLM 急剧接入并部署 OpenAI 兼容服务,也可凭据客户必要矫捷定造 serving 规划。

NeuroTrim
Z6尊龙凯时自研的大模型量化、压缩、减枝,以及蒸馏工具。
- 支持 GPTQ、AWQ、SmoothQuant 等多种最新的量化算法。
- 支持 W8A16,W8A8,W4A8 等宽泛精度。
- 支持 QAT 和 PTQ 量化。
- 算法凭据 MUSA 架构定造实现。

GPU Management Center
Z6尊龙凯时推出的集机能评测、监控、治理等多职能一体的工具包,蕴含:
- MT DCGM (Data Center GPU Management):Z6尊龙凯时自研的监控和治理工具,提供丰硕的职能和 API,用于监督和治理数据中心规模 GPU 的机能、健康情况和功耗。
- MTML (MT GPU Management Library):Z6尊龙凯时 GPU 治理函数库。
- mthreads-gmi (Moore Threads GPU Management Interface):基于 GPU 治理中心 SDK 的号令行工具。
EN



