是德科技(NYSE: KEYS )近日推出KAI推理构建器(Keysight AI Inference Builder),这款仿真与分析平台旨在大规模验证针对推理进行优化的AI基础设施。是德科技将在NVIDIA GTC大会上展示该解决方案,并演示其在NVIDIA DSX Air AI工厂仿真环境中的运行情况,实现对AI数据中心的基础设施、架构和性能进行建模与优化。
KAI推理构建器是一款仿真与分析平台,旨在真实并发、真实规模和真实工作负载多样性的条件下,验证 AI 推理基础设施
随着AI行业从大语言模型(LLM)的训练转向部署,推理优化已成为影响投资回报率的关键因素。然而,推理行为具有高度动态性,难以进行仿真。传统的测试方法(如合成流量生成或GPU基准测试)无法准确再现AI推理在计算、网络、内存、存储和安全层面上的时延敏感工作负载行为。
KAI推理构建器通过重现实际推理工作负载模式,并建模行业特定的使用模式,填补了这一空白,对AI基础设施、应用和数据中心部署进行验证。该平台为AI云服务提供商、硬件供应商和应用开发人员提供了一个可扩展的解决方案,用于测量、验证和优化实际环境中的推理性能。
KAI推理构建器的主要优势包括:
• 专为推理时代打造:作为是德科技人工智能(KAI)产品组合的一部分,KAI推理构建器能够仿真大规模AI推理工作负载,并在实际环境中验证全栈部署,从而优化性能、扩展性和安全性。
• 面向行业与应用的特定基准测试:区别于通用仿真方式,KAI推理构建器可针对金融、医疗及其他垂直领域的AI模型,仿真行业特定的使用模式和LLM架构,使企业能够对不同类型AI数据中心部署中的基础设施和应用行为进行建模与分析。
• 端到端验证与优化:KAI推理构建器评估从用户请求到模型响应的整个推理工作流,通过在计算、网络和安全层早期识别并解决瓶颈,帮助团队减少昂贵的返工。
• 子系统隔离与精准根因定位:KAI推理构建器还支持仅客户端仿真,可在AI基础设施堆栈承受负载时,定位性能瓶颈的出现位置,从而实现针对性优化,减少资源过度配置,降低成本并提升整体效率。
• NVIDIA DSX Air集成与GTC现场演示:在NVIDIA GTC大会上,是德科技将展示KAI推理构建器与NVIDIA Air开箱即用的集成能力,通过在NVIDIA数据中心仿真环境中生成真实的推理工作负载,使运维人员能够在部署物理设备前对推理基础设施进行验证。
是德科技网络测试与安全解决方案副总裁兼总经理Ram Periakaruppan表示:“推理是释放AI投资回报率的关键,但如果系统资源在容量和性能方面未得到优化,就很难实现这一目标。KAI推理构建器提供可见性,全面展示实际环境中的全栈推理性能,使客户在硬件上架前即可验证并优化部署方案。本次在NVIDIA GTC大会上使用NVIDIA Air平台展示这一功能,将展示企业如何在降低风险和成本的同时,加速迈向生产。”
NVIDIA网络业务副总裁Amit Katz表示:“随着AI数据中心规模扩展至前所未有的水平,部署前验证已从最佳实践转变为关键任务要求。KAI推理构建器与NVIDIA DSX Air的集成,为消除性能波动提供了关键环境支持,帮助NVIDIA AI工厂合作伙伴和客户能够仿真实际推理工作负载,并预先解决瓶颈,确保经过优化的AI服务能够快速推向市场。”
3月16日至19日,在圣何塞举行的NVIDIA GTC大会上,是德科技将在NVIDIA展台的C101展位以及是德科技展台(3217)展示KAI推理构建器,包括NVIDIA Air AI工厂的仿真演示。
资源
• 产品页面:KAI推理构建器
• 宣传页面:KAI推理构建器发布
• 数据表:KAI推理构建器
• 解决方案简介:推理:AI的转折点
• 博客:KAI推理构建器发布
• 博客:Prompt的形态
• 博客:推理堆栈也能“说话”
• 博客:获取第一个AI Token的最快路径
关于是德科技
是德科技(NYSE:KEYS)启迪并赋能创新者,助力他们将改变世界的技术带入生活。作为一家标准普尔 500 指数公司,我们提供先进的设计、仿真和测试解决方案,旨在帮助工程师在整个产品生命周期中更快地完成开发和部署,同时控制好风险。我们的客户遍及全球通信、工业自动化、航空航天与国防、汽车、半导体和通用电子等市场。我们与客户携手,加速创新,创造一个安全互联的世界。了解更多信息,请访问是德科技官网 www.keysight.com/。