当前位置： CompoTech China > 业界资讯 >
随着Deepseek大模型的横空出世，预计对整个工业领域会产生颠覆性的影响力，尤其针对边缘部署部分独创动态剪枝与量化技术，DeepSeek大模型支持在边缘设备低功耗运行（最低适配5 TOPS算力硬件），推理速度提升3倍。
研华选择了多款基于英伟达技术边缘AI产品，针对目前DeepSeek-R1 系列的蒸馏模型，从1.5B~32B，进行了对应机型测试，下面让我们来看下最新测试数据！
微型边缘端推理应用（算力100 TOPS）：
推荐型号：
基于ARM平台AI Box：ICAM-540 /MIC-711 / MIC-713
支持DeepSeek-R1蒸馏模型版本：
☑ DeepSeek-R1-Distill-Qwen-1.5B
☑ DeepSeek-R1-Distill-Qwen-7B
☑ DeepSeek-R1-Distill-Llama-8B
测试型号：MIC-711
*同时在MIC-711-OX4A 开启了Super Mode来跑同样的模型, 在整体效能上有提升了
将近25%, 这也表示了 Jetson super mode在AI应用上有明显的效能增强。
边缘端推理应用（算力100-500 TOPS）
推荐型号：
基于ARM平台Edge AI Box：MIC-732/MIC-733/736
基于X86平台 Edge AI Box：MIC-770V3
Edge AI 服务器 ：HPC-6240/HPC-7420/SKY-602E3 （支持1-4张GPU卡）
支持DeepSeek-R1蒸馏模型版本：
☑ DeepSeek-R1-Distill-Qwen-1.5B
☑ DeepSeek-R1-Distill-Qwen-7B
☑ DeepSeek-R1-Distill-Qwen-14B
☑ DeepSeek-R1-Distill-Llama-8B
测试型号：MIC-770V3
*DeepSeek-R1:32b于此系统配置下使用约18GB VRAM，可正常运行，但相同LLM model放在较高阶显卡上测试时VRAM使用达到21GB 故猜测模型会自动调整参数降低VRAM使用量，但在效能会有其影响。
高性能边缘AI服务器（算力500-1000+ TOPS）
推荐型号：
Edge AI 服务器 ：HPC-6240 /HPC-7420/SKY-602E3 （支持1-4张GPU卡）
支持DeepSeek-R1蒸馏模型版本：
☑DeepSeek-R1-Distill-Qwen-14B
☑DeepSeek-R1-Distill-Qwen-32B
☑DeepSeek-R1-Distill-Llama-70B
测试型号：SKY-602E3
研华全栈式边缘AI平台，以“边缘原生智能”重塑工业生产力
研华打造了全栈式边缘AI硬件矩阵，从微端到边缘云：包括AI模块、AI板卡、AI 加速卡、AI 嵌入式和工业平台，AI边缘平台、边缘AI服务器，乃至边缘整机柜服务器。算力范围从5 TOPS至2000+TOPS，用户可根据业务场景灵活选型，实现精度与效率的最佳平衡。研华希望与伙伴携手，以“边缘原生智能”重塑工业生产力！
如果您对研华边缘AI平台产品感兴趣，可联系研华在地业务，或者关注研华官方微信【研华工业物联网】了解更多产品咨询。
关于研华 –研华科技成立于1983年，以“智能地球的推手”作为企业品牌愿景，一直专注于工业物联网、嵌入式物联网及智慧城市三大市场。为迎接物联网、大数据与人工智能的大趋势，研华提出以边缘智能和WISE-PaaS工业云平台为核心的物联网软、硬件解决方案，协助客户伙伴串接产业链。研华业务分布全球27个国家，拥有约8,300名员工，凭借强大的技术服务及营销网络，为客户提供本土化响应的便捷服务。此外，研华积极推进产业伙伴共创，加速AIoT生态圈布建与发展。
研华服务电话：800-810-0345（座机）/400-810-0345（手机）
研华官方网站：www.advantech.com.cn
微信服务号：研华工业物联网
本月热点 HOME
