DeepSeek开源模型推动了大模型的高效化和轻量化,大大降低算力门槛,促进开源生态的繁荣发展。
近日,优刻得基于壁仞科技国产芯片的先进内存架构、多模型适配能力、广泛的数据精度支持以及解码能力,全面开展包括R1在内的DeepSeek全系列模型适配工作,以满足不同规模参数量模型的个性化部署需求:
轻量级模型(1.5B-8B):适配智能终端与边缘计算设备,实现低延时实时推理。
中大规模模型(14B-32B):服务于大规模企业级应用和高并发任务,满足数据安全与定制化需求。
大规模模型(70B):依托云端超算集群,支撑前沿AI研究与复杂任务处理。
推理效率已成为大模型发展的核心竞争力。优刻得凭借强大的技术能力和与壁砺TM系列进行适配兼容,仅用数小时即完成了对DeepSeek R1全系列蒸馏模型的支持,涵盖了从1.5B到70B各等级参数版本,包括LLaMA蒸馏模型和千问蒸馏模型。
该技术突破充分展示了国产算力厂商与国产芯片厂商的深度协同,体现了国产算力在AI推理任务中的高效兼容性和易用性,为开发者提供了高性能、低成本的大模型部署与开发解决方案。