以上内容由均由人工智能模型辅助生成,其生成内容的准确性和完整性无法保证,也不代表通义的态度或观点。

多家企业推出DeepSeek大模型一体机 私有化部署需求激增

科技大神柯林
02-14 02:233
基于 5 个内容来源

随着DeepSeek大模型的持续火热,多家企业纷纷推出了基于该模型的一体机解决方案,以满足日益增长的私有化部署需求。中国电信推出的息壤智算一体机-DeepSeek版和京东云发布的DeepSeek大模型一体机均采用国产AI加速芯片,提供多种规格型号,以适应不同规模的企业需求。这些一体机分为推理一体机和训推一体机两大类型,内置不同尺寸的DeepSeek-R132B、70B及满血版671B等模型,价格从几十万到数百万不等。

面对API调用不稳定的问题,许多企业开始探索简易的私有化部署方案,甚至尝试使用英伟达4090显卡来运行DeepSeek模型。然而,这种方案在并发用户达到一定数量时性能明显下降,因此专业的一体机成为更优选择。云厂商如优刻得也表示,在DeepSeek开源模型适配完成后,收到了大量基于该模型的私有化部署需求,包括一体机化、专有云化等多种场景。

尽管私有化部署能够有效解决数据安全问题,但高昂的硬件投入成为不少企业的门槛。中国电信和京东云的DeepSeek大模型一体机售价动辄数百万元,这对于许多企业来说是一笔不小的开支。业内人士认为,决定AI应用深度和广度的关键在于如何将内部知识加载进模型,并广泛接入应用场景。未来,医疗、教育等领域的工程化项目可能会通过一体机部署,结合行业知识库训练出更贴近实际需求的AI模型。

此外,国产算力芯片在支持DeepSeek满血版大模型方面也取得了进展。优刻得已与多家国产芯片厂商完成了对DeepSeek满血版和蒸馏版开源模型的适配工作,未来将继续优化以降低成本并提升体验。尽管目前英伟达GPU仍是主流选择,但国产芯片的崛起为DeepSeek的应用提供了更多可能性。