英伟达：DeepSeek

IT之家 1 月 31 日新闻，英伟达本日发布，DeepSeek-R1 模子现已在 build.nvidia.com 上作为 NVIDIA NIM 微效劳预览版供给。DeepSeek-R1 NIM 微效劳能够在单个 NVIDIA HGX H200 体系上每秒供给多达 3,872 tokens。据先容，开辟职员能够测试跟实验利用顺序编程接口（API），该接口估计将很快作为可下载的 NIM 微效劳供给，这是 NVIDIA AI Enterprise 软件平台的一局部。DeepSeek-R1 NIM 微效劳经由过程支撑行业尺度 API 简化了安排。企业能够经由过程在其首选的减速盘算基本设备上运转 NIM 微效劳来最年夜限制地进步保险性跟数据隐衷。将 NVIDIA AI Foundry 与 NVIDIA NeMo 软件联合应用，企业还将可能为公用 AI 代办创立自界说的 DeepSeek-R1 NIM 微效劳。IT之家留神到，为便利种种范围的企业安排 AI 效劳，英伟达于 2024 年 3 月 3 月推出了 NIM（Nvidia Inference Microservices）云原生微效劳。NIM 是一套经由优化的云原生微效劳，旨在收缩上市时光，并简化天生式 AI 模子在云、数据核心跟 GPU 减速任务站的任何地位的安排。它应用行业尺度 API，形象化 AI 模子开辟跟出产包装的庞杂性，从而扩大开辟者池。