AI网络

借助安全可扩展的前端网络加速AI基础设施

 人工智能网络

人工智能基础设施发展迅速,涵盖生成式模型、智能体应用、主权人工智能以及GPU即服务平台。为了高效且安全地连接用户、数据源和推理集群,企业需要可扩展的网络解决方案。超大规模服务商开发定制化技术栈,而其他企业则在从零构建或采用我们的人工智能网络等专用解决方案之间做出选择。

该解决方案由英伟达(NVIDIA)为BlueField-3数据处理单元(DPU)开发,集成了虚拟服务路由器(VSR)和主机网络加速器(HNA)。它为基于Kubernetes的人工智能(AI)工作负载提供了低延迟、多租户的网络服务。

提升GPU利用率

将网络工作负载迁移到 BlueField-3 后,每台服务器最多可释放 20 个 CPU 核心。这直接转化为更多的模型执行、训练和推理能力,既提升了基础设施的投资回报率,又无需额外投入硬件就能更快实现人工智能成果。

更快的人工智能服务

凭借亚毫秒级的延迟和专用卸载路径,AI 平台能够提供实时、高响应性的服务。无论是对话式界面、视觉人工智能,还是检索增强生成流程,用户都能享受到极低延迟和高吞吐量的体验,这对于交互式人工智能而言至关重要。

零信任多租户

借助 VRF 分段、访问控制列表(ACLs)和第四层(L4)防火墙等技术,每个客户或工作负载都能实现安全隔离。这保障了共享 GPU 环境中的合规性与隐私性,同时支持多部门、多客户的使用场景,且不会出现数据泄露或策略冲突。

弹性扩展

该解决方案原生集成于 Kubernetes,可在新增 Pod 或租户时自动扩展策略、路由路径和服务覆盖层,既最大限度减少了运维负担,又能在流量激增期间保持性能的一致性。

更低的基础设施成本

用软件定义、由 DPU 加速的网络替代成本高昂且僵化的硬件设备,既能减少资本支出,也能降低运营开支。企业不仅能在设备采购上节省成本,还能在能源消耗、机柜空间占用以及管理开销方面实现节约。

更智能的成本控制

对感知提示流量路由的支持,使运营商能够将推理请求与成本效益最高或符合策略的模型进行匹配。这减少了 GPU 资源浪费,并支持基于服务等级协议(SLA)的服务层级,使网络行为与业务目标保持一致。
denflinkegrafiker computer 8490390 1920

两个关键组件:虚拟服务路由器(VSR),它通过IPsec加密、网络地址转换(NAT)、防火墙和虚拟私有云(VPC)互连功能,充当集群的安全出入口;以及主机网络加速器(HNA),这是一款基于数据平面开发套件(DPDK)的路由器,可终结虚拟扩展局域网(VXLAN)或分段路由IPv6(SRv6)覆盖网络,并在Kubernetes集群中确保虚拟私有云(VPC)级别的流量隔离。

专为规模化与极速打造的AI优化前端网络

随着人工智能成为企业创新的核心,云服务提供商和基础设施领域的领导者正在为实时助手、多模态推理管线等新工作负载扩展其环境。这些环境中的高性能GPU集群需要为用户、应用程序接口、数据摄取和训练编排提供快速、安全的前端访问。

利用英伟达 BlueField-3 为人工智能提供网络支持,在推理运算起始的网络边缘实现基础设施级别的安全性、可观测性与自动化管理。

他们的解决方案集成了用于安全出入口的虚拟服务路由器(VSR)和主机网络加速器(HNA),后者是一款基于DPDK的路由器,支持VXLAN或SRv6叠加技术,可在Kubernetes集群中实现VPC级别的流量隔离。

部分应用场景

专家为你的团队提供指导,开展培训,助力你自信地进行网络管理。强大的软硬件供应商生态系统,确保与顶级商用现货(COTS)服务器及组件兼容,实现灵活且优化的性能表现。此外,全球合作伙伴网络可提供本地化支持,为你量身定制资源与协助,助力你达成移动网络安全目标,确保取得高效且有成效的成果。

企业 AI

在多个团队或部门内部部署 AI 的企业,可以通过动态网络叠加技术实现流量隔离与资源分配。研发、财务等敏感部门的流量拥有独立、可审计的传输路径。

混合部署与主权 AI

业务负载同时运行在公有云、本地机房或者主权管控域内时,可提供安全的叠加网络。这既能让 AI 服务满足数据本地化法规要求,又不会损失性能。

合规导向的流水线

医疗、金融、政府领域的推理服务需要满足严苛的审计与数据保护要求。提供传输中加密、在线遥测和流量日志能力,助力满足 GDPR、HIPAA、ISO 27001 等规范,且不牺牲性能。

推理服务链

AI 请求入站后,可依次经过防火墙、NAT、令牌过滤、日志记录等一系列网络服务,再送达大模型节点。该方案适用于强监管环境,支持自定义过滤规则与精细化可观测能力,同时保持低延迟响应。

GPU 即服务(GPU‑aaS)平台

GPU 即服务服务商可以为租户创建独立 VPC,配置租户专属防火墙与 NAT 策略,并提供网络层面的 SLA 保障。依托 BlueField‑3 DPU 加速,即便在共享基础设施环境中,每个租户也能获得稳定可预期的性能。