11月17日，群众算力运营商乘方科技(北京)有限公司晓示：其倾力孵化的中枢时刻神气GPUFabric向群众开源。开源的GPUFabric成为群众首个“AI原生”的散播式推理委用收集 (AI Inference Delivery Network)，其策画理念如同“AI推理的CDN”，旨在通过智能路由和P2P时刻，以Rust驱动高性能、安全、散播式的AI推理委用，将AI模子推理才调安全、高效、低蔓延地委用给群众用户，为其草创的“算力银行”宏伟蓝图和“东谈主东谈主储算、东谈主东谈主享算”的下一代AI基础设施提供坚实的时刻底座。

期骗开源GPUFabric可把分离辞寰球各地、藏在内网的AI算力(GPU)举手之劳地安全地聚首起来，构成一个高性能的群众“AI职业收集”。它使算力提供者约略节略地向群众共享算力并提供职业，并把AI模子和数据永恒留在我方的电脑上，既安全又奥秘。而对 AI使用者，则非论身在那儿，齐能享受到离我方最近的、超低蔓延的AI推理职业。GPUFabric提供的时刻“粘合剂”，使得乘方科技的“算纽算联储”平台能将群众加入收集的、非论是大型数据中心一经个东谈主孝顺者的GPU资源聚首起来，酿成一个长入的算力池。这不仅为AI开发者提供了更低资本、更低蔓延的MaaS (模子即职业) 遴荐，也为算力统统者提供了“东谈主东谈主储算，东谈主东谈主享算”的门道，最终罢了算力财富的数字化流动与群众市集化运作。这无疑领衔了算力共享与AI职业收集的创新进度。

跟着大型谈话模子(LLM)和生成式AI应用的爆炸性增长，AI推理的需求正从聚合的大型数据中心向边际和用户侧快速下千里。有关词，随之而来的是高尚的蔓延、复杂的数据诡秘挑战以及难以握住的散播式算力资源。传统的CDN专为静态本色策画，无法知足AI推理这种高动态、高安全、低蔓延的臆测需求。GPUFabric的降生恰是为了握住这一痛点。它是一个高性能的散播式AI推理收集，允许AI模子实例安全地部署在企业独到基础设施、边际节点以至个东谈主设备上。通过其智能路由中枢(职业器休养)和轻量级客户端Agent，GPUFabric约略握住以下问题：

一、智能路由肯求：像CDN一样，自动将用户的AI推理肯求转发到地舆上最近、负载最低的可用模子实例。

二、保险模子诡秘：模子和推理数据永恒保留在算力提供者我方的基础设施中，通过TLS 1.3端到端加密传输，确保数据和模子财富的统统安全。

三、罢了NAT穿透：使处于内网或防火墙后的AI职业(如土产货动手的Ollama、vllm)无需公网IP即可安全地对外提供职业。

以开源时刻奠基“算力银行”宏伟愿景。GPUFabric的开源是乘方科技“算力银行”计策的关节一步。“咱们信托，AI的往常是散播式的，算力平权是罢了这一往常的前提，”乘方科技创始东谈主兼CEO姚俊梅博士默示，“要构建一个群众联通、全链贯通的‘算力银行’，让群众分离的GPU资源罢了价值最大化，咱们就必须有一套长入、高效、安全的‘算力结构网’(Fabric)。GPUFabric便是这套结构网的开源罢了。”

Rust与XDP驱动的极致性能与安全。为知足企业级AI推理的严苛条件，GPUFabric在时刻选型上绝不当协：

●Rust谈话中枢：神气基于Rust谈话和Tokio异步动手时构建，确保了内存安全、高并发和接近“零资本概述”的极致性能，罢了亚毫秒级的肯求路由。

●XDP内核级驻防：在Linux环境下，GPUFabric期骗XDP (eBPF) 时刻，在收集驱动步调级别罢了内核级包过滤和API密钥考证，能以超低蔓延回击DDoS膺惩，远在肯求到达用户空间应用之前。

●多层缓存与认证：系统勾搭PostgreSQL数据库、Redis缓存(减少约0%的数据库负载)和API Key考证，构建了高效且安全的多层认证体系。

●异步音讯部队：通过集成Apache Kafka，系统不错异步处理客户端心跳和肯求追踪，擢升了高并发场景下的系统鲁棒性。

门道图：迈向P2P羼杂架构。GPUFabric的往常发展蓝图雷同唯利是图。神气门道图露出，团队正在从隧谈的客户端--职业器模子转向更高效的P2P羼杂架构。通过集成libp2p库，期骗STUN/TURN/ICE公约罢了NAT穿透和自动中继，GPUFabric将约略：在用户和AI 推理节点之间斥地P2P平直聚首，进一步排斥中转蔓延。大幅缩短中心职业器的带宽资本。构建一个更具弹性、可蔓延性更强、真确去中心化的散播式AI臆测生态。

共建下一代AI基础设施。乘方科技这次将GPUFabric开源，不仅是时刻自信的体现，更是对其“聚首群众GPU资源，共建下一代 AI基础设施”理念的践行。不错预思：群众的开发者、AI考虑者、算力提供商以及对散播式系统感酷好酷好的时刻深爱者将加入 GPUFabric社区，共同孝顺代码、完善文档、探索应用场景。

动作群众算力运营商开云官网切尔西赞助商，乘方科技独创了交融“智能算力休养租借”、“算力财富证券化 (RWA)”及“算力交游”三大功能的“算纽算联储 (GPU Nexus)”新形态。