英伟达开源本地算力调度工具PAIR,闲置电脑组AI集群

会懂网AI资讯,9月5日,9月3日,英伟达在IFA 2026柏林展会上推出开源本地AI调度工具PAIR(Personal AI Router)。该工具可将局域网内闲置的RTX显卡电脑、DGX Spark以及苹果M4及以上Mac设备组成本地推理集群,为Ollama、LM Studio等本地模型服务提供统一请求入口。

英伟达开源本地算力调度工具PAIR,闲置电脑组AI集群

PAIR瞄准的是多智能体场景的新瓶颈。当一个主智能体把复杂任务拆解给多个子智能体,用户眼中的”一个任务”在推理层可能变成几十次独立的模型调用。若全部指向同一台机器,请求会挤占相同执行槽位排起长队,而同一网络里的工作站、笔记本或DGX Spark可能正闲置。
PAIR不是新的推理引擎,而是虚拟推理路由器。Ollama或LM Studio仍在被选中的机器上真正执行模型,PAIR负责发现参与设备、判断节点是否就绪、调度独立任务并把响应回传给发起请求的应用。它代理Ollama与LM Studio的既有接口,因此智能体框架无需任何改动即可接入。
官方演示中,一项包含5个子智能体的工作负载在单台RTX Spark笔记本上平均耗时18分钟,而在由RTX Spark笔记本、DGX Spark与RTX 5090组成的三设备集群上缩短至8分48秒。英伟达强调这仅是配置特定的示例,非正式基准。
需要明确的是,PAIR做的是工作负载级并发,不池化显存、不把多张GPU合并成一块虚拟加速器、也不切分单个请求——每次请求分配给一个合格节点并留在那里直至完成。设备通过六位配对码加入,节点间通信采用双向TLS加密,代码以Apache 2.0协议开源。

© 版权声明
THE END
喜欢就支持一下吧
点赞6 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容