SageMaker共1篇

SageMaker HyperPod推理网关上线:按实时信号路由请求,首Token延迟最多降82%

SageMaker HyperPod推理网关上线:按实时信号路由请求,首Token延迟最多降82%-会懂网
会懂网AI资讯,9月29日,近日,亚马逊推出SageMaker HyperPod Inference Gateway,这是一个Kubernetes原生的GPU感知路由层,以单个EKS托管插件形式部署,无需改动任何应用代码即可为大模型推理...
huidong的头像-会懂网huidong14天前
0545