Google Gemini API 新增双推理模式,开发者可灵活选成

据会懂网了解,Flex 模式是成本优先的模式,这个模式的价格更低,适合那些批量推理、异步处理、内容审核之类的场景,这些场景对延迟的要求不高,只要能处理完任务就行,用 Flex 模式的话,能省下不少的成本。比如,你有大量的文本要做摘要,或者有很多图片要做审核,这些任务不需要实时的响应,你就可以用 Flex 模式,花更少的钱,完成同样的任务。

而 Priority 模式则是可靠性优先的模式,这个模式的延迟更低,更稳定,适合那些实时对话、关键业务、在线服务之类的场景,这些场景对响应速度的要求很高,不能有延迟,用 Priority 模式的话,就能保证服务的稳定性和低延迟。比如,你做了一个聊天机器人,用户在和它对话的时候,肯定希望它能马上回复,不能等半天,这时候你就可以用 Priority 模式,保证用户的体验。

Google 方面表示,这两个模式的推出,是为了满足不同开发者的不同需求,过去,Gemini API 只有一种模式,不管你是什么场景,都用一样的价格和一样的服务,这对于很多成本敏感的开发者来说,不太友好,而现在,有了这两个模式,开发者就可以根据自己的场景,选择最适合自己的,既能保证体验,又能控制成本。

很多开发者都表示,这个更新非常实用,过去,他们为了控制成本,不得不把一些非实时的任务,转到其他更便宜的模型那里去,现在,不用了,直接用 Gemini 的 Flex 模式就行,这样一来,他们就不用切换模型,也不用做额外的适配,节省了很多的工作量。

来源:Google AI Blog

© 版权声明
THE END
喜欢就支持一下吧
点赞8 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容