银行 · 东欧
33 → 43 tok/s
+0%MultiCortex 超越了银行设定的性能目标以及大型科技公司的基准结果。
背景
该银行拥有来自不同厂商的 GPU 集群,并要求达到 39 tokens/s。大型科技公司的专家工作两个月后达到 33 tokens/s。
MultiCortex 方案
MultiCortex 使用异构计算开发专用构建,在现有基础设施上优化 AI 执行。
成果
达到 43 tokens/s,超过 39 tokens/s 的目标以及大型科技公司的 33 tokens/s,实现 30% 的生产力提升。