产品应用8
作业帮：K8S 大模型流量调度创新方案
InfoQ
AI 摘要
作业帮技术团队：针对 Kubernetes 中大模型服务流量调度难题，推出含模型路由、并发控制等功能的模型网关方案，提升易用性、性能和稳定性，降低运维成本。
阅读原文 · InfoQ
Kubernetes环境中作业帮大模型服务流量调度优化实践
随着大语言模型应用渐广，Kubernetes 现有 Ingress 组件在大模型服务流量管理上有局限。作业帮提出创新调度方案，整合成模型网关，具备五项核心功能，提升了资源效率、稳定性和易用性。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文8
清华Jev-LDE：一次编辑暴涨ICL准确率
清华大学自动化系研究者针对大模型上下文学习（ICL）中示例选择成本高、效果不佳的问题，提出Jev-LDE方法，仅对初始检索示例做一次局部编辑，即可大幅提升1-shot准确率，推理成本增量很低。
机器之心
推荐文章9
三万字讲透大语言模型入门
本文是面向零基础的大语言模型入门长文，无需机器学习背景，只用简单例子讲清大语言模型的核心逻辑，覆盖从原理到产品化的全流程，适合新人系统学习。
腾讯技术工程
开源动态9
Perplexity自研CobbleDB替代DynamoDB
Perplexity核心搜索面向大模型检索，原有存储Amazon DynamoDB在高流量下存在延迟高、成本不可控问题，两名工程师两个月用Rust写出4万行自研CobbleDB，迁移后性能成本均大幅优化，后续计划开源。
InfoQ
算法论文8
人脑信号可引导大语言模型鲁棒推理
本文介绍发表于Nature Machine Intelligence的最新研究，系统探究语言模型与人脑推理表征的对应关系，验证人脑信号可引导提升语言模型推理鲁棒性，为脑启发AI提供了新研究路径。
机器之心