「并发调度」共找到 212 篇相关文章
央企出手，让选大模型更容易了！中国移动发布MoMA聚合服务引擎
7月26日，中国移动在世界人工智能大会发布MoMA多模型与智能体聚合及服务引擎。它汇聚优质模型与智能体，为复杂任务提供方案，解决调度、意图理解、成本收益平衡等难题，还应用于灵犀智能体2.0。
刚刚！Thinking Machines Lab ｜ 长文揭开LLM推理不确定性真相！
Thinking Machines Lab发布《克服LLM推理中的不确定性》，揭示大语言模型推理不确定性原因，并非“并发 + 浮点”假设那么简单，主要是负载及batch size不确定所致，还给出让核函数有批次不变性的方法及实验结果。
Deepseek V4 Pro发布，除了多模态，满足我对模型的所有想象
DeepSeek官方文档更新模型日期，意味着DeepSeek V4 Pro正式版来临，已在官方API提供。它采用MoE设计，接口能力强，Agent能力得到大幅强化，评测成绩亮眼，价格实惠且有API兼容性，不过有并发限制，近期还将上调价格。
Copilot 创始工程师：大多数 AI 编码“就像开着法拉利去买牛奶一样
GitHub Copilot 创始工程师 Neel Sundaresan 正在构建 IBM Bob 智能编码工具，已有 8 万 IBM 开发者使用。他认为多数 AI 编码成本高，Bob 会按需调度模型。他还对智能体 AI 市场发表了看法，指出其有价值也有风险。
人才济济的大厂，为何频频产出垃圾代码？
科技大厂常产出垃圾代码，原因在于多数代码变更由菜鸟工程师完成，他们经验不足且常处于摸索状态。老手虽有优势，但过度依赖有问题。大厂为调度人才牺牲代码质量，这在AI时代隐患更大。
Ray异构融合底座重构数据管道：架构演进与万卡落地实践
文章指出大模型发展下，传统大数据引擎在多模态数据处理局限性凸显。腾讯基于Ray构建新一代数据管道，介绍了云原生调度与计算范式融合架构，详述容错、资源利用等方面优化实践，展示了重构收益。
软件开发人员认为无需关注却可能会影响其工作的那些事
在哥本哈根Goto大会上，Holly Cummins呼吁开发人员关注常被忽视却影响工作的问题。她以眼镜蛇问题等为例，强调设计决策可能有意外后果，提倡系统思维、统计素养，还提及并发技术和AI对就业市场的影响。
Mini-sglang-01：从Client到Scheduler的消息流转之旅
文章围绕轻量化大模型推理系统mini - sglang，详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程，分析核心组件功能、消息体系、正反向链路及优化策略，还预告后续分析调度和模型实现逻辑。
Pingpong Schedule并不是万能钥匙
SGLang社区开发者反馈，SM90 FP8 Blockwise Scaling Grouped GEMM从H20迁移至H800后性能下降。文章分析是Pingpong调度策略所致，因算力提升，其使TensorCore未充分利用、TMA效率低，建议用Cooperative策略。
大模型最难的AI Infra，用Vibe Coding搞定
Andrej Karpathy 力荐的 Vibe Coding 在 AI Infra 开发中常「水土不服」，存在上下文丢失、决策偏离、质量不稳定等问题。文章提出文本驱动的 Vibe Coding 方法，并以 Agentic RL 中的资源调度系统为例验证其有效性，还介绍了相关团队和工具。