「调度器策略」共找到 1256 篇相关文章
刚刚！Thinking Machines Lab ｜ 长文揭开LLM推理不确定性真相！
Thinking Machines Lab发布《克服LLM推理中的不确定性》，揭示大语言模型推理不确定性原因，并非“并发 + 浮点”假设那么简单，主要是负载及batch size不确定所致，还给出让核函数有批次不变性的方法及实验结果。
重磅！Thinking Machines开山之作：大模型输出随机的根本原因被揪出，并开源终结方案
由OpenAI前CTO创办的Thinking Machines宣布上线技术研究博客，开篇文章揪出LLM输出随机的根本原因是负载及批次大小的非确定性变化，并给出系统性解法，还开源方案。
技术奇点与产业拐点：五位顶级投资人的共识与分歧｜甲子光年
8月21日「2025甲子引力X中国科技产业投资大会」上，五位顶级科技投资人探讨科技投资。有人从数据看到拐点，如中国Biotech公司License out金额超美；有人从细微处找真相，如科技企业盈利。大家还交流了创新定义、AI引爆点等。
DeepSeek V3.1 把 R1 融了，一堆新活：<think>开关、动态搜索、新ToolCall ...
DeepSeek在Hugging Face悄悄发布V3.1版本，将对话和推理模型合并为混合推理模型。它有显式推理、内置搜索、简化工具调用等特性，Aider测试成绩佳且成本低，但也存在战术回避、幻觉率升高等问题。
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
3.2K star！！高中生开发，媲美IDM，这款开源下载神器厉害了!
最近发现一款开源项目Ghost - Downloader - 3，由高中生独立开发，支持三平台，用Python编写且运行快，还融入AI技术自动调教下载策略。已有3.2K star，功能强大，安装和使用都简单。
揭示隐藏联系：RLHF/DPO即对比学习！
大型语言模型输出符合人类价值观是挑战，主流技术RLHF复杂、昂贵且不稳定，DPO简化流程但有训练崩溃问题。论文揭示RLHF/DPO即对比学习，提出MIO算法解决DPO崩溃，实验验证其性能优势。
OpenAI去年挖的坑填上了！奖励模型首现Scaling Law，1.8B给70B巨兽上了一课
全新奖励模型「POLAR」采用对比学习范式，摆脱对海量人工标注依赖，有强大Scaling潜力。它衡量训练与目标策略「距离」作奖励信号，用自动化合成数据预训练，小模型能超越大数十倍规模对手。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，在 GitHub 获近 15K Stars，月均下载超 10 万次，被多家行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享技术、挑战等，6 月 27 - 28 日他将在 AICon 演讲。