「推理框架开发」共找到 4661 篇相关文章
vLLM 新特性：批量大小不再影响模型输出
vLLM 推出批量不变推理功能，解决大模型推理中相同输入在不同批量大小下结果不同的问题。设置 `VLLM_BATCH_INVARIANT=1` 可保证输出一致，技术实现含三部分，虽有性能开销但换来了结果确定性。
她们估值840亿，刚发了第一个AI成果
估值超120亿美元的Thinking Machines发布首篇研究博客，由创始人、OpenAI前CTO Mira Murati宣发。研究聚焦克服大语言模型推理中的不确定性，探讨推理结果难复现的根源，还介绍解决办法并验证效果。
全球首次，Transformer「混血」速度狂飙65倍！英伟达已下注
康奈尔、CMU等机构研究者提出「混合体」Eso - LM，融合自回归和离散扩散模型范式。它引入KV缓存机制，推理速度相比标准MDM提升65倍，在速度与质量平衡上超越BD3 - LM，引发AI领域关注，英伟达或押注此方向。
DeepSeek比你更懂反思！谷歌重磅发现，智能的本质竟是一场社会化对话
谷歌等机构研究发现，像DeepSeek - R1等推理模型思考复杂问题时，内部模拟多角色辩论赛，形成思维社会机制，让AI准确率提升，证明智能本质或是内化社会互动，还为调优AI提供新方法。
马斯克xAI正式入局世界模型，目标：明年搞出个AI生成的大游戏
马斯克的xAI入局世界模型开发，对手是Meta和谷歌等。其从英伟达挖专家，目标是开发先进AI系统，还计划明年底前发布AI生成游戏。不过构建世界模型挑战大，游戏行业有人对此谨慎。
刚刚，GPT-5 横扫编程奥林匹克，5 小时打穿 12 题！人类最强队伍只能做出11道
2025年国际大学编程竞赛世界总决赛（ICPC）上，GPT - 5和OpenAI实验推理模型5小时解完12道题，超越人类最强队伍。Google DeepMind的Gemini 2.5 Deep Think获10/12。此成绩展示推理系统惊人进步。
其实，扩散语言模型在最终解码之前很久，就已确定最终答案
随着扩散语言模型（DLM）发展，它成自回归（AR）模型有力替代。但实际推理慢于 AR 模型。研究者发现早期答案收敛现象，提出 Prophet 策略，实验显示其能在保持高质量生成时显著加速推理。
合成数据>人工数据，绝对性能暴涨超10个点！仅需任务定义，高效微调大模型
为解决基础模型在专业领域表现不佳、依赖人工标注数据的难题，北大、MIT等机构提出「合成数据强化学习」框架。该框架仅需任务定义，能生成合成数据微调模型，在多领域基准上性能提升显著，代码已开源。
AI coding 智能体设计
文章从分析Gemini - CLI源代码入手，解读AI coding工具智能体设计。涵盖用户提示词预处理、工具注册与调用、架构设计、预置提示词等内容，还对比了Gemini - CLI和Claude Code可扩展性设计，介绍规约驱动开发模式。
“神级模型”Gemini 3.0实力刷屏！联手谷歌全新氛围编程工具重塑前端，如今只差官宣
谷歌发布“vibe coding”版AI Studio，产品形态向可视化构建转变。有迹象显示Gemini 3.0将发布，二者结合或重塑前端开发。AI Studio速度快、易用，Gemini 3.0在前端开发测试中表现出色，谷歌借此参与AI竞赛。