「长期推理能力」共找到 4718 篇相关文章
图解Vllm V1系列7：使用AsyncLLM做异步推理
文章因异步RL讨论热，探讨用vllm做最小程度异步二次开发。介绍如何用AsyncLLM做异步推理，分析单条请求处理流程及阶段，说明并发提升效率的方法，还提及多请求并发及构建异步推理引擎思路。
这个推理模型：HRM ，只用2700万参数，超越了DeepSeek和Claude
Sapient Intelligence研究者受大脑机制启发提出分层推理模型HRM，它是全新循环架构，仅2700万参数、1000个训练样本，就在复杂推理任务上表现卓越，还引入近似梯度等方法，有推动通用计算变革潜力。
“GPT-6”Astra能力首次公开！浙大同济校友参与研发
OpenAI为下一代模型Astra（传说中的GPT - 6）拉满预热，公开其能力。它在网络安全测试表现出色，但强大能力带来安全隐患。OpenAI设两道安全闸门，且两位华人研究员参与研发。此外，其新技术或影响可监控性。
微软开源新版Phi-4：推理效率暴涨10倍，笔记本可运行
今天凌晨微软官网开源Phi - 4家族最新版Phi - 4 - mini - flash - reasoning，它参数小性能强，适合边缘设备。采用自研SambaY架构，推理效率涨10倍，延迟降2 - 3倍，多场景测试表现优异。
103K「硬核」题，让大模型突破数学推理瓶颈
现有大语言模型在数学推理训练时面临数据瓶颈，腾讯AI Lab与上海交大团队推出DeepMath - 103K数据集。它规模大、难度高、数据新颖、严格去污染，让DeepMath系列模型达SOTA，还能实现推理泛化。
黄仁勋CES放出大杀器：下一代Rubin架构推理成本降10倍
在CES 2026展上，英伟达黄仁勋介绍多项进展。下一代Rubin平台含六款芯片，推理成本降10倍；发布Alpamayo 1开源模型助力自动驾驶；还推出物理AI新模型等，携手伙伴展示机器人。
刚刚！Thinking Machines Lab ｜ 长文揭开LLM推理不确定性真相！
Thinking Machines Lab发布《克服LLM推理中的不确定性》，揭示大语言模型推理不确定性原因，并非“并发 + 浮点”假设那么简单，主要是负载及batch size不确定所致，还给出让核函数有批次不变性的方法及实验结果。
十载磨「芯」：云天励飞冲击港股AI推理芯片第一股
7月30日，云天励飞向港交所递交H股上市申请，迈向“A+H”新阶段。它是中国首家实现国产高算力AI推理芯片商业化的公司，坚持“全自研、国产化”，现进一步聚焦AI推理芯片，构建“1+N”业务架构。
跳过88%专家，保住97%性能！MoE推理的正确玩法| CVPR’26
多模态大模型走向大规模，MoE架构虽降低计算开销，但推理成本仍高。香港科技大学等团队提出MoDES，它是training - free动态专家跳过框架，能跳过88%专家还保留97%性能，推理速度提升2倍。
CoT推理大溃败？哈佛华人揭秘：LLM一思考，立刻就「失智」
新研究揭示思维链CoT会分散模型「注意力」，使大模型推理时易出错。研究指出在需遵守指令任务中，用CoT推理模型准确率下降，还总结了四大模式，并提出四种缓解策略。