「高效推理」共找到 2494 篇相关文章
跨层压缩隐藏状态同时加速TTFT和压缩KV cache!
论文 UNCOMP 被 EMNLP 2025 主会接收，提出高效推理框架，用截断矩阵熵解释 LLM 稀疏化，据此设计 UNCOMP 框架，通过压缩隐藏状态优化 KV Cache，实现计算与内存联合优化，实验效果显著。
从科学论文自动生成视频
该项目解决学术演示两核心问题，用智能体PaperTalker生成视频，还设Paper2Video基准评估。介绍了PaperTalker使用步骤，含环境、配置、推理，也说明了Paper2Video评估指标及运行方法。
外卖公司也能搞AI？
昨天凌晨美团悄悄开源560B参数的MoE大模型LongCat-Flash-Chat，引发国外网友疑惑。该模型推理速度超100 tokens/秒，基准测试表现出色，多项设计解决实际问题，贴合美团业务需求。
AI“压力面”，DeepSeek性能暴跌近30% | 清华&上海AI Lab
上海人工智能实验室等团队设计REST框架，在一个prompt里抛多问题模拟复杂推理场景。结果显示，DeepSeek - R1等模型高压下性能大幅缩水，REST能拉开不同模型差距，还揭示评测方法局限。
作为软件架构师使用 AI 的经验
Avraham Poupko 在 OOP 大会分享软件架构师用 AI 经验，认为软件架构师不会被 AI 取代，AI 适合探索权衡、提炼语言，但缺乏情境推理和情感智能，人类在这方面更有优势。
爆冷！字节Seed 在CCPC 决赛只做出一道签到题，而DeepSeek R1 直接挂零？
第十届 CCPC 举行，字节 Seed 携 Seed - Thinking 参赛，仅做出一题，DeepSeek R1 挂零。不同模型架构在比赛中差异不大，暴露出大模型做算法题短板，推理模式模型表现更好。
硅谷开启预防式裁员！AI还没替代，先裁50%做准备，股价还能大涨17%
推特创始人杰克·多西领导的Block一次性裁掉近半员工，约4000多人。理由是预见AI强替代性，小团队更高效。此决策获市场积极反馈，股价涨17%，后续或有科技公司效仿。
Win版Claude Cowork杀疯了！140元雇个全职AI员工，全网首测真香
昆仑万维推出天工Skywork桌面版，专为Windows打造，能调用Claude和Gemini。实测显示，它可高效分类文件夹、提取图片、生成报告等。相比Claude Cowork，其在生态、视觉、模型等方面有优势，还降低了办公门槛。
SimpleTIR：让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤，掐断崩溃链路，训练稳定，还催生多样推理行为，且工程友好已开源。
全流程国产GPU，上下文提速100倍！中国科学院发布「线性复杂度」类脑大模型
中国科学院自动化所李国齐、徐波团队发布国产自主可控类脑脉冲大模型SpikingBrain-1.0，训练推理全用国产GPU。它具线性复杂度，超长序列处理速度快，还开源7B模型，为类脑智能发展提供新思路。