「压缩推理」共找到 2197 篇相关文章
微软的prompt压缩方案-LLMLingua,开源
使用大语言模型时，提示信息长会致运行慢、费用高、易超限。微软推出的LLMLingua可压缩提示信息，有完整开源。它历经多版本演进，还能用于安全防御，使用简单，值得开发者跟踪。
DeepSeek-R1 更新，思考更深，推理更强
DeepSeek R1 模型完成小版本升级至 DeepSeek - R1 - 0528，用户可在官网、APP 等体验，API 同步更新。该版本强化深度思考能力，在多基准测评表现优异，还改善幻觉、提升创意写作等能力。
不得了，这个新技术把视频压缩到了0.02%！
中国电信人工智能研究院的生成式视频压缩（GVC）技术，将视频数据压缩率干到0.02%，还能保持画面高清连贯和细节。它以‘用计算换宽带’为核心理念，在实测中表现优异，有诸多应用场景。
斯坦福开源复杂推理AI Agent，融合超10种工具
传统AI助手应对复杂任务能力有限，斯坦福开源OctoTools，这一复杂推理AI Agent融合11种工具。它在16项基准测试中准确率高，能应对多领域复杂场景，框架含工具卡片、规划器等构件。
让本地大模型不再重复推理的缓存技巧
本地跑大模型时，同样问题换说法问，模型又要重新推理。`constraint-cache`这个Python库可解决此问题，它将语义相似查询规范化为统一缓存键，实现近乎即时的重复查询响应，还避免了随机性响应问题。
AI Spot 学术分享会丨ICLR 2026 深度推理专场
当大模型走向深度推理，ICLR 2026 汇聚全球顶尖成果。OpenMMLab 等联合发起 AI Spot ICLR 2026 学术分享会，5 月 14 日 19 点直播，聚焦模型‘慢思考’，嘉宾将解读四大核心技术。
重磅！DeepSeek再开源：视觉即压缩，100个token干翻7000个
DeepSeek-OCR模型探索视觉-文本压缩边界，用少量视觉token解码出10倍以上文本信息。它在OmniDocBench基准上表现超GOT-OCR2.0，为LLM长上下文问题提供方案，还能处理多类图像与近100种语言。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi - 4 - mini微调出Phi - 4 - mini - Flash - Reasoning 3B模型，扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行速度比前代快10倍，有诸多优点。
北大开源统一世界模型框架：多类合成推理任务一套搞定
世界模型研究中，不同任务存在接口不统一等问题。北大DCAI课题组联合多方推出OpenWorldLib推理框架，整合多模态能力，构建标准化接口体系，在多任务上评估效果良好，降低研发门槛。
Transformer危！谷歌MoR架构发布：内存减半推理速度还翻倍
谷歌推出全新底层架构Mixture-of-Recursions（MoR），推理速度提高2倍、KV内存减半，首次在单一框架实现多任务处理与动态分配计算资源，研究人员通过实验验证其性能超Transformer。