「低精度计算」共找到 1790 篇相关文章
跨层压缩隐藏状态同时加速TTFT和压缩KV cache!
论文 UNCOMP 被 EMNLP 2025 主会接收，提出高效推理框架，用截断矩阵熵解释 LLM 稀疏化，据此设计 UNCOMP 框架，通过压缩隐藏状态优化 KV Cache，实现计算与内存联合优化，实验效果显著。
6666！NuerIPS满分论文来了
NuerIPS唯一满分论文结论惊人，指出真正决定推理上限的是基座模型本身而非强化学习，且蒸馏比强化学习更有望实现大模型自我进化，这给正火热的RLVR泼了冷水。
Zero-RAG，对冗余知识说“不”
文章指出大语言模型知识冗余，RAG 检索效率低。复旦大学邱锡鹏提出 Zero - RAG，能精准识别并剪除冗余知识，砍 30%语料准确率掉点小，检索延迟降 22%，还介绍了其技术方案。
Kimi K2 Thinking，最强思考模型，附实测
Moonshot AI发布Kimi K2 Thinking模型，它能边思考边行动，是目前最强开源思考模型，多项指标超GPT - 5等闭源巨头。其具独特架构，有性能优势，还给出部署方式，实测表现佳。
腾讯发布大模型思考早停算法SpecExit，效果无损，端到端加速2.5倍！
腾讯为破解大模型长思维链效率难题，提出思考早停算法SpecExit，将思考早停与投机采样融合，在不影响准确性前提下，在vLLM上实现端到端加速2.5倍，还能缩短思维链长度。
一句话搞定后端？揭秘被 52.1k 开发者选择的 PocketBase：真能让你 0 运维快速上线产品吗？
PocketBase是“把后端打包成一个文件”的开源项目，既可以作为独立的轻量后端服务直接运行，也能作为Go库嵌入到应用中。它能解决团队做MVP等遇到的痛点，有诸多核心功能和技术优势。
大模型推理学习新范式！ExGRPO框架：从盲目刷题到聪明复盘
上海人工智能实验室等团队提出经验管理和学习框架ExGRPO，能科学管理经验。与传统RLVR方法比，它在不同基准提升性能，尤其复杂推理任务，还揭示滚雪球效应，为模型推理训练提供新思路。
腾讯发布超低成本AI训练法！120元效果秒杀70000元微调方案
腾讯提出无训练组相对策略优化Training-Free GRPO，无需调整参数，在提示词中学习经验就能提升模型性能。实验显示，该方法在数学推理和网页搜索任务上效果显著，成本远低于传统方法。
重磅！OpenAI官宣自研AI芯片：垂直整合要彻底摆脱英伟达，联手博通部署10吉瓦算力
OpenAI与博通达成深度战略合作伙伴关系，共同设计和制造AI芯片与计算系统，合作已秘密进行约18个月，目标是2026年底部署10吉瓦算力，还在用模型探索芯片设计新方法。
Databricks开源限流方案，抛弃redis，性能提升10倍
Databricks 开源高性能限流系统设计，抛弃 Redis，通过内存分片和批量上报机制，实现 10 倍性能提升。还将限流算法改为令牌桶，解决了精度控制、在线迁移等问题，权衡了分布式一致性。