「开源推理模型」共找到 9430 篇相关文章
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
“神经-符号”融合规划器性能显著超越o1：借鉴人类运动学习机制｜中国科学院磐石研发团队
中国科学院磐石研发团队提出新型“神经 - 符号”融合规划器，融合神经与符号规划系统优势，借鉴人类运动学习机制构建双向规划机制，在规划覆盖率和效率上显著超越OpenAI o1，已加入“磐石·科学基础大模型”。
The Batch: 858 | 白宫重塑美国人工智能政策
特朗普提出积极的国家人工智能政策原则并推动实施，《赢得竞赛：美国人工智能行动计划》明确三大短期目标，包括激发创新、建设基础设施、确立全球领导地位，与拜登政府政策有差异。
扩散架构 or「NoThinking」，AI 对话的「1Hz 壁垒」如何突破？
当红通用人形机器人公司 1X 的 AI 副总裁 Eric Jang 提出「智能频谱」概念，阐述当前 AI 面临的「1Hz 壁垒」及实现「Ultra Instinct」能力的先决条件。不同推理方案有望解决部分问题，但通用智能体仍有瓶颈。
「All in AI」的 Shopify，分享了他们的全员 AI 落地实践，全是干货
Shopify 三个月前决定「All in AI」，副总裁 Thawar 分享公司引入 AI 的策略、提升效果与三个「反直觉」见解。如全员无差别用 AI、让 AI 展示思考过程、重视新手等，还给出多个工作流案例。
尖峰对话17分钟全记录：Hinton与周伯文的思想碰撞
7月26日，人工智能教父Geoffrey Hinton与周伯文教授进行17分钟对话，谈及AI多模态大模型前沿、“主观体验”和“意识”等话题。Hinton认为当今多模态聊天机器人已有意识，还探讨了训练善良AI及AI推动科学进步等问题。
AST | 西交大刘子扬、陈刚等：直接嵌入流场特征的智能化气动外形优化经验学习框架
传统气动外形优化方法有局限，本文提出智能化优化经验学习框架，结合DNN流场预测模型与DRL优化方法，还提出自适应网格再生成技术与Sigmoid奖赏函数，经验证效果良好，为气动优化提供新路径。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
n8n接入Fastgpt MCP，丝滑构建超强RAG工作流【一键发布到公网】太绝了！
n8n是可让普通人快速、灵活搭建AI Agent工作流的开源平台。研究发现其用RAG搭建知识库较复杂，体验不佳。作者将Fastgpt知识库接入n8n，对接丝滑，RAG效果棒，还介绍了操作步骤。