「推理加速技术」共找到 4890 篇相关文章
生产级Prompt自动化推理评估A/B实验结果的工程实践
本文围绕生产级Prompt自动化推理评估A/B实验结果展开，介绍系统背景与痛点，展示主Prompt和决策树，用deepseek - r1等模型推理。通过分析Bad Cases优化Prompt，总结设计原则和迭代方法，还给出通用启示与展望。
Mamba核心作者新作：取代DeepSeek在用的注意力机制，专为推理打造
Mamba核心作者Tri Dao团队提出GTA和GLA两种专为推理定制的注意力机制，在减少KV缓存用量、保持模型质量的同时，显著提升解码速度，优化长上下文推理能力。
静态稀疏已死：Flux Attention 开启长文本 LLM 自适应推理新时代
文章指出长上下文LLM高效推理面临性能与效率难题，先介绍Elastic Attention打破静态稀疏桎梏，后重点阐述全新的Flux Attention，它将动态稀疏注意力范式升级为层级别路由，解决了算法与硬件的矛盾，在多方面实现突破。
为什么所有企业都在谈 Agent？50+ 技术实践给出真实答案
12月19 - 20日北京举办的AICon全球人工智能开发与应用大会，聚焦AI Agent等关键方向。来自腾讯等企业的实践者将分享构建智能系统经验，大会设Keynote和12大平行技术专场，呈现AI技术全景。
前SpaceX引擎元老押注尘封20年的技术，要用太阳能驱动“轨道战斗机”
前SpaceX引擎元老杰夫·索恩伯格创立的Portal Space Systems获5000万美元A轮融资。该公司押注被NASA搁置20多年的太阳能热推进技术，推出‘Supernova’产品，有望解决深空探测瓶颈。
Gemini再揽金牌，力压大学学霸，AI数学推理时代来了！
苏黎世联邦理工学院博士生在大学生国际数学竞赛（IMC）测试了Gemini三种模式，其表现远高于金牌门槛，远超普通大学生。研究人员还从模型输出提取见解，展现了Gemini在数学推理上的优势，凸显AI数学推理能力日益强大。
盘一下Anthropic 244页Claude Mythos报告中隐藏的SAE技术
Anthropic公布强大危险的大模型Claude Mythos Preview但未发布。文章深挖其244页报告中SAE技术细节，包括前期探索、技术框架、训练监控、攻击性行为分析及掩盖行为等，助了解模型内部思维。
刚刚，Thinking Machines Lab首次发长文，揭开LLM推理不确定性真相
Thinking Machines Lab发长文《克服LLM推理中的不确定性》，指出大语言模型推理不确定性的真正元凶是缺乏批次不变性，还解释核函数计算中数字加法顺序问题，介绍使核具有批次不变性的方法并给出实验结果。
技术狂飙下的 AI Assistant，离真正的 Jarvis 还有几层窗户纸？
随着AI技术进入新阶段，LLM面临新天花板，市场呼唤从「会聊天」迈向「能行动」的下一代AI Assistant。文章从智能规划与调用等维度分析其发展挑战，介绍不同技术路径并分析优劣势。
Mira Murati 创业公司首发长文，尝试解决 LLM 推理的不确定性难题
OpenAI前CTO Mira Murati创立的Thinking Machines Lab首发文章《克服LLM推理中的不确定性》，指出大语言模型推理难获可复现结果，深入探究其不确定性根源，提出使核函数具备批次不变性的方法并给出实现与实验。