「模式化推理」共找到 3466 篇相关文章
生产级Prompt自动化推理评估A/B实验结果的工程实践
本文围绕生产级Prompt自动化推理评估A/B实验结果展开，介绍系统背景与痛点，展示主Prompt和决策树，用deepseek - r1等模型推理。通过分析Bad Cases优化Prompt，总结设计原则和迭代方法，还给出通用启示与展望。
Mamba核心作者新作：取代DeepSeek在用的注意力机制，专为推理打造
Mamba核心作者Tri Dao团队提出GTA和GLA两种专为推理定制的注意力机制，在减少KV缓存用量、保持模型质量的同时，显著提升解码速度，优化长上下文推理能力。
静态稀疏已死：Flux Attention 开启长文本 LLM 自适应推理新时代
文章指出长上下文LLM高效推理面临性能与效率难题，先介绍Elastic Attention打破静态稀疏桎梏，后重点阐述全新的Flux Attention，它将动态稀疏注意力范式升级为层级别路由，解决了算法与硬件的矛盾，在多方面实现突破。
三个月、零基础手搓一块TPU，能推理能训练，还是开源的
加拿大西安大略大学工程师暑期打造开源 ML 推理、训练芯片 TinyTPU。他们非专业出身，从基础学起。还介绍了造 TPU 原因、硬件知识、构建方法，及推理、训练的实现。
谷歌开源结构化信息提取神器！4K+ Star，精准定位+交互式可视化！
在医疗、法律等领域，手动从非结构化文本提取信息费力，传统NLP工具需复杂训练。谷歌开源的LangExtract是高精度信息抽取Python库，能自动提取结构化信息，有精确源定位等功能，还给出使用示例和典型场景。
多模态推理最高加速3.2倍！华为诺亚新算法入选NeurIPS 2025
华为诺亚方舟实验室研究入选NeurIPS 2025，其提出视觉感知投机推理（ViSpec）框架，解决草稿模型处理图像信息效率难题，在不牺牲生成质量下，对主流VLM最高达3.22倍推理加速。
刚刚，Thinking Machines Lab首次发长文，揭开LLM推理不确定性真相
Thinking Machines Lab发长文《克服LLM推理中的不确定性》，指出大语言模型推理不确定性的真正元凶是缺乏批次不变性，还解释核函数计算中数字加法顺序问题，介绍使核具有批次不变性的方法并给出实验结果。
时空压缩！剑桥大学提出注意力机制MTLA：推理加速5倍，显存减至1/8
在大语言模型发展中，Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA，结合时空压缩策略，提升推理效率，在多任务中表现出色，代码已开源。
0.016%参数撬动18%性能：关键表征微调破解LLM推理瓶颈
大语言模型在推理任务依赖思维链技术，传统PEFT方法需修改大量参数，新兴ReFT虽只需调整少量参数，但存在不足。本文提出CRFT，仅用0.016%参数量就提升性能，为轻量化推理增强开辟新路径。
Mira Murati 创业公司首发长文，尝试解决 LLM 推理的不确定性难题
OpenAI前CTO Mira Murati创立的Thinking Machines Lab首发文章《克服LLM推理中的不确定性》，指出大语言模型推理难获可复现结果，深入探究其不确定性根源，提出使核函数具备批次不变性的方法并给出实现与实验。