「代码推理」共找到 3504 篇相关文章
AI Infra入门干货总结：大模型是如何高效推理的
作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。
Meta「透视」AI思维链：CRV推理诊断，准确率达 92%！
Meta FAIR团队在论文中提出CRV方法，可实时观察AI思维过程。它通过改造模型大脑结构，让推理可见。在算术推理实验中，检测精度提升到92.47%，还能让模型修正错误。不过该技术落地尚面临诸多挑战。
拒绝不必要Think：微软&北大提出第一种自适应大型混合推理模型
大型推理模型冗长思考开销大，微软研究院和北大提出大型混合推理模型（LHRMs），它能依查询上下文决定是否思考。介绍了两阶段训练流程、评估指标，实验显示其超越现有模型且效率高。
VLA 推理新范式！一致性模型 CEED-VLA 实现四倍加速！
近年来，VLA模型成机器人领域重要研究方向，但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略，在多基线模型上实现超4倍推理加速，实验验证其高效通用。
OpenAI 设计师：不写代码的设计师，将成为团队瓶颈
OpenAI 的 Ed Bayes 和 Figma AI 设计总监 Gui Seiz 深度对谈，探讨 AI 打通编程与设计工具后设计师工作流程的变化。涉及画布与代码的使用、代码与设计稿同步、实际应用效果、工作方式转变等内容，还给出新手入门建议。
睡觉也在卷！伯克利Letta新作「睡眠时计算」让推理效率飙升
Letta和UC伯克利研究者提出「睡眠时计算」技术，能让LLM在空闲时间提前思考以提升推理效率，降低推理成本，在多数据集实验中展现优势，在软件工程任务中也有应用。
吴恩达新作：87%推理token用不着，丢掉反而快3倍
吴恩达新作Prefix Sliding指出，模型推理时丢弃中间已贬值token，只保留前缀+滑动窗口，无需训练可提速3倍，配合RL训练能将推理轨迹扩展到10万token以上。该方法为Agent场景提供新思路。
AutoDev 预上下文引擎：预生成代码语义化信息，构建 AI 编程的知识基座
文章介绍 AutoDev 预上下文引擎，指出向量化代码检索性价比低，提出用预生成上下文提升 RAG 效果。Context Worker 能深度解析代码，支持多语言，使用简单，还可结合 MCP 服务获取上下文知识。
多模态卷王阶跃星辰Step 3登场，推理效率可达DeepSeek-R1 300%
新一代多模态推理基模Step 3登场，它采用原创MFA架构，具“多开好省”亮点，推理效率高、性价比优。7月31日将开源，能适配各芯片，还发起“模芯生态创新联盟”推动应用落地。
新榜单CompileBench：让AI能搞定22年前的老代码
近日，CompileBench 测试 19 个 AI 模型编译真实代码能力，最难任务是复活 2003 年代码并交叉编译到 Windows 和 ARM64。不同模型表现不同，如 Claude Opus 4.1 成功完成 ARM64 静态编译，各模型有不同优缺点。