「推理速度」共找到 2504 篇相关文章
Codex正在重塑传统推理框架开发流程
作者用Codex完善SGLang Diffusion的SKILLS流程，修复诸多bug。让其做benchmark脚本，发现不同rmsnorm性能差异。应用flashinfer rmsnorm遇问题，Codex找出原因并修复，还提升了模型性能，体现强大生产力。
中科院类脑大模型SpikingBrain，2%数据，百倍速度
中国科学院自动化研究所李国齐、徐波团队发布全球首款大规模类脑脉冲大模型SpikingBrain 1.0。它处理长文本比主流Transformer模型快超百倍，训练数据仅为2%。该模型采用新架构，降低计算复杂度，还可转换现有模型，且在国产GPU完成训练。
优化搜索系统：平衡速度、相关性和可伸缩性
这篇文章基于作者在 2024 年旧金山 QCon 大会演讲，探讨搜索系统优化。以优步外卖为例，分析其在数据索引、检索和排名方面挑战，介绍优化技术及对用户体验和系统性能影响，还提及架构、分片技术等内容。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。
Codex在推理框架上能蹬出什么优化
作者复盘用Codex在SGLang中的实践，原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法，分享印象深刻的debug经历，列举在SGLang用Codex一个月的优化成果，还提及Claude Code使用遇阻。
为什么软件工程治理很重要：降低风险但不拖累速度
Sarah Wells 在哥本哈根 Goto 会议称，软件工程治理助团队决策、支持价值交付。糟糕治理会拖慢进度、增加成本。技术策略和组织技术雷达可辅助决策，还能从 DORA 能力学治理。
高通要发两款AI推理芯片，资本市场反应强烈
高通周一宣布明年推AI200芯片，2027年跟进AI250，股价应声上涨。两款芯片基于移动神经处理技术，专攻AI模型部署，沙特AI公司已计划采用，高通想借此进军AI芯片市场。
对话VAST曹炎培：2秒才是3D生成本该有的速度
本文对话VAST首席科学家曹炎培，介绍其最新Smart Mesh功能，仅靠提示词或参考图，2秒内极速生成3D模型。Tripo P1.0重构AI 3D底层范式，实现原生三维空间概率生成。VAST获5000万美元A轮融资，今年将推UGC 3D平台。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。
DeepSeek又拿第一！首创「因果流」视觉推理，超越Gemini
DeepSeek开源DeepSeek - OCR2，引入DeepEncoder V2视觉编码器，打破传统模型扫描限制，模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题，在多项测试中表现出色，还验证了「LLM作为视觉编码器」可行性。