「结构化推理」共找到 3018 篇相关文章
公众号正在头条化
2025年超60%公众号运营者发现，粉丝被算法收归平台。从2020年起，订阅号改成信息流展示，推荐流量占比最高达90%。这对小号是机遇，但也带来内容陷阱等问题，还重塑用户认知，平台也面临商业和生态的博弈。
Codex正在重塑传统推理框架开发流程
作者用Codex完善SGLang Diffusion的SKILLS流程，修复诸多bug。让其做benchmark脚本，发现不同rmsnorm性能差异。应用flashinfer rmsnorm遇问题，Codex找出原因并修复，还提升了模型性能，体现强大生产力。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。
Codex在推理框架上能蹬出什么优化
作者复盘用Codex在SGLang中的实践，原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法，分享印象深刻的debug经历，列举在SGLang用Codex一个月的优化成果，还提及Claude Code使用遇阻。
高通要发两款AI推理芯片，资本市场反应强烈
高通周一宣布明年推AI200芯片，2027年跟进AI250，股价应声上涨。两款芯片基于移动神经处理技术，专攻AI模型部署，沙特AI公司已计划采用，高通想借此进军AI芯片市场。
思维外包化！AI正在“废掉”我们的大脑
当下“AI是否会抢走工作”讨论火热，亚马逊CEO称重复性岗位将被取代。但更危险的是，对AI过度依赖或“废掉”大脑，催生“思想懒汉”，在教育领域体现尤令人担忧。
上下文工程又进化了：Harness实现AI完全自主化
近期Harness Engineering讨论火热，Harness是围绕AI模型的支撑架构，Anthropic用其突破AI局限，解决AI完成复杂任务时的偷懒问题，还通过多智能体架构用于前端设计、软件开发，经实战检验效果良好，后续还对其进行简化。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。