「2D推理」共找到 3906 篇相关文章
Codex在推理框架上能蹬出什么优化
作者复盘用Codex在SGLang中的实践，原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法，分享印象深刻的debug经历，列举在SGLang用Codex一个月的优化成果，还提及Claude Code使用遇阻。
半年赚2亿，400亿市值，它是又一个“寒武纪”？
高端光芯片长期被海外垄断，源杰科技在技术隐士张欣刚带领下实现突破。其25G激光器芯片通过验证，后多款芯片量产，2025年上半年业绩与股价双涨，市值超400亿，还布局美国生产基地。
高通要发两款AI推理芯片，资本市场反应强烈
高通周一宣布明年推AI200芯片，2027年跟进AI250，股价应声上涨。两款芯片基于移动神经处理技术，专攻AI模型部署，沙特AI公司已计划采用，高通想借此进军AI芯片市场。
2篇最新论文，把Deep Research讲透了~
阿里开源Tongyi DeepResearch热度高，文章分享两篇相关技术综述。介绍Deep Research是代理研究新范式，阐述其四大核心模块、优化方法、数据处理、奖励机制，还提及开源系统亮点及相关论文。
大模型系统提示词逆向（2）—— Cursor
作者研究大模型提示词注入时，用简单提示词“骗”出 Cursor 系统提示词。文中分析提示词生效原理、对 Cursor 有效的原因，还提及提示词泄露的安全问题及开发者应对建议。
这个 AI 股票分析项目，居然快 2w star了？！
A股行情火热，盯盘分析耗时耗力。Github上的开源项目`daily_stock_analysis`基于AI大模型构建，能自动分析股票行情等，生成“AI决策仪表盘”，给出投资参考建议，目前已获18.1k+ Star。
28.2k+ star，这个终端历史增强神器绝了！
开源君发现开源Shell历史管理工具Atuin，它用Rust编写，将命令结构化存到SQLite数据库，记录丰富上下文信息。兼容主流Shell，有专属搜索UI，功能强大，安装方便，提升命令行历史体验。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。