搜索：推理性能优化

「推理性能优化」共找到 4157 篇相关文章

ACL 2025 | GALLa：给代码大模型装上“透视眼”，看懂程序的“骨架”！

蚂蚁集团与上海交大合作的 GALLa 研究被 ACL 2025 主会录用。它利用图神经网络将代码图结构信息注入大模型，在 7 个模型和 5 个任务上提升性能，推理与普通 LLM 一致，不增成本。

硅基流动完成数亿元 A 轮融资，由阿里云领投。创始人袁进辉称业务因开源大模型崛起和算力需求激增爆发式增长。公司推出高性能推理引擎等，产品服务多个行业，未来将深耕创新、推动 AI 应用。

吴恩达发表2025人工智能年度总结与公开信。总结指出，今年推理模型性能提升但有成本，AI人才争夺激烈、薪酬高，数据中心建设投入大，智能体让编程更高效。信中建议通过学课程、动手实践和读论文构建AI系统。

研究训练新能量模型 EBT，为输入和预测分配能量值，模拟思考过程。它有跨模态、跨任务通用性，训练扩展率比 Transformer++ 高 35%，推理性能提升 29%，还在多任务中表现出色，是扩展模型能力新范式。

论文提出BridgeX - ICL方法提升LLM低资源语言性能，通过三步实现优化。构建两类探测数据解决传统问题，识别重叠神经元，用HSIC选最优桥梁语言，在多任务实验验证其有效，揭示多语言机制规律。

文章深入解析TileLang核心编程抽象，介绍写kernel的方式，阐述TileLang三层抽象特点及适用场景，展示JIT工作流、接口和执行后端，还提及性能优化、基准测试、正确性校验，最后用GEMM示例对比三层抽象差异并给出使用建议。

文章围绕轻量化大模型推理系统mini - sglang，详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程，分析核心组件功能、消息体系、正反向链路及优化策略，还预告后续分析调度和模型实现逻辑。

港大团队提出TreeSynth方法，受决策树启发，将数据合成问题映射到其空间分割机制。它采用两阶段流程，能从零合成数据，还可优化现有数据集。实验显示其在多基准任务上性能提升显著，可扩展性佳。

DeepSeek昨晚更新并开源V3.2正式版及长思考增强版V3.2-Speciale，亮点是Agent能力进化。一年来它未增模型规模，靠架构优化等提升性能、降低成本，坚持自我路线很稳，V3.2继续提升能力。

今天凌晨1点，阿里巴巴开源Qwen3系列新版本Qwen3 - 235B - A22B - 2507。它是非思维推理的指令微调模型，性能强劲，在多类测试基准中大幅超DeepSeek开源的新版V3 - 0324及月之暗面的kimi - k2。