「微调性能」共找到 2134 篇相关文章
SGLang × RoleBasedGroup（RBG）：打通大模型推理PD分离架构规模化落地的“最后一公里”
PD分离架构对大模型推理部署意义重大，SGLang支持该架构且性能佳。但从测试到生产落地难，存在部署、资源、可靠性等问题。SGLang开源RBG项目，结合二者为PD分离架构生产化落地提供方案。
Agentic Deep Research新范式，推理能力再突破，可信度增加，蚂蚁安全团队出品
尽管LLM能力提升，但在复杂任务上受静态内部知识限制。业界提出Agentic Deep Research系统，不过现存系统有梯度冲突和奖励稀疏问题。蚂蚁安全团队提出Atom - Searcher，解决上述问题，实验效果良好。
1000 行 Java 代码手搓 OpenAI gpt-oss 推理引擎
2025年8月OpenAI发布gpt - oss，作者受相关项目启发，用约1000行Java代码实现gpt - oss推理引擎并发布在亚马逊官方github。文章分享开发体会，介绍模型架构、Java实现、性能优化等内容。
个体如何实现主权AI
文章指出越依赖AI，越要考虑‘主权AI’问题。对个体而言，实现主权AI核心是掌握自身数据等，能随时换底层模型，还介绍积累的四类资产、微调顺序及现实路径。
微软发布了 TypeScript 5.9，延迟导入并增强了开发者体验
微软发布 TypeScript 5.9，带来开发者体验改进、新特性和性能优化，如支持延迟导入、改进默认项目设置、引入新模块选项等，也有性能升级，还透露未来版本计划。
从 Redis 到 Valkey，开源社区如何快速创新？
文章介绍了开源键值数据库 Valkey，它诞生于 2024 年 3 月，由 Linux 开源基金会托管，完全兼容 Redis OSS 7.2.4。Valkey 版本迭代快、性能提升、云厂商跟进、社区规模增长、迁移成本低。中国开发者在其中贡献突出，Valkey China 公众号也已上线。
ICLR 2025新成果：文档检索“降本增效”，从此“开挂”
传统文档检索系统处理视觉信息丰富的文档存在瓶颈，ColPali方法直接从文档页面图像生成多向量嵌入，简化流程、提高性能、降低延迟。ColQwen - Omni在其架构上扩展到图文+音频多模态匹配。
刚刚！微软 | 发布全新一代自研AI芯片Maia 200
微软提前发布自研AI芯片Maia 200，基于台积电3纳米工艺，性能超竞品，是其异构AI基础设施重要部分，将支持多个大模型，已部署在美中数据中心，还开放Maia SDK预览。
挑战Claude4的8B Agent！NUS提出AgenTracer：面向多智能体系统的失败归因
随着大语言模型发展，多智能体系统潜力大但有系统脆弱性问题。NUS研究者在论文中提出AgenTracer框架，构建标注管线，设计AgenTracer - 8B模型，在失败归因任务上超大型闭源模型，还能助力系统自我提升。
[Triton编程][基础]vLLM Triton Merge Attention States Kernel详解
文章详细介绍vLLM中Triton Merge Attention States Kernel的实现，与PyTorch原生实现对比，该Triton kernel最高可实现3 - 5倍以上算子加速。内容涵盖Merge Attention States概念、PyTorch实现、Triton基础算子、分析及性能评估等。