「双模式策略优化」共找到 1997 篇相关文章
Java 世界的 MCP:将架构策略应用于 LLM 集成
文章指出大语言模型成企业架构组件,但当前集成脆弱。MCP 引入标准化方法,Java MCP SDK 能将其与企业架构融合。文中探讨 MCP 及其 SDK,分析其设计、应用、权衡等,还给出企业运营助手案例。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
Anthropic官方解密:3招上下文优化,破解Agent性能暴跌
本文是Anthropic官方文章翻译,从提示词工程拓展到上下文工程,阐述其构建方法。介绍上下文工程对构建智能体的重要性、上下文构成,还提及上下文检索、智能体搜索及长期任务的上下文工程解决方案。
Kubernetes环境中作业帮大模型服务流量调度优化实践
随着大语言模型应用渐广,Kubernetes 现有 Ingress 组件在大模型服务流量管理上有局限。作业帮提出创新调度方案,整合成模型网关,具备五项核心功能,提升了资源效率、稳定性和易用性。
李飞飞World Labs双模齐发,能「造」超复杂大场景,一手实测
李飞飞的 World Labs 推出 Marble 1.1 和 Marble 1.1-Plus 两款模型。Marble 1.1 提升视觉效果,Marble 1.1-Plus 能生成更大更复杂场景。官方建议初用选 Marble 1.1,创建大场景用 1.1-Plus,还给出了实测和网友案例。
KV-Cache 实战策略:生产环境中的分页、固定与复用技术解析
在大语言模型推理场景中,KV - Cache 是平衡性能与成本的核心技术,但生产环境中面临诸多问题。本文聚焦其分页、固定与复用三大战术,结合原理、实践与案例,为开发者提供解决方案,还探讨了未来演进方向。
直播预约 | 强化学习训练能否不依赖外部知识优化模型的弱点?
论文提出 SwS 框架,针对强化学习场景,利用模型自我感知弱点驱动自动化问题生成,合成针对性训练数据。还对其进行多项扩展,在多个基准测试集和模型上验证有效,性能提升显著。
每周产业洞察 | AI视听内容工业化:阶段性风口下的行业应对策略
北京AIGC视听产业创新中心位于朝阳东坝,是朝阳区推动影视制作基地建设的举措。由多方参与,首创郎园负责运营,提供六大服务平台,截至2025年8月汇聚60余家生态伙伴,首创郎园业务多地开花。
原来Scaling Law还能被优化?Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制,证明其表现能改变Scaling Law系数,还证实2 - simplicial Transformer在有限token预算下更优。
直播预约 | SwS: 强化学习训练能否不依赖外部知识优化模型的弱点?
该论文提出强化学习场景下的启发式数据合成流程(SwS),利用模型自我感知弱点驱动自动化问题生成,弥补推理缺陷。对其扩展后适应性更广,在多基准测试集和模型上验证有效,性能提升显著。