「双层效率优化框架」共找到 2272 篇相关文章
刚刚,Kimi开源新架构,开始押注线性注意力
智能体时代推理计算需求成瓶颈,线性注意力可降复杂度但表达有限。月之暗面开源 Kimi Linear 新架构,结合线性与全注意力,性能和硬件效率出色,引发对线性与全注意力发展方向的思考。
8种LLM架构设计大比拼:从 DeepSeek-V3 到 Kimi K2,究竟有啥不同
文章对比了8种LLM架构设计,如DeepSeek-V3、OLMo 2等。介绍各模型关键技术,像DeepSeek-V3的多头潜在注意力和混合专家架构,还分析不同设计对性能、效率的影响,助读者了解LLM架构差异。
ROLL:面向大规模语言模型的高效强化学习框架
本文介绍阿里推出的ROLL强化学习框架,专为LLM训练优化。它设计灵活,不同用户可用其满足业务、探索或线上指标需求。在多任务训练中性能出色,还采用创新机制提升效率,支持自定义操作,适合学术和业务场景。
“10x Cursor”开发体验, Claude Code 如何带来 AI Coding 的 L4 时刻?|Best Ideas
文章聚焦 Claude Code,探讨其在 AI Coding 领域的表现。开发者因成本低、效率高、异步开发等优势迁移至此。虽其 CLI 形态爆火,但 GUI 才是未来。Claude Code 达 L4 级别,也指出当前 AI coding 产品不足与未来机会。
万亿参数狂欢!一文刷爆2025年七大顶流大模型架构
文章深入剖析2025年顶级开源模型的创新技术,介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构,揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。
微信、清华连续自回归模型CALM,新范式实现从「离散词元」到「连续向量」转变
腾讯微信 AI 联合清华提出连续自回归语言模型 CALM,它将语言建模为连续向量而非离散词元,显著改善性能与计算成本权衡,解决了 LLM 效率瓶颈,虽面临技术挑战但实验效果佳,还指明未来研究方向。
腾讯混元最新开源成“最强翻译”:国际机器翻译比赛获30个语种第一
腾讯混元团队的Hunyuan-MT-7B以7B总参数量获国际翻译比赛冠军,还开源了该模型及翻译集成模型Hunyuan-MT-Chimera-7B。其Shy框架有三大创新,在多方面表现优异,还为垂直领域优化提供模板。
万字长文 | 异构算力技术架构与核心组件解析
文章聚焦异构算力技术架构与核心组件,解析主流AI芯片特点、国产芯片技术路线;介绍高速互联技术、网络拓扑结构及优化方法;阐述大模型存储需求、分布式存储技术及数据预处理与加载技术,为AI计算提供全面方案。
稳定训练、数据高效,清华大学提出「流策略」强化学习新方法SAC Flow
本文介绍清华大学和CMU提出的SAC Flow新方案,可端到端优化流策略。它将流策略视作residual RNN,用GRU和Transformer结构稳定训练。在多环境测试中表现优,有稳定、快速、样本效率高的特点。
告别微调!斯坦福提出Agentic上下文工程
当前微调大语言模型成本高、不灵活,‘上下文适应’方法有短板。斯坦福大学等提出ACE框架,将上下文变为动态‘战术手册’,解决现有问题。论文通过实验验证其在性能、成本和效率上优势,为大模型发展指明新方向。