「Attention性能瓶颈」共找到 2438 篇相关文章
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。
文心大模型 4.5 系列正式开源，涵盖 10 余款模型
6月30日，百度正式开源文心大模型4.5系列，含10款模型，实现预训练权重和推理代码全开源。可在飞桨星河社区等平台下载，百度实现框架与模型“双层开源”，技术创新多，性能表现优。
告别单一大模型依赖！北航等机构发布综述：大语言模型集成（LLM Ensemble）
北航等机构发布的论文系统性回顾了LLM Ensemble领域进展，介绍分类法、相关问题、方法、基准、应用和未来方向。LLM Ensemble指推理阶段综合利用多模型优势，现有推理前、中、后三大集成范式。
Anthropic CPO：AI写9成代码后，我们迎来了新噩梦！
本文是对Anthropic CPO Mike Krieger的播客访谈。他谈到AI重塑软件开发，约90%代码由AI编写；还分享产品经理价值、Anthropic战略、Artifact关闭原因等，对AI认知从工具变为战略伙伴。
开源播客生成MoonCast：让AI播客告别"机械味"，中英双语对话更自然！
MoonCast是革新性对话式语音合成模型，已开源。它借助LLM让剧本有干货与人味，采用全面规模化策略使音频合成更自然，性能在双语长对话播客上提升显著，接近真人播音效果。
开源2天斩获3K标星！开源TTS新星Chatterbox盲测击败ElevenLabs！
文本转语音（TTS）技术发展快，但达顶尖水平仍有挑战。开源TTS新星Chatterbox，开源2天冲上GitHub热榜，星标超3K。它功能亮点多，安装简单，适用于多种场景，性能超ElevenLabs。
智能投顾的大模型应用，为什么选择了“大小模型协同”？
大模型时代，金融智能投顾落地是技术与业务安全的双重挑战。北银金科高级算法专家尹辰轩表示采用“大小模型协同”架构，能在性能、准确性与合规间找平衡，还阐述了架构亮点、问题解决办法等。
JFM | 浙江大学郑畅东、谢芳芳等：基于Transformer网络的上下文学习跨翼型的主动流动控制策略
浙江大学郑畅东、谢芳芳等提出基于Transformer网络的上下文学习跨翼型主动流动控制策略。该框架引入策略改进算子，结合强化学习与气动形状优化，在翼型流动分离问题中表现出色，提升了整体性能。
AI开始改进“改进自己的方法”，RSI进入平方时代丨MetaRSI
本文介绍CosmosMind联合十余家海内外高校，发布全球首个统一三类RSI的元递归架构MetaRSI-v1，实现AI改进自我改进过程，在大小模型均获显著性能提升，提出统一范式与五大定律并开源项目。
Action Map Policy：从高维动作回归到像素分类，一种新的机器人操作学习范式
本文介绍美国东北大学博士生黄浩杰提出的全新机器人操作学习范式Action Map Policy（AMP），将高维三维机器人动作转化为二维图像空间的像素分类问题，性能和推理速度均显著优于现有主流基线方法。