「长文本建模」共找到 1205 篇相关文章
The Batch: 884 | Transformer获得新能量
弗吉尼亚大学等机构的研究人员提出 Energy-Based Transformer（EBT），它能检查自身输出。训练时通过能量值优化预测概率向量，测试显示其泛化优但生成特定文本差，扩展性好，为高性能带来新可能。
百万规模数据集打造人形机器人通用大模型，实现精细动作跨平台、跨形态动作迁移丨北大人大联合发布
北大和人大团队在通用人形机器人动作生成领域取得重大突破，首创通用动作生成框架Being - M0，构建百万规模动作生成数据集MotionLib，研发文本驱动动作生成模型，实现人体动作向多类型人形机器人迁移，文章将发表于ICML2025。
Megatron 1F1B流水线并行中的负载不均衡问题研究
文章分析Megatron 1F1B流水线并行中负载不均衡问题。通过实验发现通信时间‘一短一长’，原因是最后一个Stage计算慢致不同步，额外计算引发通信延迟，还梳理了流水线各阶段执行过程。
AI 医疗还在比进度，百川已在比高度
近一年来，AI医疗进入新阶段，众多企业和资本涌入。但当前主流医疗大模型有局限，落地难。百川Baichuan - M3聚焦医疗决策过程建模，三项关键评测达全球最优，或代表AI医疗重要转向。
Marble登场！告别不稳定与变形，持久探索3D世界
李飞飞团队World Labs推出Marble并开放有限测试预览，基于图像或文本提示可生成3D世界，具有持久、稳定、风格多样等特点。用户能导出使用，在浏览器自由导航，虽有局限但潜力大。
Anthropic 发布 AI Agent 上下文工程指南
今年6月Andrej Karpathy提出用「上下文工程」取代「提示词工程」。Anthropic发布工程博客呼应此观点，指出构建AI应用重心转向策划上下文。文章详述上下文工程重要性、有效上下文剖析、检索及长时任务应对技术等。
这一次，天玑9500的端侧AI能力，友商赶不上了
9月22日，联发科推出天玑9500芯片，展示新形态端侧AI应用，推动端侧AI实用化。其性能强、功耗低，还支持端侧模型训练。多家手机厂商将发布搭载该芯片的手机，展现新AI趋势。
国科大 ｜ 提出进化算法：EvolKV，自适应分配KV Cache，预算降至1.5%！
键值缓存（KV cache）是大模型快速运行核心技术，但输入文本越长，存储和处理问题越突出。国科大提出进化算法EvolKV，自适应分配KV Cache，实验显示其效果显著，预算可降至1.5%。
基于闪电注意力机制，创新高效开源大模型
传统Transformer架构处理长文本和复杂推理任务有效率瓶颈，多数领先模型仍依赖传统注意力设计。MiniMax开源基于闪电注意力机制的专家混合模型Minimax，从架构、创新模块、训练框架等多方面优化，表现突出。
AMS| 西工大史子颉，高传强，王旭，林海涛，张伟伟：数据驱动的涡激振动标度律发现
涡激振动最大振幅是评估结构安全的关键指标，现有理论模型有局限，常用数据驱动方法也面临挑战。本文提出两次应用符号回归的“白箱”标度参数VIV建模方法，验证了其鲁棒性与泛化能力，还给出物理层面解释。