「线性序列建模」共找到 395 篇相关文章
DeepSeek-GRPO重要性权重设计错误?详解Qwen3新强化学习算法GSPO
论文指出GRPO在大语言模型训练中不稳定,因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法,从序列维度计算梯度,解决了MoE模型RL训练的稳定性问题,在Qwen3上效率更高。
10分钟搞定Excel世锦赛难题!首个超越人类Excel Agent,网友:想给它磕一个
Shortcut号称是「第一个超越人类的Excel Agent」,能在约10分钟解决Excel世界锦标赛复杂案例,准确率超80%,还能处理金融建模等任务。但它有格式化懒、多轮对话不佳等局限,目前处早期预览阶段。
微软×UIUC:给每个学生造一个「数字分身」,AI教师终于有了陪练
微软和 UIUC 合作研究 StudentSim,基于真实学生数据训练个性化学生模拟器框架,解决了过去学生建模方法的问题。它经两阶段训练,在多领域实验中表现出色,还能为 AI 教师优化提供反馈。
清华校友出手,8B硬刚GPT-4o!单一模型无限工具调用,终结多智能体
MIT等机构推出TIM和TIMRUN组合拳,突破模型token天花板。TIM将推理建模为任务树,TIMRUN优化内存管理。二者结合支持长程推理,实现单模型高效推理,简化智能体构建,在多方面表现出色。
首个多模态工业信号基座模型FISHER,权重已开源,来自清华&上交等
清华、上交等团队联合发布首个多模态工业信号基座模型 FISHER,用搭积木法对异质工业信号统一建模。技术报告和权重已开源,还提出 RMIS 基准评估性能,实验显示其泛化能力强。
40岁开始预防衰老最有效!1.9万人脑扫描揭秘:大脑衰老有“关键窗口期”
一项发表于《美国国家科学院院刊》的研究,分析超1.9万人功能性磁共振成像,发现大脑衰老非线性,与胰岛素抵抗增加相关。还发现酮体可绕过胰岛素抵抗供能,40 - 59岁干预效果最佳。
训练成本暴降99%,35秒出1分钟高清视频!英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构,其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署,重新定义AI视频生成效率极限。
如何实现可验证的Agentic Workflow?MermaidFlow开启安全、稳健的智能体流程新范式
随着大语言模型发展,多智能体系统成新前沿,「Agentic Workflow」受关注。但现有系统存在合理性难保证等问题。新加坡和南洋理工团队推出MermaidFlow,以Mermaid语言显式建模工作流,提升可解释性与可控性,实验性能优秀。
FairyGen:AI 把孩子的画“动”起来,个性化教育和动画创作
FairyGen 能将孩子画作变成卡通短片,通过多模态大语言模型构思分镜脚本,采用分层建模处理前景人物动作与背景动态。其生成流程分四阶段,但也存在前景角色重建不准、背景生成不稳定等问题。
Anthropic最新论文:检测LLM内省意识的方法
Anthropic与MIT等研究表明,LLM能‘感知’被注入的steering vector,‘内省意识’在DPO等后训练阶段涌现。研究构建实验,发现内省能力行为稳健、检测非简单线性关联等,还揭示检测与识别机制不同及两阶段电路。