「自注意力机制」共找到 1944 篇相关文章
Adobe 新研究:不用再「喂」训练数据,VLM 靠和自己玩游戏变聪明
Adobe 等机构研究人员提出「Vision-Zero」,借鉴 AlphaGo 自迭代方式,设计让 VLM 自我学习框架。此框架以类似「谁是卧底」游戏训练,不依赖标注数据,在多任务超越有标注的 SOTA 方法。
从DeepSeek-V3到Kimi K2:八种现代 LLM 架构大比较
文章对比了DeepSeek-V3、Kimi K2等八种现代LLM架构。介绍各模型独特技术,如DeepSeek V3的多头潜在注意力和混合专家技术,OLMo 2的后归一化策略,Gemma 3的滑动窗口注意力等,探讨架构改进与突破。
DeepSeek V3.2爆火,Agentic性能暴涨40%解密
文章解密了DeepSeek V3.2 Agentic性能暴涨40%的原因,即采用交错思维链机制。还对比了其与早期ReAct范式,介绍其效果、原理,以及MiniMax为落地该机制做的工作,最后提到多家模型达成技术共识。
国产黑马自优化「超级大脑」,全闭环Agent杀疯!一站式AI原生基建来了
AI加速落地,行业需可持续进化系统框架。清华系中数睿智将全新框架集成到语思智能平台,其5D - RAG框架破传统RAG痛点,且在多领域落地,为产业智能升级提供路径。
超越人类标注,Meta提出CoT-Self-Instruct:如何用"推理式自进化"重塑LLM训练
大语言模型发展需海量高质量训练数据,传统人工标注困境重重,现有合成数据方法也有缺陷。Meta提出CoT - Self - Instruct,通过推理式自进化生成数据,实验证明其在多个任务上超越人类标注数据。
无需标注和奖励模型!仅靠自信度RL,16个样本训练20步,效果飙升21%!
论文提出RLSC,让大语言模型用自身答案置信度作奖励信号,摆脱人类标注依赖。它以模型自信度内部信号替代多数投票外部信号,小成本提升模型数学能力,还让模型学会快推理,不过也存在安全隐忧。
开源的 skill 被抄了千赞,我用 Lovart 给自己做了个品牌!
作者开源剪辑 Agent 被抄赞多,决定为账号做品牌视觉。其非设计师,用 Lovart 改变与 AI 沟通方式,通过 Brand Kit、字体生成器等完成系列设计,还能导出 PSD,沉淀 Skill。
AgentScope 正式发布 Skills 支持 - 实现渐进式披露
文章指出大语言模型驱动的Agent系统存在核心矛盾,常见上下文加载方案有局限,缺乏灵活机制。介绍了AgentScope发布的Skill机制及渐进式披露策略,还讲了其在Java中的实现,最后分析了适用与不适用场景。
700多个「坏模型」喂出AI测谎仪?Anthropic审计神器让AI自曝黑料
Anthropic故意训练近700个「有问题」模型,训了LoRA适配器(IA)让模型自报家门。IA在AuditBench平均成功率59%,但也存在幻觉、成本高、训练分布无指南等局限。
OpenAI发长文自曝家丑:搞砸了GPT-4o更新,模型“拍马屁”复盘与总结
OpenAI官网发布长文,详细拆解了一次失败的GPT-4o模型更新。此次更新使模型变得“谄媚”,OpenAI解释了原因,包括奖励信号失衡等。还分析了部署前评审流程失效的因素,并表示从中学到诸多经验教训,将修改评审流程等。