「并行循环Transformer」共找到 616 篇相关文章
训练成本暴降99%,35秒出1分钟高清视频!英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构,其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署,重新定义AI视频生成效率极限。
又一推理新范式:将LLM自身视作「改进操作符」,突破长思维链极限
Meta等机构研究者将LLM视为「思维」改进操作符,探究并行 - 蒸馏 - 精炼(PDR)推理方法。实验显示,PDR在数学任务中提升准确率,还训练8B模型让推理方法更适配,减少训练与部署的不匹配。
刚刚,OpenAI前CTO:战胜LLM不确定性的方法找到了!
OpenAI前CTO创立的Thinking Machines Lab发布研究《战胜LLM推理中的不确定性》。研究指出LLM推理不确定性主因是批处理大小变化,而非常见认为的GPU并行性等。还给出实现批处理不变性的方案及实验结果。
高效大规模创新3D重建模型iLRM
多数基于Transformer架构的模型处理多视图输入有可扩展性问题,成均馆大学、延世大学研究人员提出创新3D重建模型iLRM。它通过迭代细化机制生成3D高斯表示,有独特架构设计和高效注意力机制。
Agent 跑分追平 Codex、成本低至 1.95 美元,这家中国公司做到了
德勤报告显示86%多Agent项目落地失败,硅谷也出现‘无限智能体死循环’。EvoMap团队的EvoX采用‘蜂群式自进化’打法,系统容错率翻倍、完成率跃升,成本大幅降低。跑分追平Codex,还展现出自组织潜力。
Auto Research时代,47个没有标准答案的任务成了Agent能力必测榜
Einsia AI旗下Navers lab发布Agent Benchmark——Frontier-Eng Bench,让AI在47个多学科交叉的硬核任务中做工程优化,测试其迭代优化能力。研究总结出AI进化规律,初步勾勒接近真实工程循环的AI系统。
“不爱龙虾爱马仕”,为什么Hermes比OpenClaw更值得
文章对比了Hermes Agent和OpenClaw,Hermes由Nous Research出品,开源免费,安装便捷,支持多模型。其核心是闭环学习循环,能自我进化,技能可自动生成和更新,记忆系统更优,在多场景有优势,安全设计好。
马斯克罕见低头:开源𝕏推荐算法,自嘲“很烂”不过未来月更
马斯克开源𝕏推荐算法系统,这是几乎全由AI模型驱动的系统。它基于Grok - 1同款Transformer架构,通过学习用户历史互动行为推荐内容。虽获社区称赞,但算法有缺陷,马斯克也承认‘很烂’,未来将月更。
Nature重磅:智能的尽头是算力!谷歌大佬承认「预测下一个词即智能」
芯片速度触顶,摩尔定律失效,但AI却在疯狂跃迁。Nature文章指出,智能的增长不靠芯片加速,而是结构重组与协作。其核心是预测和并行协作,AI正以类似生命演化的方式发展,与人类相互依存。
3B模型性能小钢炮,“AI下半场应该训练+验证两条腿跑步”丨上海AI Lab&澳门大学
上海AI Lab和澳门大学联合发布通用答案验证模型CompassVerifier与评测集VerifierBench,填补Verifier领域循环迭代体系空白。AI下半场评估比训练更重要,当前验证方法有困境,新模型验证精度高且能用于强化学习。