「帧级自回归框架」共找到 1894 篇相关文章
冲击自回归,扩散模型正在改写下一代通用模型范式
Google I/O 2025 开发者大会上,Gemini Diffusion 引发关注,它是采用扩散模型的语言模型。此前已有团队探索扩散式 LLM,如斯坦福、上海 AI 实验室等。蚂蚁集团和人大推出 LLaDA,后发展出多模态模型,国内团队跻身前列。
经典ReLU回归!重大缺陷「死亡ReLU问题」已被解决
在深度学习领域,经典 ReLU 函数因简洁性等优势受青睐,但有「死亡 ReLU 问题」。德国吕贝克大学等机构研究者引入 SUGAR 方法,不牺牲 ReLU 优势解决该问题,还设计 B - SiLU、NeLU 函数,实验显示性能提升显著。
搜索智能体也需要「操作系统」:SearchOS 开源多智能体协作框架
人大和蚂蚁的 SearchOS 研究,给出搜索智能体在长程任务中问题的答案。它借鉴数据库理念,做了多项核心设计,在开放信息检索基准评测领先,已提供多种使用方式,值得长程调研尝试。
AI精准编辑门槛大降:开源框架提升编辑一致性,即插即用
近日,中山大学、香港中文大学等团队发布研究成果ProEdit。它通过对注意力机制和初始噪声潜在分布处理,实现高精度图像与视频编辑,无需训练、即插即用,解决编辑效果与一致性平衡难题。
BigBang-Proton: 自回归基座模型统一语言、科学和物质世界
超对称公司发布新版基座模型 BigBang - Proton,实现多学科问题与 LLM 统一预训练和推理,挑战主流 AGI 技术路线。它有三项创新,在多专业学科任务表现出色,还提出宇宙尺度压缩构想。
3年手搓ChatGPT!剑桥天才少年在Minecraft游戏中爆火回归
MC大神sammyuri时隔3年发布新作,在MC中复刻ChatGPT,名为CraftGPT。虽参数量小,但用Transformer架构,能和用户交互。模型训练用Python和小数据集,视频存档公布助理解原理。
终结数据荒!智源开源首个Deep Research数据合成框架InfoSeek
在大模型深度研究中,高质量数据是短板。近日,智源研究院发布首个面向深度研究的开源数据集InfoSeek,提出「扩散 - 回溯」数据合成方法,用3B模型在基准测试中接近商业模型表现,且数据集可扩容。
RAG终极框架!港大开源RAG-Anything:统一多模态知识图谱
香港大学黄超教授团队发布开源项目RAG - Anything,构建统一多模态知识图谱架构,解决传统RAG技术局限。它能处理多类型异构内容,提供端到端方案,有多种优势及应用模式,还给出部署指南和未来展望。
Claude 和 Manus 还要人工搭框架?小米直接让 Agent 自我进化
6月12日小米Darwin Agent Team发布论文《HarnessX》,用“系统自进化”终结Harness人工调优时代,带来性能跃升。其让Harness成为“一等公民”,有可组合等特质,还能与模型协同进化,虽有局限但成热门方向。
扩散不死,BERT永生!Karpathy凌晨反思:自回归时代该终结了?
苹果前员工Nathan Barry得出BERT本质是文本扩散一步的结论,将表示学习算法改造成生成算法。OpenAI创始员工Karpathy对此沉思,认为生成逻辑在LLM架构中可变。实验证明RoBERTa可转为生成引擎。