「神经网络架构」共找到 1919 篇相关文章
从VLA到RoboOmni,全模态具身新范式让机器人察言观色、听懂话外音
复旦大学等联合推出全模态端到端操作大模型RoboOmni,统一多模态,实现动作与语音协同控制。它重新定义机器人交互范式,让机器人具备“察言观色”能力,还构建了OmniAction数据集,实验表现全面领先。
扩散不死,BERT永生!Karpathy凌晨反思:自回归时代该终结了?
苹果前员工Nathan Barry得出BERT本质是文本扩散一步的结论,将表示学习算法改造成生成算法。OpenAI创始员工Karpathy对此沉思,认为生成逻辑在LLM架构中可变。实验证明RoBERTa可转为生成引擎。
美团杀入视频生成模型赛道,LongCat-Video 136亿参数媲美顶尖模型,效率提升10倍
美团LongCat团队发布LongCat - Video基础视频生成模型,有136亿参数量,多任务表现出色。它核心亮点多,还建立了数据处理流水线,采用特殊架构和训练方法,提升了生成效率,性能媲美顶尖模型。
实战·Agentic 上下文工程(上):无需微调,让智能体自我学习与进化
在Agent时代,提示工程进化成上下文工程。斯坦福等团队提出Agentic Context Engineering(ACE),让智能体自我学习与进化。文章介绍了上下文工程的必要性、定义、常见策略,以及ACE的概念、原理与架构。
1.58bit不输FP16!微软推出全新模型蒸馏框架,作者全是华人
微软推出蒸馏框架BitNet Distillation,实现几乎无性能损失的模型量化。它含三阶段,经实验在多下游任务表现近全精度模型,降内存开销、提推理速度,作者全是微软研究院华人。
谢赛宁新作:VAE退役,RAE当立
谢赛宁团队研究表明VAE时代结束,RAE将接力。RAE是用于扩散Transformer训练的新型自动编码器,能提供高质量重建结果,有语义丰富潜空间,支持可扩展架构,收敛快,在ImageNet图像生成效果强劲。
AI 原生设备爆发,操作系统迎来更智慧、更流畅、更安全的范式革命
AI原生设备爆发,传统操作系统面临挑战,将迎来范式革命。vivo蓝河操作系统3(BlueOS 3)全栈自研,具备“天生更智慧、更流畅、更安全”特质,本文以此为例解读操作系统架构重塑。
AIAA J | 香港理工大学王旭等:目标导向的特征提取-以特征构建增强数据驱动模型
该论文通过对比学习理清潜在输入特征与目标输出的关联性,提出输出驱动的输入特征构造方法。所构造特征在高维代理模型构建中增强效果显著,还可减少预测误差分布及不同模型收敛性和鲁棒性差异。
大模型顿悟原理!Meta新论文说清楚了
Meta超级智能实验室(FAIR)最新论文把大模型顿悟(grokking)现象的数学机制说清楚了。提出Li2数学框架,将两层神经网络的grokking动态分三阶段,还推导了泛化缩放定律等。
Anthropic 发布 AI Agent 上下文工程指南
今年6月Andrej Karpathy提出用「上下文工程」取代「提示词工程」。Anthropic发布工程博客呼应此观点,指出构建AI应用重心转向策划上下文。文章详述上下文工程重要性、有效上下文剖析、检索及长时任务应对技术等。