「少即是多」共找到 5203 篇相关文章
吴恩达来信:为什么 Meta 会向 AI 工程师支付 1 亿美元薪酬
近期,Meta 因向 AI 模型开发人员提供超 1 亿美元巨额薪酬登上头条。模型扩展资本密集,薪酬占比小,且 AI 对 Meta 业务机遇与威胁并存,招聘还能获技术洞察,所以高薪合理。
Attention Sink产生的起点?清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM,首次发现超级专家子集。通过多模型实证分析,揭示其分布规律、重要性及对注意力机制的影响,开发识别工具,为模型压缩提供新方向。
谷歌深夜放出「创世引擎」Genie 3!一句话秒生宇宙,终极模拟器觉醒
谷歌DeepMind推出通用世界模型Genie 3,能以每秒20 - 24帧速度实时生成720p画面,一句话即可生成动态世界,可模拟物理、自然等多种场景,但也存在有限动作空间等局限。
ACL首届博士论文奖公布,华人学者李曼玲获荣誉提名
自然语言处理顶会 ACL 公布首届计算语言学博士论文奖,获奖者是华盛顿大学的 Sewon Min,其论文聚焦大型语言模型数据使用。此外,还有三篇论文获提名,包括李曼玲等学者的成果。
忘掉《Her》吧,《记忆碎片》才是 LLM Agent 的必修课
文章把电影《记忆碎片》主角莱纳德看作真人版 Agent,结合情节拆解 Agent 上下文工程知识。阐述 Agent 取代 Chatbot 成行业主流,借莱纳德记忆系统说明上下文工程支柱,还指出 Agent 设计漏洞及需反思模块。
微软为了AI,买了17亿美金的屎。
微软花17亿美元让Vaulted Deep将490万公吨有机废物埋入地下,以此获取碳减排额度。这是因微软AI和云计算业务使碳排放增加,为兑现碳负排放承诺而采取的行动。
训练数据爆减至1/1200!清华&生数发布国产视频具身基座模型,高效泛化复杂物理操作达SOTA水平
清华大学与生数科技联合研发Vidar模型,首次让通用视频大模型长出‘手脚’,实现从虚拟到真实世界物理执行的跨越。它降低数据门槛,突破跨本体泛化困境,为服务机器人应用奠定基础。
隐形束缚:RLVR为何无法突破LLM的推理边界?
大型推理模型进展依赖带可验证奖励的强化学习(RLVR),但它能否扩展模型推理能力存疑。本文通过理论证明与实验,揭示RLVR存在“隐形束缚”,只能在基座模型初始能力内优化,难以发现新解。
OpenAI拿下IMO金牌,职业数学家崩溃:我终于明白李世石为何会落泪
AI在IMO获金牌,数学家Dave White自我认同崩塌,认为这是一种‘死亡’,探讨AGI带来的身份危机。加密教授Adam Cochran则从哲学视角回应,称人生身份重建与崩塌不断循环,真正的‘自我’超越单一标签。
从DeepSeek-V3到Kimi K2:八种现代 LLM 架构大比较
文章对比了DeepSeek-V3、Kimi K2等八种现代LLM架构。介绍各模型独特技术,如DeepSeek V3的多头潜在注意力和混合专家技术,OLMo 2的后归一化策略,Gemma 3的滑动窗口注意力等,探讨架构改进与突破。