「注意力残差」共找到 555 篇相关文章
小扎的残酷算术题：砸6000亿搞AI，裁1.6万人省钱
路透社爆料Meta计划裁员20%约1.6万人，这或为其自2022年底以来最大规模裁员。与此同时，Meta在AI投入巨大，如6000亿美元建数据中心等，但模型表现不佳，如Llama 4反响平平、Avocado推迟发布。
500行极简开源框架，硬刚GPT/Gemini视觉极限！
多模态大模型代码能力进步大，但基础视觉任务常失误。UniPat AI构建SWE-Vision框架，让模型用代码处理视觉判断，在五个视觉基准测试达最优，其极简设计有效且泛化性强，代码已开源。
刚刚，梁文锋署名开源「记忆」模块，DeepSeek V4更细节了
十几个小时前，DeepSeek 发布新论文，与北大合作，作者有梁文锋。针对大模型问题提出条件记忆，用 Engram 模块实现，已开源。结合此前研究，DeepSeek v4 模样渐清。模型性能、效率表现优，并发现 U 型扩展规律。
DeepSeek-OCR是「长文本理解」未来方向？中科院新基准VTCBench给出答案
DeepSeek - OCR的VTC技术可实现高压缩率，降低长文本处理成本。但视觉语言模型能否理解压缩信息存疑，中科院等推出VTCBench评估，测试模型认知极限，还推出VTCBench - Wild检测鲁棒性。
真实音频场景，大模型集体挂科！首个原生语音基准MultiChallenge
Scale AI发布首个原生音频多轮对话基准Audio MultiChallenge，撕开大模型靠合成语音评测维持的假象。实验显示，Gemini 3 Pro等模型在真实场景表现不佳，还揭示了模型在语音交互中的三大失败模式。
VGGT4D：无需训练，挖掘3D基础模型潜力，实现4D动态场景重建
香港科技大学（广州）与地平线研究团队提出 VGGT4D，无需训练，通过挖掘 Visual Geometry Transformer 注意力层运动线索，在动态物体分割等任务表现优异，为 4D 重建提供新思路。
Sora APP 60天留存率：0
a16z合伙人Olivia Moore分享数据，Sora APP下载爆发快，但用户留存率从首日10%降至60天的0%。虽有功能更新、取消注册门槛等举措，用户仍不买账，或因算法、功能设计等问题。
复盘 AI 陪伴消亡史：我们究竟做错了什么？
文章复盘了 AI 陪伴从高光到转折的历程，分析用户需求从猎奇到追求深层情感交互的演变，探讨产品设计迭代，指出用户体验不佳、厂商未实现 PMF 等问题，也提及市场积极信号，对未来发展持观望态度。
2.4万亿参数原生全模态，文心5.0一手实测来了
文心5.0正式发布，主打原生全模态，支持全模态输入和输出。官方测试显示其多维度表现突出，在LMArena文本排行榜并列全球第二。实测其理解精细、能捕捉细节，技术上采用自回归统一结构和超大规模混合专家架构。
企业广泛采用 Agentic AI，但领导层理解滞后
Sauce Labs调查显示，97%公司采用或计划采用Agentic AI用于测试，但61%领导层不完全了解软件测试需求。调查揭示矛盾现象，如受访者既看好自主测试又对数据访问不安。还指出团队与高管期望有差异，需解决不一致。