「全注意力」共找到 2014 篇相关文章
Clawdbot 深度拆解: 7 个问题看懂它。
近日,AI技术圈焦点是开源项目Clawdbot(已改名Moltbot)。它是“全天候Jarvis”,GitHub星标超8万。本文深度拆解,介绍其概念、对比同类、分析独特魅力、创意场景、安装配置、运行原理及面临的挑战。
天下苦SaaS已久,企业级AI得靠「结果」说话
SaaS在AI时代问题凸显,推理成本高、交付质量不稳定。在此背景下,百融云创推出结果云Results Cloud,以RaaS模式提供全栈解决方案,解决AI落地难题,还呼吁共建智能体生态。
独家|红杉领投,智元旗下具身数据平台业务觅蜂科技获数亿元融资
AI科技评论独家获悉,智元机器人旗下具身智能数据平台觅蜂科技完成数亿元种子轮与天使轮融资,由红杉中国领投,多家资本跟投。此次融资用于技术研发等,觅蜂已布局全类型数据,还将建立数据联盟。
大模型如何"不训练"也能学习?——上下文学习的隐式权重更新机制
大型语言模型能通过上下文学习(ICL)在推理时即时学习新任务,无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新,解释了ICL原理,为构建AI系统开辟新路径。
世界模型公司「厘清智能」完成数亿元种子轮融资,顺为红杉高瓴齐押注
清华系初创公司「厘清智能」完成数亿元种子轮融资,投资方豪华。其构建世界模型系统,全栈自研,释放强大泛化能力。由97年博导李一鸣领衔,集结名校人才。资本认为其是稀缺的‘范式级’团队。
全球首个完全AI编写的训练框架来了,速度反超英伟达:面壁要用 AI 把国产算力软件重写一遍
面壁智能发布全球首个全由AI编写的训练框架ForgeTrain,在华为昇腾系列上验证,速度超英伟达Megatron 10%。其构建分三阶段,目标是为不同需求“现场锻造”软件,还为国产算力软件生态赶超提供新思路。
长文本生成迎来新突破:拓元智慧推出 DrDiff ,实现效率与质量双提升
拓元智慧联合多团队开发出 DrDiff 框架,解决长文本生成中效率与质量难兼顾问题。其核心是“动态化”,有分层稀疏注意力、动态专家调度、语义锚点状态三个创新组件,经测试表现良好,未来应用值得期待。
抖音&LV-NUS开源多模态新模,以小博大刷新SOTA,8B推理比肩GPT-4o
抖音SAIL团队与LV - NUS Lab联合推出多模态大模型SAIL - VL2,以中小参数规模在106个数据集实现性能突破。该模型从架构、数据、训练三方面创新,后经全链路优化,在多数据集验证中表现卓越。
当ChatGPT也开始逐渐成为微信的模样。
OpenAI Blog提出目标是帮用户更好使用注意力,衡量标准是用户是否解决问题后离开,这与张小龙提出的微信“用完即走”理念相似。微信曾在流量时代坚持此理念,如今也面临桥与巢的矛盾。
NVIDIA发布最强开源模型,效果和速度全面超越DeepSeek R1
NVIDIA推出Llama - Nemotron系列开源模型,有LN - Nano、LN - Super、LN - Ultra三款。旗舰款LN - Ultra在权威测评中碾压DeepSeek - R1等,运行效率还更高。有“动态推理开关”功能,代码数据全公开,或引发AI推理效率革命。