「自注意力机制」共找到 1949 篇相关文章
Unsloth宣布更新,可免费用强化学习训练视觉大模型Qwen2.5-VL-7B
Unsloth宣布更新,支持视觉/多模态模型强化学习训练,含Gemma 3和Qwen2.5 - VL。其独特机制使VLM RL训练速度提升、显存占用降90%等。还引入GSPO算法,能在免费Colab T4 GPU训练Qwen2.5 - VL - 7B。
蚂蚁投了一家具身智能公司,做手的
具身智能市场火热,灵心巧手完成数亿元天使轮融资,由蚂蚁集团领投。该公司成立于2019年,此前已有超亿元种子轮融资。其自研灵巧手技术强、成本低、销量高,应用广泛,未来将聚焦软硬件协同。
OpenAI「辣椒芯」干翻英伟达!老黄股价不跌反涨
OpenAI自研芯片「小辣椒」跑分碾压英伟达最强blackwell,低延迟、高吞吐、低并发等全达SOTA级别。但英伟达股价未跌反涨,OpenAI也表态不会弃用英伟达。「小辣椒」预计2027年量产,OpenAI还将开发后续版本,不过其数据中心负责人离职,无人接手。
刚刚,Anthropic在质疑声中获130亿美元融资,估值达1830亿
Anthropic完成130亿美元F轮融资,投后估值达1830亿美元。此轮融资由Iconiq等领投,多方参与。自推Claude后其估值飙升,营收增长快。不过该公司也面临收集数据、用量限制等争议,却未影响投资者信心。
Agent开始“自我进化”:会出题、会反思,还会自己长出新技能
文章围绕自进化Agent展开,介绍其概念、受重视原因及三大技术路线,涵盖各路线代表工作的特点、评估及对比,指出研究空白如总结者训练等,最后还介绍了基于Agentic AI的全链路数据助手Dola。
这些大神在Meta的论文看一篇少一篇了
田渊栋团队剖析可验证奖励强化学习(RLVR)训练动态,戳破参数更新稀疏误区,提出三门理论说明其参数更新定位机制,还为RL训练算法设计提供指导,指出SFT时代参数高效微调方法在RLVR中迁移效果差。
仅100种子题,合成数据质量超GPT-5,阿里、上交提出Socratic-Zero框架
阿里巴巴与上交大联合提出 Socratic-Zero 框架,仅从 100 个种子问题出发,通过三智能体协同进化生成高质量课程。该框架合成数据质量超 GPT - 5 等,Solver 性能提升显著,工程友好,开启零数据自进化新路径。
让大模型学会“像人一样”查证真伪
伊利诺伊大学香槟分校等校研究团队提出训练框架Veri - R1,为大模型提供“在线查证”新范式。它借助在线强化学习、精细化奖励机制和高质量数据,让模型学会像人一样查证,在多数据集上表现出色。
高通Nuvia架构介绍
本文详细介绍高通Nuvia架构。Nuvia由经验丰富芯片设计师创立,后被高通收购,旨在强化自研技术、拓展市场。Oryon CPU架构是其成果,虽面临法律争议,但设计独特,多方面表现出色,还具备安全功能和较高性能。
Cursor新模型,你怎么还在套Kimi?马斯克你怎么还吆喝上了??
Cursor模型更新至Composer 2.5,测评成绩亮眼,性能接近Claude Opus 4.7,价格仅为其1/10。该模型以Kimi打底,在训练栈上做了改进。此外,Cursor与马斯克达成算力合作,走上自研之路。