「1M上下文」共找到 2403 篇相关文章
把RoPE扔掉，AI更能看懂长上下文！Transformer作者团队开源大模型预训练新方法
Transformer架构核心作者之一Llion Jones团队开源新技术DroPE，可丢弃位置嵌入扩展上下文，解决RoPE长序列处理缺陷，在多模型实验中表现卓越。该团队来自Sakana AI，此前还有相关研究成果。
非Transformer架构的新突破，液态神经网络的推理小模型只用900M内存
谷歌提出的Transformer架构基本垄断大模型，而初创公司Liquid AI研发的液态神经网络架构另辟蹊径。其发布并开源的LFM2.5 - 1.2B - Thinking模型，仅需900MB内存就能在端侧运行，性能优于Transformer架构模型，还降低了死循环生成比例。
16岁创业，22岁做成百亿独角兽！3位高中同学帮大厂训AI年入1亿美金
Meta豪掷143亿收购Scale AI，其CEO加盟Meta。这一并购让Mercor创始人Brendan Foody看到机会，认为Scale AI失去中立性，大厂或不再合作。Mercor为AI实验室提供训练人员，年入1亿美金，估值达百亿。
腾讯混元世界模型HY-World 1.5开源，24 FPS的实时交互世界建模
腾讯混元世界模型HY - World 1.5开源，实现24 FPS实时交互世界生成。它采用双重动作表征等技术，解决了长程生成问题，还通过强化学习等优化，在多方面表现出色，为具身智能场景模拟奠基。
OpenClaw 能“边用边训”了：智能体强化学习训练框架 AReaL v1.0 稳定版发布
3月4日，蚂蚁集团联合清华发布开源强化学习训练框架AReaL v1.0稳定版，主打‘Agent一键接入RL训练’。它解决现有智能体框架接入训练成本高、缺乏持续进化能力的问题，还推出原生训练引擎Archon，集成AI辅助开发体系。
实测 Seed 2.1 Pro：从零到一，开源一个大学生就业补贴的公益网站
火山引擎在 Force 大会发布豆包大模型 Seed 2.1 Pro 系列，API 上线火山方舟。作者实测用其完成大学生就业补贴政策网站开源项目，展示模型 Coding 和 Agent 能力，还提及性能、成本等优势及后续计划。
懂方言，通诗词，精通30国语言，阿里发布语音识别大模型Fun-ASR1.5
阿里发布语音识别大模型Fun - ASR1.5，可精准识别30种语言，覆盖中文七大方言体系及二十余种地方口音，强化古诗词诵读专项识别，后处理环节优化标点预测和文本归一化，降低人工成本。
谷歌也要「AI抖音」了！新Veo 3.1原生支持竖屏，4K分辨率高画质
谷歌Veo 3.1升级，全方位提升视频生成质量，新增竖屏和4K两大特性。它还提升创意、一致性和元素融合能力。谷歌借此进军AI短视频，结合自身优势推动“AI视频竖屏化”趋势。
马斯克放出编程界价格屠夫！Grok Code Fast 1：更快，更省，还免费
近日，马斯克旗下xAI发布全新编程模型Grok Code Fast 1，它为“代理式编程”而生，靠全新架构实现高速代码生成。在技术出色的同时，价格低廉还限时免费，虽在部分场景有不足，但仍是开发者实用工具。
14B打败671B！微软rStar2-Agent在数学推理上超过DeepSeek-R1
如今的大语言模型推理能力关键在于测试时扩展，但长思维链有局限。微软研究团队用主动式强化学习探索，成果 rStar2 - Agent 方法训练出 14B 的 rStar2 - Agent - 14B 模型，性能超 671B 的 DeepSeek - R1。