「持续预训练」共找到 2568 篇相关文章
最新发现！每参数3.6比特，语言模型最多能记住这么多
Meta、DeepMind等团队研究语言模型记忆容量，提出新方法估计模型对数据点的‘了解’程度，发现GPT系列模型约每个参数3.6比特，还提出模型容量等相关定律，激发社区多方面思考。
与Gemini Diffusion共振！首个扩散式「发散思维链」来了
西湖大学齐国君教授团队提出扩散式「发散思维链」，这是面向扩散语言模型的新型推理范式。它与传统思维链不同，能非线性生成，已应用于两种模型，增强后的模型在相关任务上超越现有模型。
领域驱动的 RAG：基于分布式所有权构建精准的企业知识系统
银行技术供应商为解决文档和专业知识获取难题，探索用 RAG 技术，严格将 AI 作咨询工具。重新分配 RAG 实施所有权，采用元数据方法，探索伸缩性解决办法，构建完整应用并评估性能，结果令人振奋。
北大DeepSeek论文或预定ACL Best Paper！梁文锋署名
北大DeepSeek联合发布的NSA论文已被ACL 2025录用且评分高，有望冲击最佳论文。该技术革新传统注意力机制，提升算力效率，是长文本处理的突破。此外，张铭教授团队还有多篇论文上榜。
OpenAI很看好！首个SWE-1模型发布，软件开发或将提速99%
Windsurf发布首个前沿模型SWE-1，目标将软件开发提速99%。它不只能写代码，还能协助软件工程流程。有三个系列模型，SWE-1运行成本低，SWE-1-lite对所有用户开放，SWE-1-mini适用于低延迟场景。
RSI离我们有多远？这家中国团队给出了第一梯队的工程解
目前行业探讨大模型的RSI时，常陷入思维定势。EvoMap团队没有盲目跟风，而是提出极具现实意义的工程新路径，构建自进化智能体，让经验在网络流转，还以硬核数据证明其体系有效性。
The Batch: 972｜Grok 的 Cursor 联盟获得回报
SpaceXAI发布与Cursor联合开发的视觉 - 语言模型Grok 4.6，已向开发者开放。介绍其输入/输出、特性等信息，阐述工作原理、性能表现，还提及相关新闻背景、重要原因及期望。
夜光影像里的"暗船"：双分支 YOLO11 如何用抓非法捕捞
非法捕捞的暗船常关掉 AIS 隐身，难被传统手段监控。论文提出双分支 YOLO11，通过夜光遥感数据精准检测，还设计预处理流程，在测试集表现优，规模化应用也得到暗船率等成果。
Anthropic求锤得锤！Mythos 2被曝雪藏，Mythos 3正秘密研发
SemiAnalysis内部播客爆料，Anthropic新模型Mythos 2训练完成却被雪藏，正用其生成数据研发Mythos 3。Anthropic曾呼吁监管，如今自食其果。此外，OpenAI的Astra也因安全问题暂停部分活动。
RoboScience机器科学发布轮式仿人形机器人REX G1，打造新一代具身生产力伙伴
8月17日，RoboScience机器科学发布轮式仿人形通用操作机器人REX G1。它搭载自研VLOA架构通用具身大模型Visics，面向多场景，能在真实世界完成任务闭环，具备多方面优势。