「持续预训练」共找到 2569 篇相关文章
MiniMax重磅开源M1模型：百万上下文超DeepSeek R1，实现性能与效率双杀
MiniMax正式开源首个推理模型M1，原生支持百万级上下文长度，在推理效率、计算成本和复杂任务能力上有独特表现。其在性能和效率上超越DeepSeek R1等模型，还提出创新强化学习算法。
Kimi新模型拿下代码开源SOTA，仅仅72B，发布即开源
深夜，Kimi发布新开源代码模型Kimi - Dev，在SWE - bench Verified上以60.4%成绩获开源SOTA。参数量72B，编程水平强。采用MIT协议，权重和代码已发布。官方透露了部分关键技术，更多细节待后续报告。
复旦提出自适应Reasoning方法ARM，“能屈能伸”
复旦提出自适应Reasoning方法ARM，解决LLM‘过思考’问题。ARM内置四种解题策略和三种决策模式，还搭配Ada - GRPO算法，在23个数据集测试中表现出色，省token、提速度且准确率高。
突袭Cursor，Windsurf抢发自研大模型！性能比肩Claude 3.5、但成本更低，网友好评：响应快、不废话
当地时间5月16日，Windsurf推出首个AI软件工程模型家族SWE - 1，含三款模型，性能比肩Claude 3.5且成本更低。开发者试用评价不错，但也指出不足。Windsurf称旨在提升软件开发速度，还介绍了测评、编辑器赋能等情况。
让代码接管世界演化，西湖大学发布Code视频世界模型
西湖大学研究团队提出 Code World Model，将‘世界如何演化’和‘世界如何被看见’拆成两个互补问题，由 Coding Agent 决定世界演化，代码执行规则，视频模型转化为视觉观察，有应用潜力。
刚刚，GPT-6代号再泄露！或将周四见
据传GPT - 6本周将发布，OpenAI「义父」爆料Codex接入最强Astra模型，其内部代号「mewfour」泄露。Astra内部版已解决多个数学难题，成本仅约2000美元，还或达网络安全最高能力阈值，可能开启多智能体原生时代。
RoboScience机器科学发布轮式仿人形通用机器人REX G1，让机器人真正成为新一代具身生产力伙伴｜甲子光年
8月17日，RoboScience机器科学发布轮式仿人形通用操作机器人REX G1，搭载自研的Visics通用具身大模型，面向多场景打造，能完成完整任务闭环。它将移动与操作融合，适应真实环境，具强大泛化能力且续航佳。
AI 会生成 PPT 之后，Runtime 决定了它能做多好
作者回顾PPT Agent发展，指出存在Agent理解操作文档及AI生成PPT表达单一的问题。提出Artifact Runtime概念，它让PPT可被持续操作，还能接管重复决策，但不能替代专业判断。
谷歌开始肢解DeepMind，数个团队被划归总部
DeepMind换帅一周后震荡持续，谷歌将拆分它，把部分非技术团队转入谷歌汇报体系。谷歌联合创始人谢尔盖·布林重新介入Gemini。此外，Gemini因算力、内讧、官僚等问题落后。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。