「无掩膜训练范式」共找到 2858 篇相关文章
10亿国民App丝滑升级AI应用!高德携手通义重构的底层架构曝光
高德用AI重构底层技术栈,建立主 - 从Agent架构,将千问大模型与空间智能结合。新架构分Agent层、模型层和工具层,还依托生态数据和通信协议。这让高德从工具变智能体,为行业转型提供范式。
突破单token预测局限!南洋理工首次将多token预测引入微调,编程任务准确率提升11.67%
当前主流大语言模型依赖下一token预测训练,难理解跨多token完整概念。南洋理工大学提出概念感知微调(CAFT)技术,首次将多token预测引入微调,能让模型理解完整概念,多领域实验显示其可显著提升模型性能。
AI领域并无真正的新想法,只有新的数据集
作者Jack Morris认为AI虽进步明显,但范式转变级突破不多。大语言模型四次关键突破底层理论早已有之,新在于数据。改变数据比调整模型或算法作用更明显,推动AI进步应找新数据,如YouTube或具身化数据。
新模型亦是新 Agent,Kimi-Researcher 超大量一手实测!
2025 年被称为“Agent 元年”,月之暗面发布了端到端强化学习训练的新一代 Agent 模型 Kimi - Researcher,其基座是自研新模型。文章对其进行大量实测,与 OpenAI 等对比,并探讨了 Deep Research 的重要性及 Kimi 的不足。
少说‘Wait’,多做题:NoWait重塑大模型推理路径
现代大模型在复杂推理时爱用自我反思词,触发冗余验证循环,拖慢速度、增加算力消耗。NoWait方法零训练成本,通过抓关键词、扩展变体、实时屏蔽,让模型跳过废话,在多任务中表现出色,且颠覆对推理的认知。
微软 CEO 萨提亚·纳德拉:智能体即产品,SaaS 已死?
微软 CEO 萨提亚·纳德拉在 Build 大会后接受专访,称正经历软件与智能范式巨变,AI 驱动的智能体网络将重塑企业软件未来,SaaS 会融入其中。他还分享了 AI 时代软件与商业模式变革的核心洞察。
微软副总裁X上「开课」,连更关于RL的一切,LLM从业者必读
微软副总裁 Nando de Freitas 在 X 上「开课」,分享人工智能教育帖子,从 LLM 的强化学习讲起。内容涵盖无监督、监督、强化学习定论,分布式强化学习系统构建,RL 用于后训练 LLM 等,还介绍单步强化学习与策略梯度及相关技巧。
纯血国产!4B模型越级打怪,杀入万亿赛道
9月1日,Hugging Face上线星火X2.5-4B和1.7B开源端侧模型,在多指标测试中表现优异,实现“越级打怪”。该模型基于全国产算力平台训练,在断网笔记本上实测效果惊艳,使用了两项技术提升能力,适配性强。
名师一定出高徒?清华团队最新揭秘:别再迷信大模型蒸馏的「免费午餐」
当下大模型后训练中,On-Policy Distillation(OPD)成明星技术,业界采用后报告性能提升。但清华团队研究发现,换更强Teacher,Student性能可能无提升甚至倒退。研究揭示蒸馏成败条件,深挖对齐机制,还给出拯救失败蒸馏的方法。
北大团队提出 SHINE:将任意文本转化为大模型 LoRA,仅需一次前向传播!
北大团队提出全新超网络架构 SHINE,仅需一次前向传播就能将任意文本转化为大模型 LoRA 参数,支持多轮对话。该方法实用潜力大、架构创新高效,训练流程成熟,推理快速,为大模型持续学习提供新思路。