「混合标签监督」共找到 410 篇相关文章
从“卡脖子”到“破局点”:一家中国公司的高端半导体键合突围战
芯师爷专访迈姆思半导体负责人潘总,该公司专注高端半导体材料“再制造”,技术体系有高端SOI制造、异质集成、混合键合三大支柱。其在多领域有领先产品,技术壁垒高,产能将逐步扩大,供应链安全可控。
哈工大、中科院等利用模型“潜意识”提高推理模型效率,0.6B撬动复杂推理
哈工大、中科院等提出TrajSelector框架,让推理模型‘倾听内心独白’。它利用模型隐藏状态,用0.6B轻量级验证器实现比7B裁判模型更精准选择,在数学竞赛基准测试中表现出色,还能离线筛选数据,但在开放域问答有难题。
长上下文快2.9倍,解码快6倍:Kimi 用线性注意力实现性能与效率双突破
月之暗面团队的Kimi Linear模型,是混合线性注意力架构,核心是Kimi Delta Attention模块。它解决线性注意力的记忆及遗忘问题,在多任务测试表现出色,还开源相关资源,推动高效长上下文模型研究。
CMAME | 香港理工大学周原野、周恺等:面向清晰几何边界工程优化的拉格朗日拓扑物理信息神经网络
近年来物理信息神经网络引入拓扑优化领域,但结果边界弥散。本文提出“拉格朗日拓扑物理信息神经网络”框架,将显式可变形基础几何体嵌入可微分物理求解器,提升了优化结果的可制造性与精度。
DeepMind 颠覆机器人学习范式:让机器像人一样 “自由成长”
谷歌DeepMind受大模型微调中强化学习阶段启发,提出面向机器人学的两阶段后训练方法,含监督微调与自我提升。实验显示该方法让机器人自主习得新技能、广泛泛化,但研究也存在标注成本高等局限。
无需外部数据!AI自问自答实现推理能力进化
卡内基梅隆大学团队提出SQLM框架,这是无需外部数据的自我提问模型,含提问者和解答者角色。通过强化学习最大化期望奖励,设计自监督奖励函数。实验显示其能提升Qwen2.5 - 3B - Instruct多任务准确率。
SPIRAL:零和游戏自对弈成为语言模型推理训练的「免费午餐」
新加坡国立大学等机构团队提出 SPIRAL,让模型在零和游戏自对弈强化推理,摆脱人工监督。研究发现游戏可培养推理能力并迁移到数学,还开发系统保障训练,虽有局限但为 AI 发展指明方向。
8种LLM架构设计大比拼:从 DeepSeek-V3 到 Kimi K2,究竟有啥不同
文章对比了8种LLM架构设计,如DeepSeek-V3、OLMo 2等。介绍各模型关键技术,像DeepSeek-V3的多头潜在注意力和混合专家架构,还分析不同设计对性能、效率的影响,助读者了解LLM架构差异。
DeepSeek R2没来,Kimi K2来了,VLLM,SGLang首发支持
Moonshot AI发布Kimi K2大语言模型,采用混合专家架构,总参数量达1万亿。其有多项技术创新,在多个基准测试表现突出。发布两版本,用修改版MIT协议开源,vLLM、SGlang首发支持,已上线多服务。
最强3B「小钢炮」,代码数据全公开!推理随意开关,128k超长上下文
Hugging Face推出30亿参数模型SmolLM3,支持128k长上下文,训练等全链路开放。它在架构、数据混合策略等多方面优化,性能超Llama3.2 - 3B等,还公开双模式指令模型构建方案。