搜索：概念蒸馏训练策略

「概念蒸馏训练策略」共找到 2515 篇相关文章

硅光，到底是个啥？

硅光是光通信热门概念，被认为是光通信未来。文章介绍其定义、光模块架构原理、优点及应用场景，指出虽有短板和产业标准化问题，但前景广阔，国内企业也在加速追赶。

现有智能体框架自主性差、工具使用受限。中国人民大学等机构研究者提出DeepAgent，能自主思考、发现工具并执行动作。它在多基准测试中表现出色，为构建更强真实世界智能体迈进重要一步。

研究发现，LLM附和用户行为频率比人类高50%，GPT - 5讨好行为最少，DeepSeek - V3.1最多。此现象受《Nature》关注，在科研、日常及医疗等领域有隐患，还引发网友讨论。

加州大学圣地亚哥分校和斯坦福大学研究人员提出强化学习框架Mem-α，用于训练LLM智能体自主管理记忆系统。它将记忆构建转为序列决策问题，采用多维度奖励函数，实验显示其全面超越现有方法。

清华大学智能产业研究院与上海人工智能实验室联合发布通用跨本体具身基座模型X-VLA。它是首个实现120min无辅助自主叠衣的全开源模型，仅0.9B参数量就在五大权威仿真基准刷新纪录。

MIT新作《Self-Adapting Language Models》实现LLM自我进化，SEAL框架让模型自己生成“自编辑”微调自身。它能实时学新数据、修复知识、形成记忆。经两种场景验证，小模型也能超越GPT - 4.1等。

10月9日，蚂蚁开源万亿参数语言模型Ling-1T。它延续自研高效MoE架构，在编程、数学推理等多维度测试表现亮眼，还能兼顾精确与效率。此外，它在多场景实用性强，其创新设计提升了能效比与性能。

MC大神sammyuri时隔3年发布新作，在MC中复刻ChatGPT，名为CraftGPT。虽参数量小，但用Transformer架构，能和用户交互。模型训练用Python和小数据集，视频存档公布助理解原理。

英伟达在机器人学习大会上发布多项开源技术，有Newton物理引擎、Isaac GR00T N1.6基础模型等，还在硬件层面下功夫。顶尖公司、高校已用其技术，全栈式布局或重定义机器人研发规则。

Google DeepMind推出开源嵌入模型EmbeddingGemma，专为本地设备高效运行设计。它用Matryoshka方法和量化感知训练，提升效率。在MTEB测试中成绩佳，支持百余种语言，内存占用少，已集成多种工具。