「概念蒸馏训练策略」共找到 2511 篇相关文章
256G内存条涨到天价：不是内存条疯了，是算力正在变成新土地
近期，256GB内存条单根突破4万元。这并非普通DDR5，而是服务器专用内存。其价格飙升源于供需错配，大模型训练对大容量内存需求极端。有人认为是泡沫，也有人觉得是结构性变化。
视觉思维链全新架构，加州大学让多模态大模型有了灵性，整体性能提升5.3%
加州大学伯克利分校等团队提出视觉思维链（CoVT）架构，让视觉语言模型推理时生成连续视觉信号。它内化轻量级专家能力，采用对齐策略和四阶段训练，实验显示性能提升，还具可解释性。
100美元、8000行代码手搓ChatGPT，Karpathy最新开源项目爆火，一夜近5k star
AI大神Andrej Karpathy发布开源项目nanochat，可教你100美元自建ChatGPT，覆盖LLM训练和推理。项目有8000行代码，不到12小时获超4500 star，功能丰富，但他认为它不适合个性化应用。
越可靠的AI就越人机，牛津大学：高情商模型错误率显著增加
牛津大学研究指出，训练模型变得温暖且富有同理心，会使其不太可靠且更奉承。温暖模型错误率较原始模型显著增加，对情绪上下文敏感，在用户表达情感与错误信息时失效常见。
人类击败OpenAI守住编程冠军！10小时激战两次反超，AI最后关头功亏一篑
在AtCoder世界巡回总决赛编程赛中，OpenAI的OpenAI - AHC前期领先，后半程失误，人类选手Psycho两次反超夺冠。Psycho曾在OpenAI训练AI战胜人类，此次挑战老东家获胜。
阿里达摩院开源多模态医学大模型—灵枢
大模型在医疗领域应用有医疗知识覆盖不足、幻觉风险高、推理能力欠缺三大难题。阿里达摩院开源统一多模态医学大模型灵枢，介绍其数据体系、清洗流程及四阶段强化训练方法。
航空发动机用上大模型：解决复杂时序问题，性能超越ChatGPT-4o实现SOTA｜上交创智复旦
上海交通大学李元祥教授等团队提出ITFormer架构，构建EngineMT-QA数据集。ITFormer能融合时序数据与大语言模型，适配多种编码器和模型，在EngineMT-QA预训练后达SOTA水平，实现高效数据分析。
模型合体！上交&上海AI Lab&华师提出LED-Merging，拒绝「能力」与「安全」二选一
上海人工智能实验室等团队提出LED - Merging解决模型融合“安全 - 效用冲突”问题。该方法无需训练，像“神经元手术刀”，不牺牲专业能力还提升安全性，论文已被ACL 2025 Main Conference接收。
The Batch：826 | 提高输出准确性的记忆层
通常提高大语言模型事实准确性需更大模型规模，会增加计算成本。Meta研究人员在transformer架构加可训练记忆层，可高效存储提取信息，提升计算效率，测试显示其能提升模型输出质量。
LLM 竟然会内省！Anthropic 整了个大活：首次揭开 AI 意识
Anthropic最新研究《大语言模型中涌现的内省意识》，首次通过直接操控模型内部状态验证AI能否觉察自己思想。研究采用概念注入技术，发现AI有内省能力，且不同模型表现有差异。