「自蒸馏策略优化」共找到 2064 篇相关文章
OpenAI久违发了篇「正经」论文：线性布局实现高效张量计算
OpenAI 近日发布研究论文，提出用于高效张量映射的统一代数框架 Linear Layouts，解决了 Triton 等深度学习编译器中长期存在的难题。该框架是使用二元线性代数的张量布局通用代数形式，评估显示其优化版 Triton 性能有提升。
大量英伟达GPU开始在仓库吃灰
微软CEO纳德拉承认，公司有成堆GPU因缺电、缺空间闲置。如今电力与数据中心建设跟不上AI产业扩张，算力端企业调整策略，网友建议开发低能耗芯片，微软还将向阿联酋投资建设数据中心。
32倍加速，58秒搞定720p视频！字节发布离散自回归框架，统一视觉生成和长视频生成
字节发布InfinityStar框架，将5秒720p视频生成时间从30多分钟缩至58秒，还支持多样任务。它基于对视频本质思考设计时空金字塔模型，将时空分离，通过多项技术优化，性能表现出色，不过也存在一些技术局限。
裁员现在不叫裁员，叫 AI 裁员
当下很多公司出现‘AI裁员’现象，在AI加持下，人员价值被重估。重复性高、难证边际价值的岗位易被裁，公司会加大对与AI相关岗位的投入。中美企业在裁员做法类似，但人才策略不同。
社区供稿丨揭秘端到端文档OCR模型 POINTS-Reader
腾讯开源端到端文档OCR模型POINTS-Reader，论文被EMNLP 2025主会录取。它提出可扩展数据生成方案，具简洁、性能好、高吞吐量等特点，通过两阶段训练方案解决依赖蒸馏数据问题，在多基准测试表现佳。
《TAML》好文推荐 | 来自清华大学张宇飞团队最新研究成果 基于文本生成翼型：FoilCLIP,一种语言驱动的气动设计新框架
传统翼型设计依赖CFD和风洞试验，成本高。清华大学张宇飞团队提出端到端双向映射框架FoilCLIP，通过对比学习建立文本与翼型几何双向映射，还提出数据增强策略，验证了其在语言驱动设计中的应用潜力。
Karpathy用「harness」彻底终结了RAG。
假期时Karpathy提出llm.wiki想法引发关注。它是元框架，定义人类与AI协作管理知识的方式。与RAG不同，它将新材料关键信息编入已有wiki并持续维护。作者用多种数据测试，发现TextIn API解析效果好，还优化处理流程提升质量。
AgentScope 正式发布 Skills 支持 - 实现渐进式披露
文章指出大语言模型驱动的Agent系统存在核心矛盾，常见上下文加载方案有局限，缺乏灵活机制。介绍了AgentScope发布的Skill机制及渐进式披露策略，还讲了其在Java中的实现，最后分析了适用与不适用场景。
LlamaIndex 深度实战：用《长安的荔枝》学会构建智能问答系统
文章兼顾 RAG 科普与 LlamaIndex 实战。介绍 RAG 原理，用《长安的荔枝》讲解关键步骤和参数。实战部分展示用 LlamaIndex 搭建问答系统，代码量少。优化篇通过实验给出参数调优建议，架构篇剖析内部机制，最后提及 Agent 化拓展功能。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。