「自注意力层」共找到 1530 篇相关文章
Ultralytics & lightly-train：简化计算机视觉模型训练，无需标签
在计算机视觉领域，获取带标签数据成本高、耗时长。开源项目 lightly-train 用未标记图像和视频自监督预训练，减少标注成本与时间，可集成到现有训练管道，支持多种模型架构和应用场景。
不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近全量效果
上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。
Karpathy自称患上AI精神病！能力没有上限，一切都是Skill问题
Karpathy在播客中称自己患AI精神病，日常工作多依赖智能体。他认为智能体能力无上限，瓶颈在使用者技能。还探讨软件变革、自动化研究、模型分化等，对就业、开源等也给出看法。
AI泡沫越大鱼越贵！YC合伙人复盘2025年AI创业
2025年底Y Combinator博客复盘该年AI四大变局，如Anthropic成最受欢迎大模型，使用率超OpenAI。创业者可在模型间套利，创建垂直AI应用。能源焦虑催生太空数据中心，AI泡沫或成应用层红利。
16K星 Zep凭一张“动态记忆图”吊打一众Graph RAG
现有的RAG框架多依赖静态文档检索，无法满足企业对动态知识整合的需求。本次分享的Zep提供新型智能体记忆层服务，通过核心组件Graphiti动态整合数据，在LongMemEval基准测试中表现出色。
给Claude Code加个音效提醒
文章指出Claude Code缺少提醒功能，作者用Claude Code自带的hooks功能和macOS系统的afplay工具，实现音效提醒。需要确认时播放塞尔达传说BGM，完成时播放超级马里奥BGM，还介绍配置方法。
硬核拆解大模型，从 DeepSeek-V3 到 Kimi K2 ，一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型，硬核拆解架构设计与革新思路，介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术，OLMo 2 的归一化策略，Gemma 3 的滑动窗口注意力机制等。
阿里新研究：统一了VLA和世界模型
阿里达摩院等提出WorldVLA框架，融合视觉语言动作模型与世界模型。它用三套分词器编码，解决传统自回归模型问题，经联合训练，实验显示其性能优，两模型还能相互助力。
TACO: 让 CLI Agent 在自主迭代中学会丢掉无用上下文
由多校及研究团队联合提出 TACO，这是无需训练、即插即用的终端智能体自进化观测压缩框架。它能让智能体学习压缩规则，过滤低价值输出，保留关键线索，实验显示其提升了任务成功率和 token 效率。