「自注意力层」共找到 1599 篇相关文章
AAAI 2026 Oral | 大模型「爱你在心口难开」？深度隐藏认知让推理更可靠
合肥工业大学团队提出大模型存在‘隐藏的真伪认知’，论文让模型用此给推理‘打分’，过滤错误推理链。通过多层注意力头探测、构建预测器和新推理扩展策略，提升了推理链稳定性，实验效果优异。
国产手机正从底层重构安卓！vivo版AI OS亮相了
在vivo开发者大会上，OriginOS 6正式亮相，AI功能全面更新，还首次上线Live Photo的AI消除。它用自研技术重构安卓底层核心，首发蓝河流畅引擎，从计算、显示、存储三大模块优化。
华人主导谷歌SLED，论文登顶会！一键让模型学会自救
大模型常「瞎编」，传统修复代价高。谷歌在NeurIPS 2024提出SLED方法，不依赖外部知识和额外微调，将各层预测纳入考量，减少模型幻觉。实验显示，SLED能显著提升模型准确率。
LLM开源2.0大洗牌：60个出局，39个上桌，AI Coding疯魔，TensorFlow已死
9月13日蚂蚁集团开源团队发布LLM开源2.0全景图，收录114个项目，39个新晋、60个出局。生态洗牌，Agent层活跃，分类架构细化。AI Coding等领域发展显著，TensorFlow不敌PyTorch，还梳理厂商大模型发布情况。
Ultralytics & lightly-train：简化计算机视觉模型训练，无需标签
在计算机视觉领域，获取带标签数据成本高、耗时长。开源项目 lightly-train 用未标记图像和视频自监督预训练，减少标注成本与时间，可集成到现有训练管道，支持多种模型架构和应用场景。
不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近全量效果
上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。
Karpathy自称患上AI精神病！能力没有上限，一切都是Skill问题
Karpathy在播客中称自己患AI精神病，日常工作多依赖智能体。他认为智能体能力无上限，瓶颈在使用者技能。还探讨软件变革、自动化研究、模型分化等，对就业、开源等也给出看法。
AI泡沫越大鱼越贵！YC合伙人复盘2025年AI创业
2025年底Y Combinator博客复盘该年AI四大变局，如Anthropic成最受欢迎大模型，使用率超OpenAI。创业者可在模型间套利，创建垂直AI应用。能源焦虑催生太空数据中心，AI泡沫或成应用层红利。
16K星 Zep凭一张“动态记忆图”吊打一众Graph RAG
现有的RAG框架多依赖静态文档检索，无法满足企业对动态知识整合的需求。本次分享的Zep提供新型智能体记忆层服务，通过核心组件Graphiti动态整合数据，在LongMemEval基准测试中表现出色。