「自注意力层」共找到 1538 篇相关文章
罗永浩的十字路口：播客、年轻人和 AI 浪潮
2025年底，罗永浩在极客公园IF 2026上称，做播客要克制天分，把舞台留给精英。他看好年轻创业者，虽锤子科技失败，但遗产滋养后辈。面对AI浪潮，他斗志旺盛，认为未来十年手机难被取代，自己还会折腾。
华为新开源！扩散语言模型突破32K上下文，还解锁了「慢思考」
今年文本生成领域从自回归向扩散语言模型转变，但长序列训练不稳定是痛点。华为发布 openPangu-R-7B-Diffusion，将上下文长度扩至 32K，在多基准创 7B 参数量级 SOTA，还解析了其技术革新。
奥特曼想要一个「AI接班人」！劈柴：这一天会来的
近日，奥特曼自曝「AI接班人」计划，认为AI近年能胜任OpenAI部门管理，最终覆盖企业流程。OpenAI企业客户破百万，其构想或为盈利拼图。但目前AI难取代CEO，奥特曼若被取代就去当农民。
2篇论文，最新上下文工程技术一次性讲透！
上下文工程技术持续火热，文章分享10月两篇相关论文。ACE让模型给自己写「战术板」，在多任务表现优；SA - ICL让LLM先搭框架再做题，在化学/物理准确率提升显著，还对二者做了横向对比。
NeurIPS 2025 Spotlight | 让检索、推理真正「合体」的小而强模型，AceSearcher来了
近期，多所高校研究团队发布 AceSearcher 模型，它是让同一语言模型在推理时兼任双角色的合作式自博弈框架，以两阶段训练为骨架，将推理与检索结合，提升复杂检索任务效果，在多任务上表现出色。
马斯克的作业还是被奥特曼「抄走了」
奥特曼宣布几周内发布ChatGPT新版本，12月推成人模式，让其重获个性化“灵魂”。这似在抄马斯克Grok作业，背后是为AI产品增长，当下AI之战已演变成争夺用户注意力和多巴胺的战争。
设计师大解放！清华发布「建筑平面图」自动生成模型 | ACL'25
清华大学吕帅团队提出FloorPlan-LLaMa模型，采用自回归生成架构与RLHF机制，解决传统平面图自动生成模型‘指标优秀但实际不可用’痛点，提升生成式平面图设计质量与实用价值。该论文被ACL录用获领域主席奖。
其实，扩散语言模型在最终解码之前很久，就已确定最终答案
随着扩散语言模型（DLM）发展，它成自回归（AR）模型有力替代。但实际推理慢于 AR 模型。研究者发现早期答案收敛现象，提出 Prophet 策略，实验显示其能在保持高质量生成时显著加速推理。
英伟达再出手！新型混合架构模型问世，两大创新实现53.6倍吞吐提速
英伟达研究者提出新混合架构语言模型 Jet - Nemotron，在达 SOTA 全注意力模型精度时效率卓越，2B 版性能超 Qwen3 等，H100 GPU 上生成吞吐量最高加速 53.6 倍，基于 PostNAS 和 JetBlock 两大创新。
视觉Token注入CLIP语义，走向多模态理解与生成新范式
腾讯ARC Lab等机构提出全新视觉分词器TokLIP，将低级视觉Token与高级CLIP语义结合，支持端到端自回归训练，可接入LLM框架，降低计算与数据门槛，在多模态任务中表现优异，代码已开源。