「高效注意力机制」共找到 1491 篇相关文章
在WAIC现场，全球首个拥有「原生记忆力」的大模型亮相，但不是Transformer
在WAIC上，RockAI推出基于非Transformer架构Yan 2.0 Preview的多模态大模型，有原生记忆能力。它在性能指标上优势明显，其记忆机制接近生物方式，团队秉持理念推动离线智能，获硬件厂商关注。
在OpenAI上班有多卷？离职员工爆料：7周打造Codex，每天熬到凌晨
OpenAI前员工Calvin French - Owen离职后在博客分享工作经历。他介绍了OpenAI内部沟通、晋升机制、战略调整等情况，还讲述Codex 7周开发发布过程，最后分享离职收获并建议创业者反思或加入顶级实验室。
工行x上交大发布多智能体研究成果，通过群体智能刷新翻译新高度！
2025年多智能体系统成大模型研发新高地。工行大数据和人工智能实验室与上海交大人工智能学院推出多智能体翻译系统TACTIC，以认知翻译学为指导，在相同模型配置下提升翻译效果，在小模型下提升更明显。
VLA 推理新范式！一致性模型 CEED-VLA 实现四倍加速！
近年来，VLA模型成机器人领域重要研究方向，但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略，在多基线模型上实现超4倍推理加速，实验验证其高效通用。
GitHub热搜，腾讯黑科技炸场！PhotoMaker：10秒定制真人级头像，百万开发者已疯狂
PhotoMaker是腾讯ARC实验室联合南开大学发布的人像图像生成项目，荣膺CVPR 2024。它能秒级生成高质量人像，有高保真ID嵌入等机制，V2版升级显著，适用多场景，比同类项目优势明显。
孙凝晖院士：集成芯片带来三大科学问题
随着摩尔定律发展放缓，集成芯片与芯粒技术对高性能芯片设计制造愈发重要。孙凝晖院士在2025年度晶上系统生态大会指出，集成芯片是提升性能新路径，但芯粒集成度提升带来三大科学问题。
性能比肩DeepSeek-R1，MiniMax仅花380万训出推理大模型性价比新王｜开源
MiniMax开源推理大模型MiniMax - M1，原生支持100万token输入、8万输出，性能比肩DeepSeek - R1，仅花380万训成。采用Lightning Attention机制与CISPO算法，在多领域表现出色，模型权重可在HuggingFace下载。
Meta「轻量级」KernelLLM颠覆GPU内核生成，8B参数碾压GPT-4o
Meta推出基于Llama 3.1微调的8B参数KernelLLM，能将PyTorch代码转高效Triton GPU内核。实测单次推理性能超GPT - 4o和DeepSeek V3，多次生成得分更高，让内核开发更易上手。
全新预训练数据筛选方案，让数据效率提升10倍！配置仅需fastText评分器｜港科大vivo出品
香港科技大学和vivo AI Lab提出轻量级高效数据选择方法PreSelect，已被ICML 2025接收。它只需训练部署基于fastText的评分器，减少10倍计算需求，在多数据集实验中效果显著优于其他方法。
我是如何破解 NotebookLM 系统提示词的？
作者分享通过“逆向推理”破解NotebookLM系统提示词的故事，介绍系统提示词概念、破解原因、策略及从播客音频逆推提示词的方法，还提到该方法的效果及局限性 。