「全注意力模型」共找到 8734 篇相关文章
阿里新研究：统一了VLA和世界模型
阿里达摩院等提出WorldVLA框架，融合视觉语言动作模型与世界模型。它用三套分词器编码，解决传统自回归模型问题，经联合训练，实验显示其性能优，两模型还能相互助力。
GPT-Image-2平替！最强开源生图模型来了
OpenAI推出GPT Image 2引发AI生图大战，国内厂商商汤反击，推出多模态理解生成模型SenseNova U1并全面开源。它通过自研架构实现理解、推理、生成统一，实测表现惊艳，能力全维度，与GPT-Image-2范式不同。
翁荔创业大模型首秀！告别“120亿美元估值0模型”
Thinking Machines Lab发布首个模型TML - Interaction - Small，联合创始人翁荔演示。该模型让实时交互成原生能力，响应延迟比GPT - realtime - 2.0快4倍，解决了多数AI“回合制”问题，还介绍了实现机制和公司过往情况。
谷歌版小钢炮开源！0.27B大模型，4个注意力头，专为终端而生
谷歌开源Gemma 3 270M，几分钟就能完成微调，性能超Qwen 2.5同级模型。此模型小巧高效，可本地运行，还能用它构建OCR应用。它有多项亮点，适合多场景，上手简单。
治好多模态近视和走神！上海大学去偏干预显著提升模型性能
多模态大模型存在“近视”和“走神”问题，总是过度关注图像底部而忽略核心内容。上海大学与南开大学研究团队用两条数学公式去偏干预，无需增加计算成本，却能显著提升主流模型视觉理解能力。
AGI真方向？谷歌证明：智能体在自研世界模型，世界模型is all You Need
谷歌DeepMind研究人员表明，通用AI智能体处理复杂长期任务需学习内部世界模型，还证明可从智能体策略提取该模型。此研究成果补充多领域，对AI发展和安全意义重大。
ACL2025 | 代码助手火了，但安全吗？所有模型评估结果都很扎心
近期，GitHub Copilot、ChatGPT等AI代码生成工具爆火，效率显著提升，但代码安全性存疑。北大团队用CoV-Eval评测20款主流大模型，结果不佳，论文还给出优化方向，呼吁代码上线前严格测试。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
大模型开发者必读！拆解世界级AI模型的诞生，Hugging Face把4年模型训练经验写成了一本开源指南
Hugging Face发布《The Smol Training Playbook》，分享约4年构建SOTA模型和数据集的经验。手册涵盖是否训练、训练何种模型、如何训练等内容，强调数据质量重要性，还介绍了模型设计、训练中的实践与教训。