「全注意力模型」共找到 9042 篇相关文章
阿里通义开源「推理+搜索」预训练新框架：小模型媲美大模型，多个开放域问答数据集表现显著提升
阿里通义实验室开源通用预训练框架MaskSearch，引入检索增强型掩码预测任务，兼容两种训练方法。实验显示，它在多数据集提升模型性能，小模型能媲美大模型，还验证了训练方式、策略及奖励函数的效果。
冲击自回归，扩散模型正在改写下一代通用模型范式
Google I/O 2025 开发者大会上，Gemini Diffusion 引发关注，它是采用扩散模型的语言模型。此前已有团队探索扩散式 LLM，如斯坦福、上海 AI 实验室等。蚂蚁集团和人大推出 LLaDA，后发展出多模态模型，国内团队跻身前列。
攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日，蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0，独创棒冰算法解决训推差异难题，实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能，降低推理成本。
jina-embeddings-v5-omni 发布！全模态向量小模型
Jina AI发布`jina-embeddings-v5-omni`，将`v5-text`能力拓展到多模态。`v5-omni-small`参数量小却追平LCO - 7B，在多模态评测中表现优异，但视频是短板。其采用‘冻结 + 投影’架构，训练快、省显存。
美国模型长期霸榜的LMArena，出现了一个国产模型
2025 年底，中美 AI 阵营发展路径有区分，美国多是强模型加工具链，中国在多方面发力。12 月 23 日 LMArena 更新文本榜，百度文心新模型 ERNIE - 5.0 - Preview - 1203 以 1451 分登上榜单，成中国第一且是前 20 名里唯一非美国模型。
国产游戏理解模型刷新SOTA，对话逗逗AI CEO：开源模型+行业数据是突破关键
2025年末国产开源模型影响力凸显，东京电玩展上逗逗AI的游戏理解模型LynkSoul VLM v1超顶尖闭源模型。其CEO刘斌新表示，开源模型结合行业数据是突破关键，还探讨了产品技术、交互及发展趋势等。
OpenAI 开源模型泄露：六大技术细节
OpenAI 可能发布的开源大模型细节泄露，包含两款模型，1200 亿参数 MoE 模型和 200 亿参数稠密模型，专注文本处理。还涉及训练技术、激活函数、上下文窗口、注意力机制及底层架构等方面的技术细节。
模型宣称的“百万字处理能力”是真本事，还是营销噱头？LongCodeBench揭露真相
近年来大模型号称有百万字处理能力，但这是真本事还是噱头存疑。论文用LongCodeBench测评工具揭开长上下文模型真实表现，测试顶尖模型发现长文本能力‘翻车’，还分析了长上下文难的原因及面临的瓶颈。
AutoDev 3.0 → Xiuper：咻！全平台、全流程智能体编程平台
AutoDev Xiuper 3.0.0-alpha 发布，它是基于 Kotlin Multiplatform 构建的全生命周期 AI 编程助手，覆盖完整开发流程且支持全平台运行。其名 Xiuper 寓意 AI 自然“存在”于开发流程，承载多平台架构新变化。
时隔一年，再次使用7个国产AI大模型写高考作文，国产模型的进步也太大了！有彩蛋。
去年评测国产模型写高考作文能力时，各模型问题不少，如用词重复、字数不足。今年再次测试7个国产模型，能力有指数级提升，文采惊人，扣题方面通义千问和文心一言表现出色。文末还有海外模型“翻车”彩蛋。