「预训练范式」共找到 2901 篇相关文章
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
星海图高继扬：具身智能下半场，应用为王
星海图CEO高继扬在AGI Playground大会分享具身智能观点，认为2026年是下半场，核心是应用。具身智能发展慢因缺高质量数据和合适本体，未来产品形态或为‘整机+预训练模型+后训练工具’，下游将形成大生态。
一篇多模态大模型推理技术最新综述
华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展，涵盖关键算法设计、奖励机制创新及实际应用，探讨了RL在LLMs/MLLMs中的关键设计与优化策略，还涉及多模态大模型推理多方面内容。
蚂蚁·安诊儿医疗大模型：正式开源并登顶权威医疗榜单
近日，蚂蚁集团联合浙江省卫生健康委开源自研的蚂蚁·安诊儿医疗大模型。它基于蚂蚁百灵大模型架构，经深度训练，是参数规模最大的开源医疗模型。该模型在多评测中表现出色，有三阶段训练流程，架构高效、推理快，已开源助力行业发展。
AI大模型开发核心技术栈：从框架到部署的全景解析
本文为开发者提供2025年AI大模型开发核心技术栈图谱，解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架；模型训练与微调有分布式训练、参数高效微调；推理优化含关键技术与主流框架；AI编程辅助工具分主流形态且有发展趋势。
只需一次指令微调，大模型变身全能专家天团，8B模型性能反超全微调基线 | ACL25 Oral
预训练大模型适应专业领域需高昂微调成本，稀疏混合专家架构虽能提升推理效率，但从头训练耗资源。浙大与Thomson Reuters团队提出SIMoE，单阶段微调就能升级大模型，还解决传统方法两大局限，在性能和效率上双突破。
对话VAST曹炎培：2秒才是3D生成本该有的速度
本文对话VAST首席科学家曹炎培，介绍其最新Smart Mesh功能，仅靠提示词或参考图，2秒内极速生成3D模型。Tripo P1.0重构AI 3D底层范式，实现原生三维空间概率生成。VAST获5000万美元A轮融资，今年将推UGC 3D平台。
Skill vs App：一场入口范式的争夺
量子位举办的「龙虾时代，Skill会吃掉App吗？」主题沙龙上，多位从业者围绕Agent生态、Skill能力边界、App未来形态等话题展开讨论。指出Skills不会完全干掉App，App会以Skill形式继续存在并进化，还探讨了App在AI时代的多种走向及面临的问题。
Anthropic再次挑衅AI输出范式， 谁才是标准?
Anthropic Claude Code团队工程师称HTML应成大模型输出新标准。文章探讨使用场景，如考虑为多看一眼付多少token、内容用途、交流对象等，建议按需选格式，HTML是可视化加班费。
开源，本体驱动的GraphRAG新范式，零噪声~
分享开源项目trustgraph，重点介绍本体驱动的零噪声GraphRAG。常规GraphRAG在实际应用中问题多，如数据重复、冲突、缺数据等，而本体可构建自我完善的知识图谱，作者为此造了“本体驱动GraphRAG”。