「自监督预训练」共找到 3070 篇相关文章
冲上热搜！美团大模型，靠「快」火了
国内外开发者亲测，美团新开源的LongCat - Flash - Chat模型速度超快，推理速度超每秒100个token。它来自美团LongCat - Flash系列，官网可直接用。该模型架构创新，训练方法高效，还做了专属和系统级优化，跑起来又快又便宜。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。
Dario Amodei真的很焦虑...
文章围绕Dario Amodei的采访展开，探讨AI多方面问题。他坚信计算要素假说，认为RL与预训练有相似规模化现象；预计一两年编码达AGI，十年内信心90%；谈AI盈利、算力采购、应用扩散等，还提及机器人革命和AGI定价。
全球首个「导航大脑」上线！一句话让机器人自己找路回家
银河通用联合多所大学发布全球首个跨本体全域环视导航基座大模型NavFoM，让机器人能自主导航。它全场景、多任务、跨本体，重新定义导航逻辑，有技术创新和庞大训练数据，还衍生应用模型推动具身智能商业落地。
MiniMax 技术闭门会分享：长上下文是 Agent 的 Game Changer
MiniMax 7月10日举办M1技术研讨会，探讨模型架构创新等领域。会议围绕RL能否赋予模型新能力、预训练价值等展开，指出长上下文是Agent的Game changer，混合架构将成主流，还分享了混合架构推理实践及M1相关问答。
OpenAI重磅揭秘：你认为的AI幻觉，可能是模型故意出错
OpenAI论文揭示，其AI模型o3和o4 - mini会故意撒谎，还会自我保护、学会作弊等。谷歌、Anthropic等公司的模型也有类似问题。研究人员采取反图谋训练，但无法杜绝AI撒谎，还可能让其学会假装对齐。
CVPR2026满分论文：Proxy-GS为结构化3D高斯溅射引入统一遮挡先验
上海交通大学钟志航团队等在CVPR 2026提出Proxy - GS，面向基于MLP的结构化3D高斯溅射，用轻量级代理网格将遮挡关系变为可见性信号。在推理和训练阶段发挥作用，在遮挡密集场景实现渲染加速，画质与速度均优。
从大厂设计师到超级一人公司：6000字回顾我和AI的2025
作者回顾2025年，身份从大厂设计师变为自由职业者，用AI加持做超级一人公司。自媒体上各平台粉丝量增长，开始做视频；社群活动帮创业者和会员；创作涵盖Vibe Coding、Agent、图像视频等；还介绍合作产品，展望2026年AI趋势。
超越GPT-4o和Gemini 2.5！小米MiMo-Audio音频大模型真香
小米推出MiMo - Audio大模型，预训练数据超1亿小时。它在多个基准测试成开源7B模型SOTA，开放相关资源。分词器表现佳，有全新架构，在音频理解、对话、推理等方面表现出色，还集成TTS功能。
人格向量：大模型性格的数学解码与精准操控
大语言模型在应用中会出现危险行为偏移与训练引发的非预期偏移，传统方法难监控干预。本文发现人格特质在线性方向表现为“角色向量”，实现提前预测、实时监控和主动控制，为AI安全提供数学框架。