「生成式预训练」共找到 4057 篇相关文章
大模型的第一性原理：（三）信息论篇
本文从信息论角度解读大模型第一性原理。介绍Shannon信息论，提出将其从以BIT为中心转换为以TOKEN为中心解释大模型底层原理，还阐述大模型各阶段信息论原理、定向信息计算方法，对比Granger与Pearl因果。
清华发布世界模型评测新标尺：直击机器人感知与行动鸿沟
清华大学等机构推出 WorldArena 评测基准，用于测试 EWM 真实能力。它融合感知与功能评估，含十六项视频指标，结合主客观评价生成 EWMScore。测试揭示模型在感知与行动上的差距，转型为实用型模型是行业挑战。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
英伟达世界模型再进化，一个模型驱动所有机器人！机器人的GPT时刻真正到来
英伟达GEAR实验室提出DreamZero，是基于预训练视频扩散骨干网络的世界动作模型，有140亿参数，能让机器人通过文本提示完成未见任务。它解决了传统模型问题，在多方面表现出色，代码已开源。
OCR又出宠OpenDoc，速度超MinerU6倍
复旦开源的OpenOCR是面向通用OCR任务的开源平台，其OpenDoc是超轻量文档解析系统。它采用Pipeline模式，两阶段解析不易放大误差。UniRec - 0.1B有独特架构与分层监督训练等创新技术。
就业恶化AI不背锅！经济大周期下AI取代的技能依然很重要
研究表明就业市场恶化早于生成式AI普及，高AI暴露职业失业风险在2022年初就上升。毕业生求职困境源于宏观经济周期，且掌握与AI能力重叠技能，在后ChatGPT时代反而能提升起薪、缩短求职期。
告别 AI 土味审美！Kimi K2.5 实测：扔个视频复刻 iOS 级丝滑动效
Kimi 上线 K2.5 模型，前端审美佳，接近 Gemini 3，增强多模态识别，支持视频。测试显示它能按要求生成漂亮网页，还可通过反馈迭代。它对设计师和普通人帮助大，且 Agent 模式任务完成率高。
3D领域的NanoBanana也来了，万物皆可用嘴操控。
3D领域的hyper3D推出Rodin Gen - 2，是首个能用嘴编辑3D模型的AI 3D产品。用户可上传三方模型修改编辑，还能图生3D。用嘴改3D能做局部可控修改，适合专业生产管线。
飞猪搭建系统演进：从人工运营到多Agent协同搭投生产
飞猪移动端页面搭建体系从初代寄生于阿里集团平台，发展成“搭投”体系。但传统人工选搭投模式待优化，为此启动AI智能搭投升级专项，构建新范式，还介绍产品结构、技术实现及后续规划。
蚂蚁C2LLM：基于注意力池化的代码检索新范式
在Code RAG场景中，传统文本Embedding模型处理代码表现欠佳。蚂蚁集团与上海交通大学联合发布C2LLM系列模型，引入注意池化模块，在MTEB - Code榜单表现出色，还得益于优质训练流程，成果已回馈社区。