「预训练研究」共找到 3733 篇相关文章
ICDE 2026 | 从匹配困境到推理突破：阿里REG4Rec 激活生成式推荐的个性化潜力
阿里国际智能技术团队提出生成式推荐模型 REG4Rec，从表征学习、训练目标和推理策略层面设计，提升推理能力与稳定性。离线实验表现优，已在 Lazada 部署，带来显著商业收益，成果被 ICDE 2026 接收。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
OCR又出宠OpenDoc，速度超MinerU6倍
复旦开源的OpenOCR是面向通用OCR任务的开源平台，其OpenDoc是超轻量文档解析系统。它采用Pipeline模式，两阶段解析不易放大误差。UniRec - 0.1B有独特架构与分层监督训练等创新技术。
Z-Image标准版开源：更具可塑性的图像生成全能基座
Z-Image标准版开源，它是为开发者准备的强大画板，解决了生成模型同质化问题。其保留完整权重，在微调、风格化上潜力大，采用创新架构，训练定位SFT阶段，有完整CFG支持，还提供完善工具链。
50个Agent分工干活，Kimi K2.5的Agent“军团”把我看呆了。。。
Kimi K2.5今日下午发布并开源，具备多模态能力。它能根据视频、链接等复刻网站，有Visual Edit功能且自动部署上线。还有Agent Swarm场景，多Agent协作解决复杂问题，应用体验佳。
吴恩达开新课教OCR！用Agent搞定文档提取
随着AI大模型发展，OCR重新成为技术专项，DeepSeek、智谱、阿里千问和腾讯混元等都在研究。吴恩达开新课，提出智能体文档提取（ADE）方案，准确率达99.15%，还给出本地和云端部署线路。
全靠Claude Code 10天赶工上线，Cowork 删用户11G文件不含糊！核心研发：长时间打磨再发布很难成功
Anthropic发布的Claude Cowork研究预览版问题频出，如删用户文件、窃取文件。与Claude Code对比，它交互繁琐、效率滞后。不过核心研发称快速上线再迭代，未来Agent类应用界面会趋简，Skills是关键。
蚂蚁C2LLM：基于注意力池化的代码检索新范式
在Code RAG场景中，传统文本Embedding模型处理代码表现欠佳。蚂蚁集团与上海交通大学联合发布C2LLM系列模型，引入注意池化模块，在MTEB - Code榜单表现出色，还得益于优质训练流程，成果已回馈社区。
网民票选AI王者，LMArena一夜变17亿美元独角兽！
LMArena原是校园开源小项目，从2023年起步，如今估值达17亿美元。其Arena模式让网友盲投选AI，Elo评分系统算排名。虽有众包投票易操纵等争议，但已成行业标杆，还将为大厂提供付费评估服务。
老黄All in物理AI！最新GPU性能5倍提升，还砸掉了智驾门槛
英伟达CEO黄仁勋在CES 2026发布AI新品，全力搞AI。推出下一代Rubin架构GPU，性能大幅提升；发布五大领域成果，含新模型家族、平台等；还开源训练框架与多模态数据集，国产开源模型被提及。