「预训练研究」共找到 3695 篇相关文章
AI大模型开发核心技术栈：从框架到部署的全景解析
本文为开发者提供2025年AI大模型开发核心技术栈图谱，解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架；模型训练与微调有分布式训练、参数高效微调；推理优化含关键技术与主流框架；AI编程辅助工具分主流形态且有发展趋势。
只需一次指令微调，大模型变身全能专家天团，8B模型性能反超全微调基线 | ACL25 Oral
预训练大模型适应专业领域需高昂微调成本，稀疏混合专家架构虽能提升推理效率，但从头训练耗资源。浙大与Thomson Reuters团队提出SIMoE，单阶段微调就能升级大模型，还解决传统方法两大局限，在性能和效率上双突破。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
现代GPU体系结构Cache Operators行为研究
本文基于Compute Capability 8.9的L20 GPU进行实验，对NVIDIA PTX Cache Operators行为做进一步探究，验证了STG指令命中L1 Cache时执行Write Through等结论，还提出了遗留问题待解决。
谷歌最新版「深度研究」反击GPT-5.2
GPT - 5.2发布前，谷歌推出新版Gemini Deep Research Agent，基于Gemini 3 Pro构建，功能强大。还开源DeepSearchQA，推出交互API。此外，DeepMind与英国政府合作，在城市规划、科学研究、网络安全等多领域应用AI技术。
独家 | 字节跳动机器人研究一号位孔涛离职创业
AI科技评论独家获悉，字节跳动机器人团队负责人孔涛6月初离职创业，团队已有数人离职，字节正招继任者。字节此前在机器人领域加大投入，2024年10月海外发布GR - 2模型。业界认为字节需更大决心突破。
人工智能驱动的科研新范式及学科应用研究
文章指出AI驱动的科研新范式通过数据、算力、算法深度耦合嵌入科研全过程，引发多方面变革。总结其特征与演化方向，分析学科应用要求与成功案例，还提出我国推动AI科研应用的启示与建议。
GPT Image 2研究科学家陈博远：我在OpenAI修中文
GPT Image 2发布引发AI圈震动，主力训练者陈博远分享幕后故事。他和奥特曼同台主持，修好中文渲染，给模型起代号“布基胶带”，还设计多种“彩蛋级”测试，抖出官网图片幕后花絮。
英伟达新研究：小模型才是智能体的未来
英伟达最新论文指出，大模型在Agent任务中消耗大量计算资源，成本高、效率低、灵活性差，而小模型能在性能够用前提下让任务执行更经济灵活。小模型通过优化硬件资源和任务设计高效执行任务，但落地面临挑战。
麻省理工大学：《通往通用人工智能之路》的研究报告
麻省理工科技评论洞察与Arm公司合作发布《通往通用人工智能之路》报告，探讨AGI定义、实现时间表、当前AI局限性及技术路径等。指出当前AI有局限，实现AGI需解决诸多障碍，还强调计算能力和异构计算的重要性。