「预训练数据」共找到 4014 篇相关文章
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
华为Doc-Researcher 布局感知+视觉语义双杀
现有深度研究系统依赖文本网页数据，忽视多模态文档知识。华为Doc - Researcher系统解决多模态文档解析不足、检索策略有限、缺乏深度研究能力等问题，含多模块，能处理复杂多模态任务。
Hugging Face 推出 GOLD：让不同模型家族也能做知识蒸馏
Hugging Face研究团队提出GOLD方法，解决了知识蒸馏中老师和学生模型需用同一套分词器的痛点，让不同模型家族间也能做知识蒸馏。它通过三步解决跨分词器蒸馏，实验效果良好，已集成到TRL库。
AI时代，为什么你又焦虑又学不进去？这个人破解了专注力的秘密
文章指出AI时代人们学不进去，原因在于信息爆炸、AI工具易致分心，本质是没学会处理学习不适。介绍了Time Boxing、“10分钟法则”等应对方法，强调专注力是新学习力，要预先规划建立学习系统。
AI打通第一/第三人称视觉，跨视角视觉理解新SOTA｜ICCV 2025 Highlight
INSAIT、复旦大学等联合提出ObjectRelator框架，让AI精准匹配不同视角下同一物体，实现跨视角统一表征与理解。它在Ego转Exo和Exo转Ego任务上超基线模型，已被ICCV 2025接收，代码开源。
2025（第七届）深圳国际金融科技大赛启动，激发高校学生AI创新潜力 | Q推荐
由多方联合举办的‘2025深圳国际金融科技大赛’9月26日开赛。大赛已办七年，本届设人工智能、数据分析赛道，响应国家号召，为学生搭实践平台，设50万奖金，9月26日起高校学生可报名。
NeurIPS Spotlight｜运动遮挡都不怕，0先验、一段视频精准预测相机参数
论文一作李放等为解决传统方法在动态场景预测相机参数的难题，提出 ROS - Cam 方法，涵盖补丁式跟踪滤波器、异常值感知联合优化、双阶段训练策略，代码即将开源。
网络基础设施如何支撑大模型应用？北京大学刘古月课题组5大方向研究，相关论文入选ACM SIGCOMM 2025
在智能计算和网络演进背景下，北大刘古月课题组聚焦网络研究。其 5 篇论文入选 ACM SIGCOMM 2025，从架构、数据、运维、安全四个维度形成技术闭环，推动新一代网络系统发展。
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。
万万没想到，大学生都开始拿AI来养猪了
夸克在中国人民大学分享会曝光大学生使用情况，每10个大学生中有7人用夸克，AI渗透率达80%。学生不仅用其学习，还用于生活。不过夸克高考曾出现信息错漏，后已修正。