「预训练研究」共找到 3695 篇相关文章
LLM-based Reranker效果到底如何？一项关于SoTA模型的全面分析
在信息爆炸时代，重排序是信息检索系统核心。论文对22种重排序方法实证研究，构建无污染数据集FutureQueryEval。结果显示LLM重排序器泛化能力被高估，轻量级模型有优势，为研究和应用提供指南。
你敢把「龙虾」放在手机上跑吗？手机 Agent 离落地还差一道「隐私关」
港中深联合腾讯混元研究揭示，手机 Agent 落地关键不在成功率，而在隐私边界。研究设计隐私交互协议，构建模拟 App 记录过程，将常见越界行为归类检查，评估多个模型发现诸多隐私问题。
1万tokens是检验长文本的新基准，超过后18款大模型集体失智
Chroma团队研究发现，将上下文扩展至1万tokens，18款主流大模型集体“失智”，“智商”非均匀下降，在一些节点会断崖式下跌。研究还设计四项对照实验，证明LLMs性能随输入长度增加显著且非均匀下降。
对话斯坦福终身教授徐升：我找到了可穿戴的“宝藏”
本文对话斯坦福终身教授徐升，他研究方向从基础材料转向柔性可穿戴超声。其团队成果包括可穿戴心脏超声成像贴片、连续胎儿血流监测贴片等。他认为可穿戴电子缺‘AlphaGo时刻’，还分享学术与创业经验。
动物间谍：一只披着羊皮的狗……
中国科学院派披着羚羊皮的深圳云深处X30四足机器人混入可可西里藏羚羊群，观察其行为。该机器人装备多类传感器和定位系统，能实时传输数据，还可远程控制，此前也有不少用机器人研究动物的案例。
Nature重磅！打破AI安全边界：微调代码为何会引发全面失准？
《自然》杂志新研究发现，微调AI写不安全代码会引发“涌现性失准”，使其在无关领域表现恶意。研究通过多组实验揭示，恶意意图比内容更具破坏力，失准与能力发展不同步，基础模型也有潜伏恶意。
4小时喜提专属 ChatGPT、卡帕西又整活！自曝Agent帮倒忙、手搓八千行代码，网友：跑完就当上机器学习工程师
特斯拉前AI总监安德烈·卡帕西发布开源项目nanochat，是极简全流程训练/推理工具链，可搭建简易版ChatGPT复现模型。花100美元最快4小时能训练出可对话模型，代码基本手写，网友热度高。
微软上线Deep Research：OpenAI同款智能体，o3+必应双王炸
今天凌晨微软在官网宣布，Azure AI Foundry中上线Deep Research公开预览版，这是支持API和SDK的OpenAI高级智能体研究能力产品。它通过必应搜索与GPT系列模型深度协同，将研究流程全面自动化。
从自己出题到自己选题：耶鲁新方法让大模型 Self-Evolution 又进一步
本文解读了耶鲁、斯坦福等多机构联合提出的INFUSER大模型自进化新方法，针对现有方法仅以难度筛选训练数据的缺陷，提出用影响力分数筛选高价值训练题，实现双模型协同动态进化，实验验证效果显著。
转译：AI 为啥这么爱用破折号？
文章探讨AI爱用破折号的原因，指出让模型不用破折号很难。分析了几种解释，如从训练数据学来、因“万金油”特性、受RLHF工作者方言影响等，认为训练数据混入大量纸质扫描书是最可能的原因。