「预训练研究」共找到 3699 篇相关文章
评测也很酷，Data Agent 自动化评测的三层框架与实战
在大模型技术飞速发展下，评估应用效果成难题。字节跳动尹小明分享自动化评测技术，提出三层评测框架，还介绍 Text - to - SQL 及深度研究评测改进，以及评估平台建设，最后展望自动化评测未来方向。
300只狗试用延寿药，「寿命曼哈顿计划」启动！
1300只狗参与「延长寿命」实验，被注射由AI计算剂量的「延寿药」。AI在医疗领域作用凸显，制药、临床研究等多方面有进展。Altman等名人押注「永生」，但长寿也带来伦理等诸多问题。
Embedding黑箱成为历史！这个新框架让模型“先解释，再学Embedding”
来自多高校研究人员推出可解释的生成式Embedding框架GRACE，解决传统文本表征模型黑箱式表征瓶颈。它重新定义对比学习信号，含三个关键模块，训练双模式统一，实验跨任务提升且不损生成能力。
LeCun团队开源首个代码世界模型：能生成代码还能自测自修！传统编程模型一夜成古典
Meta FAIR推出全球首个代码世界模型CWM，它能生成代码、理解语义，还‘懂得’代码执行，能模拟运行过程。在多个代码与推理任务表现出色，开源代码、训练细节等，不过目前仅支持Python。
Anthropic被作家告了，违规下载700万本书，15亿美元和解了
AI初创公司Anthropic同意支付至少15亿美元，和解作家集体诉讼。此前作家指控其盗版作品训练Claude。若协议获批，将是美版权案最高赔偿，也是AI公司法律纠纷转折点。
刚刚，OpenAI拿下IOI金牌，仅次于前五名人类选手！参赛推理模型才夺得IMO金牌
2025年国际信息学奥林匹克（IOI）中，OpenAI推理模型获金牌，在AI参赛者中排第一，得分仅落后5位人类选手。其未专门训练，成绩较去年大幅提升。此前它在IMO也获金牌级别成绩。
Adaptive Reasoning Model：Qwen3混合思考->字节AdaCoT->清华AdaThinking
文章介绍三种处理混合思考模式的方法，阿里 Qwen3 通过 SFT 让模型具备思考能力，但需人为控制；字节 AdaCoT 和清华 AdaThinking 让模型自主决定是否思考，分别用多目标优化和受限优化目标训练。
快手&中科院 | 提出多模态奖励模型：R1-Reward，比SOTA模型提升5%-15%！
多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。
GEO中，llms.txt是个啥？
GEO中llms.txt是新兴网络标准提案，分提案A（访问控制）和提案B（推理指导）。提案A类似robots.txt，控制内容用于模型训练；提案B是Markdown文件，助LLM理解网站。作者整理指南分享，盼业内出标准。
竞赛编程Agent进入全球前十！南大、清华新模型CF rating超3500
大语言模型在竞赛编程场景易失败。南大、清华等研究者提出Solvita框架，由四个角色形成闭环，构建可训练图结构知识网络积累经验。实验显示其在多评测中表现强，提升不靠增加token。