「预训练研究」共找到 3695 篇相关文章
百度Qianfan-VL，发票/图表/合同等PDF识别94.75%刷新纪录！
当前主流视觉 - 语言模型在企业级应用有难点，百度千帆团队提出Qianfan - VL系列多模态大模型，在通用和企业级任务表现出色，基于自研芯片训练，还提供框架与管线降低成本。
马斯克曝光Grok 5！1.5万亿参数，偷师Cursor狂练编程
5月25日凌晨马斯克官宣，1.5万亿参数Grok V9-Medium训练完成，2 - 3周后发布。训练灌入大量Cursor编程数据，编程能力将大幅提升。此前v8 - small年底前开源，马斯克编程赛道布局全面摊牌。
Transformers来到了v5时代：从工具包到真理之源，AI时代的操作系统内核的极简进化论
Transformers v5发布，通过极简定义和极致互通成AI生态核心。它做减法重构代码、拓展训练流程、成推理引擎弹药库、提升量化为核心功能，连接训练、推理与部署，是AI生态通用语言。
Claude官方击穿高薪、高学历的安全防线！Anthropic点名10大高危职业，但有群人暂时稳了
近日，Anthropic发布研究，描绘AI正替代哪些工作。其构建“实际暴露度”指标，基于Claude对话数据测得。研究列出10大“高危”职业，也指出部分工作不受影响，还揭示高暴露群体特征及青年招聘情况。
The Batch: 939 ｜在推理阶段学习长上下文
大型语言模型处理长上下文时通常准确性降低、速度变慢，研究人员提出TTT - E2E方法，通过推理时训练模型将上下文压缩到transformer权重中，还展示了其运作方式、测试结果等。
登顶SuperCLUE DeepSearch，openPangu-R-72B深度搜索能力跃升
近日 SuperCLUE 发布 11 月 DeepSearch 评测报告，国产大模型 openPangu - R - 72B 名列第一。它采用 MoE 架构平衡效率与性能，经预训练技术优化和 DeepSearch 专项突破，彰显国产算力与大模型研发融合成效。
AI版盗梦空间？Claude竟能察觉到自己被注入概念了
Anthropic最新研究发现LLM有内省迹象，Claude能察觉概念注入。研究用概念注入测试，虽模型内省能力有限且不可靠，但能力强的Claude Opus 4和4.1表现好，未来内省或更复杂。
大模型“记性差一点”反而更聪明！金鱼损失随机剔除token，让AI不再死记硬背
马里兰大学等团队提出金鱼损失法，训练时随机剔除部分token，让模型不逐字记内容，仍学语言规律。实验显示，LLaMA - 2用该方法后记忆内容减少，下游任务性能影响小。
腾讯开源Stand-In！轻量级身份保留视频生成新突破
生成符合指定身份的高保真视频挑战大，现有方法依赖大参数且兼容性不足。腾讯开源轻量级、即插即用的Stand - In框架，在身份保留文本生成视频任务中性能先进，兼容性强，有广阔应用潜力。
Anthropic实践发现：Multi-Agent系统的核心仍然是Prompt设计！
近期Anthropic分享构建多智能体研究系统最佳实践，提出8条研究智能体的提示工程与评估原则。其架构采用协调者 - 工作者模式，与传统RAG方法不同，使用多步骤搜索动态查找信息。