「预训练语义编码器」共找到 2312 篇相关文章
国外网友疯传DeepSeek R2/R3/R4 炸裂突破，超越传统的「跨因果超矩阵」，并在训练过程中自发产生了R5……
国外网友疯传DeepSeek R2到R5的“重磅”消息，爆料内容层层递进且玄幻离谱。Anthropic联合创始人评价有认可也有轻视。当下闭源模型各领风骚，开源阵营期望集中在DeepSeek R2，应平常心看待传言。
字节会师何恺明！开源连续扩散语言模型Cola DLM
字节会师何恺明，开源连续扩散语言模型Cola DLM，释出论文、代码等。该模型跳出离散token束缚，把生成过程交给连续空间，在实验中展现出稳定scaling趋势，其动机是表征而非diffusion。
突然变强！速度翻4倍，GPT Pro惊现「神级」操作，网友怀疑GPT-5.5已就位
OpenAI悄悄完成GPT Pro模型升级，其速度提升、视觉理解能力增强。同时，代号「Spud」的GPT - 5.5已完成预训练，发布在即，AI竞争将更激烈。
Kimi K2基于DeepSeek V3构建
从Hugging Face模型配置文件可知，月之暗面未设计全新模型结构，而是选Deepseek V3作基座模型，用自身高质量数据、独特方法做大量‘微调’和‘后训练’。
Anthropic联创公开劝退套路码农！94%编程将被接管，去学点哲学吧
Anthropic联创Jack Clark在峰会上称大学生应避开「套路化编程」，未来需跨学科综合、分析思考能力。Anthropic雇哲学家训练Claude，工程师工作转向管理AI智能体，AI接管编程趋势明显。
从视觉压缩，到视觉记忆：MonkeyOCRv2以重建保留文档页面证据
文档视觉编码器对LLM理解和推理很重要。MonkeyOCRv2提出‘重建即文档视觉记忆’，通过多组实验验证其有效性，还发布MonkeyDoc v2数据集，推动公平比较的研究文化。
SRO赋能Qwen-2.5-VL推理性能飙升16.8%
文本领域推理模型成就大，但多模态大型语言模型推理能力扩展遇阻，如冷启动初始化不足等。提出SRO三阶段训练框架，经测试，ReVisual - R1平均性能提升16.8%。
grok 4一图流
文章展示grok 4核心数据，涵盖训练成本、模型定价，还列举其在通用、专业、数学、推理、编程等能力测试中排名第一的成绩，不过实际水平还有待观察。
Sebastian Raschka 新书《从头开始推理》抢先看，揭秘推理模型基础
著名AI技术博主Sebastian Raschka新书《Reasoning From Scratch》第一章介绍LLM中推理含义、训练阶段、模式匹配与逻辑推理区别，还讲述提升推理能力方法及从头构建推理模型的重要性等内容。
ACL'25首届博士论文奖 | 重新思考 LLM 中的数据使用
近日，第一届 ACL 计算语言学博士论文奖获得者是 Sewon Min，其论文《重新思考大型语言模型中的数据使用》围绕大型语言模型如何使用训练所用的庞大文本语料库展开研究。