「生成式预训练」共找到 4031 篇相关文章
拒绝“熵崩塌”和“熵爆炸”！这项研究让大模型学会“精确探索”，推理成绩飙升
2024年以来，大模型在推理任务上进展显著，得益于RLVR方法，但面临“熵困境”。研究团队提出选择性熵正则化方法（SIREN），通过三重机制精准调控探索行为，实验证明其能提升模型推理成绩。
Claude骂声中启动「隐形水印」：新模型全量嵌入，标记所有文字
Anthropic宣布新款Claude将在生成文本中嵌入隐形水印，还会给特定文件附加数字签名元数据，全球统一施行。此前A社就用Unicode贴暗标，虽称不影响生成质量，但遭质疑。
RAG搜对了却答错？德国萨尔大学找到了真相丨ACL'26
RAG是大模型落地标配技术，但存在搜到文档却答错的痛点。德国萨尔大学等团队提出Disco - RAG框架，在‘搜’和‘答’间加入‘读懂’环节，已被ACL 2026主会录用，在多基准测试表现优异。
我这半年看过最好的 Vibe Coding 技巧
OpenAI 创始成员 Andrej Karpathy 在 X 阐述 Vibe Coding 实践，提出建立三层结构让不同工具各司其职完成开发。介绍不同场景适用工具，还谈及‘后代码稀缺时代’焦虑，给开发者带来启发。
华为中科大联创大模型低比特量化算法，1‰数据实现昇腾无损压缩7倍
华为诺亚方舟实验室联合中科大提出CBQ后训练量化方案，仅用0.1%训练数据实现大模型7倍压缩，保留99%精度。该成果登ICLR 2025 Spotlight，已加入昇腾ModelSlim工具包。
用更一致的轨迹、更少的解码步数「驯服」掩码扩散语言模型，扩散语言模型的推理性能和效率大幅提升
扩散大语言模型发展迅猛，或成下一代大语言模型基础范式有力竞争者。复旦大学等团队发布论文，提出高效解码策略与强化学习训练组合，解决MDLM解码和训练问题，提升推理性能与效率。
抖音SAIL团队联合港中文MMLab推出SAIL-Embedding：打通「视、文、音」的全模态嵌入
字节跳动抖音SAIL团队联合港中文MMLab提出SAIL - Embedding，专为大规模推荐场景设计，实现视、文、音统一表征，解决传统多模态模型局限，在抖音业务场景效果显著，相关技术报告已公开。
微软再放LLM量化大招！原生4bit量化，成本暴减，性能几乎0损失
微软公布BitNet v2，性能几乎0损失，占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化，通过H - BitLinear模块处理异常通道，实验显示其在多方面表现优异。
RAG搜对了却答错？德国萨尔大学找到了真相丨ACL'26
RAG已成大模型落地标配技术，但存在搜到对的文档、模型答案却离谱的痛点。德国萨尔大学等组成的团队诊断出问题在阅读理解，提出Disco - RAG框架，在“搜”和“答”间加“读懂”环节，已被ACL 2026主会录用。
OiiOii意外走红背后：为何10万人排队等一个不完美的AI Agent？｜甲子光年
OiiOii是成立不到半年、团队仅十余人的初创公司，产品尚处内测，却引来近10万人排队申请。创始人闹闹有丰富履历，不回避产品缺陷，公司已获天使轮融资，将全力投入迭代。