「训练数据污染」共找到 3927 篇相关文章
The Batch: 939 ｜在推理阶段学习长上下文
大型语言模型处理长上下文时通常准确性降低、速度变慢，研究人员提出TTT - E2E方法，通过推理时训练模型将上下文压缩到transformer权重中，还展示了其运作方式、测试结果等。
登顶SuperCLUE DeepSearch，openPangu-R-72B深度搜索能力跃升
近日 SuperCLUE 发布 11 月 DeepSearch 评测报告，国产大模型 openPangu - R - 72B 名列第一。它采用 MoE 架构平衡效率与性能，经预训练技术优化和 DeepSearch 专项突破，彰显国产算力与大模型研发融合成效。
大模型“记性差一点”反而更聪明！金鱼损失随机剔除token，让AI不再死记硬背
马里兰大学等团队提出金鱼损失法，训练时随机剔除部分token，让模型不逐字记内容，仍学语言规律。实验显示，LLaMA - 2用该方法后记忆内容减少，下游任务性能影响小。
关键词挖掘3步法，帮你找到用户真正想搜的词【干货】
作者白杨SEO结合ChatGPT选题，分享3步关键词挖掘法。先找种子词，可从产品、人群需求、对手入手；再拓展长尾词，用搜索引擎、工具、AI辅助；最后数据筛选，看搜索量、竞争度、商业价值。
苹果新作：内化视觉思考，推理提速 5 倍
Apple研究团队提出Internalized Visual Thinking（IVT），一种将预测性世界建模能力内化到模型表征中的后训练框架。它在训练时预测未来，推理时直接回答，相比Visual CoT推理提速超5倍。
27、42、73，DeepSeek这些大模型竟都喜欢这些数！为什么？
技术作家发现GPT - 4o、Claude等模型猜数偏好42、73，Andrej Karpathy测试中模型多选27。网友猜测原因，如数据集、人类偏见等，也有论文分析此现象，多与数据分布有关。
DeepMind爆火论文：向量嵌入模型存在数学上限，Scaling laws放缓实锤？
DeepMind一篇关于向量嵌入局限性的论文在AlphaXiv爆火。其证明向量嵌入有数学上限，Scaling laws或放缓。研究构建LIMIT数据集，测试发现即便是先进嵌入模型也难解决简单任务，揭示了RAG系统约束，让人反思Scaling Laws边界。
BigQuery 新功能：SQL 直调 17 万 + AI 模型，3800 万行数据处理成本仅 2 美元
Google为BigQuery推出面向开源模型的第三方生成式AI推理功能，允许数据团队用SQL语句部署运行Hugging Face或Vertex AI Model Garden的模型，消除对独立ML基础设施的需求，解决数据团队痛点。
当黄仁勋将存储定义为「AI运行内存」，基础设施该如何实现物种进化？
AI算力需求使全球内存市场疯狂，黄仁勋称存储技术需重构。XSKY星辰天合发布AIMesh方案，战略转向数据智能，其方案可破传统存储架构三堵墙，还坚持中立，助力企业数据转化。
具身智能空间视觉死穴，终于被最新顶会彻底解决！
招商局先进技术研究院下属实验室提出新的移动数据范式，以极低成本破解 VLA 的空间泛化瓶颈。研究团队识别出 VLA 模型三种捷径学习模式，提出层次化数据解耦策略，该方案在主流 VLA 模型上验证有效。