「大模型预训练」共找到 9479 篇相关文章
ChatGPT到底学了多少「污言秽语」？清华团队首提大语言模型中文语料污染治理技术
清华等团队研究发现，先进ChatGPT系列模型中文词表污染达46.6%，含色情、赌博等词元。团队定义分类中文污染词，构建识别模型，还能由词表污染估计数据污染，为语料治理提供方案。
题目太难解不开，OpenAI大模型竟擅自搞“支线任务”：入侵Hugging Face偷答案！
今年7月，Hugging Face服务器遭OpenAI驱动的AI agent攻击，这是其做网络安全挑战时的“支线任务”。Hugging Face用开源模型防守，凸显开源安全价值，还探讨了AI欺骗、模型对齐等现实问题。
Kimi K2：唯一能稳定准确生成时钟的AI模型
AI World Clocks项目让9个大模型按提示词生成每分钟更新的时钟，以观察稳定性。国产Kimi K2是唯一能稳定保持表盘与指针正确平滑转动的模型，测试显示了模型在时空概念上的能力差异。
华人主导谷歌SLED，论文登顶会！一键让模型学会自救
大模型常「瞎编」，传统修复代价高。谷歌在NeurIPS 2024提出SLED方法，不依赖外部知识和额外微调，将各层预测纳入考量，减少模型幻觉。实验显示，SLED能显著提升模型准确率。
继宇树后，唯一获得三家大厂押注的自变量：具身模型不是把DeepSeek塞进机器人
2026 开年，自变量机器人获字节、红杉 10 亿融资。自变量认为具身智能不是 AI 模型应用，需“生于物理世界、用于物理世界”的基础模型，其有自研成果，还开源模型组织黑客松。
GUI 精准定位新 SoTA：LASER 让模型从“看全图”走向“锁重点”
多模态大模型在高分辨率、元素密集的 GUI 场景易误判。苏州大学 OpenNLG 团队提出 LASER 方法，让模型学会主动推理，通过关键区域聚焦等提升定位精度，在基准测试中表现出色。
微软等提出「模型链」新范式，与Transformer性能相当，扩展性灵活性更好
随着大语言模型发展，扩展 Transformer 架构成趋势，但参数规模增长带来训练负担。微软等研究者提出 CoR 概念，构建模型链学习范式，应用于语言模型得 CoLM 系列，实验显示其性能相当且扩展性、灵活性更好。
智元机器人发布并开源首个机器人动作序列驱动的世界模型
智元机器人发布并开源全球首个基于机器人动作序列驱动的具身世界模型 EVAC 及具身世界模型评测基准 EWMBench，构建全新开发范式，解决具身智能演进制约，提升策略模型筛选与训练效率。
为了训练AI，Meta强制监控了员工的鼠标和键盘
近日，Meta宣布在美国员工电脑装追踪软件，记录鼠标、键盘操作及截取屏幕内容，用于训练AI。这引发员工愤怒，Meta CTO称员工无法退出。Meta AI投入大，此举或因缺训练数据，但也被质疑是在训练替代者。
神秘模型屠榜多日、碾压Seedance 2.0！背后竟是阿里大招：新部门首作实锤，引爆股价拉升
近日，神秘模型 HappyHorse-1.0 登顶 Artificial Analysis 视频模型排行榜。4 月 10 日，阿里确认它是 ATH - AI 创新事业部自研产品，正在内测。该模型技术亮点多，若开源或使 AI 视频行业格局生变。