「预训练语义编码器」共找到 2315 篇相关文章
Rex-Omni：用 3B 模型颠覆目标检测
长期目标检测依赖传统坐标回归模型，MLLMs方法存在不足。IDEA研究院提出30亿参数的Rex - Omni多模态大模型，在零样本测试中表现超现有回归模型，还具备丰富语言理解能力，有独特设计和训练流程。
16岁创业，22岁做成百亿独角兽！3位高中同学帮大厂训AI年入1亿美金
Meta豪掷143亿收购Scale AI，其CEO加盟Meta。这一并购让Mercor创始人Brendan Foody看到机会，认为Scale AI失去中立性，大厂或不再合作。Mercor为AI实验室提供训练人员，年入1亿美金，估值达百亿。
大模型再爆弱点！旧记忆忘不掉，新记忆分不出，准确率暴降 | ICML'25
弗吉尼亚大学和纽约大学研究人员用「前摄干扰」概念设计测验PI - LLM，测试大语言模型（LLM）上下文检索能力。结果显示，随干扰增加，模型准确率对数下降至零，提示工程效果有限，需调整模型架构或训练范式。
腾讯混元 TurboS 技术报告首次全公开：560B 参数混合 Mamba 架构，自适应长短链融合
日前腾讯混元 TurboS 技术报告全公开。它是超大型 Hybrid Transformer - Mamba 架构 MoE 模型，有自适应长短思维链机制，总参 560B。在多榜单成绩亮眼，多语种和多任务处理能力强，还介绍了核心创新、训练策略等。
大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。
超越谷歌Banana，字节联合香港中文大学等高校开源最强图像编辑生成系统DreamOmni2
香港多高校与字节跳动联合研发的DreamOmni2系统，实现图像编辑与生成领域SOTA。它用三步造出高质量数据，提出索引编码等方案，联合训练模型，实际效果超越部分商业模型，为AI创作带来新可能。
The Batch: 884 | Transformer获得新能量
弗吉尼亚大学等机构的研究人员提出 Energy-Based Transformer（EBT），它能检查自身输出。训练时通过能量值优化预测概率向量，测试显示其泛化优但生成特定文本差，扩展性好，为高性能带来新可能。
最大开源第一视角数据集 EgoLive 来了，名校站台、近百家机构争相申请
今年4月京东开源业界最大人类第一视角数据集EgoLive，已获近百家机构申请。它用自研设备采集，经多模态处理，覆盖多场景任务。其数据用于JoyAI - RA训练，在真实场景验证效果好，还推动具身智能数据标准化。
上交大智能计算研究院论文：不只算对答案，大模型如何真正学会运筹建模丨ICLR 2026
上海交大智能计算研究院提出 StepORLM，通过生成式过程监督提升运筹建模可靠性。研究反思传统训练范式局限，在多数据集测试中，小参数的 StepORLM 表现超大型模型，还分析现有方法缺陷并提出解决框架，有重要方法论和应用意义。
Unsloth让大模型跑在手机上！
Unsloth放出教程，可将其微调模型部署到Pixel 8和iPhone 15 Pro。用ExecuTorch技术优化，Qwen2 - 0.5B在旗舰机上表现流畅。教程介绍量化感知训练控制精度损失，还给出iOS和Android部署步骤及注意事项。