「长文本训练」共找到 2927 篇相关文章
偷数据的AI公司被抓到了
Reddit发现AI公司利用Wayback Machine开放性，绕过限制扒取大量历史数据用于模型训练。此前Reddit已对AI公司数据抓取设限，还起诉过违规公司。Reddit抵制该行为，宣布限制Wayback Machine索引其内容。
MoCa：首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。
何恺明改进了谢赛宁的REPA：极大简化但性能依旧强悍
扩散生成模型在建模复杂数据分布表现出色，但与表征学习领域关联不大。谢赛宁团队提出REPA，不过较麻烦。何恺明团队提出Dispersive Loss，简化且性能强，无需预训练等，适用于多种模型。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。
通义实验室新研究：大模型自己「扮演」搜索引擎，提升推理能力无需搜索API
阿里通义实验室开源ZeroSearch，提供无需与真实搜索引擎交互的强化学习框架。它用模拟搜索环境和渐进式抗噪训练，让LLM自给自足，节省API成本，在多问答数据集表现优，为智能化检索提供新思路。
一个提示攻破所有模型，OpenAI谷歌无一幸免！
HiddenLayer研究发现一种「策略傀儡」提示，将危险指令伪装成配置片段，配上角色扮演，能让ChatGPT等主流大模型开启「无限制模式」。此策略利用训练弱点，难修复且可扩展，厂商需智能监控。
10.2k星！Firecrawl开源PDF解析神器，大幅降低OCR成本
处理PDF时，若全用OCR成本和延迟会增加，直接提取文本又易遇乱序、乱码等问题。Firecrawl开源的pdf - inspector工具能智能区分扫描版和文本版PDF，按需使用OCR，精准处理。
4个MIT的00后，两年干出全球最火AI编程工具，600亿美元卖给了SpaceX
今年1月，Cursor CEO Michael Truell决定训练自有模型，不再依赖Anthropic的Claude。5个月后，SpaceX以600亿美元收购Cursor母公司。此前Cursor增长快但依赖Claude，自研模型有成本优势却缺算力。
高潮从第几秒开始？GaMMA 让多模态大模型真正「听懂」音乐时间线
现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA，采用双编码器融合网络，经三阶段训练，还推出 MusicBench 评测基准。实验显示，GaMMA 在多基准上表现优异，刷新 SOTA。
阿里Qwen-Image-2.0图像生成与编辑巅峰汇合，超真实、超强图文结合
阿里Qwen - Image - 2.0将生图与编辑能力合二为一。它支持长指令，能精准渲染大量文字，引入物理逻辑让文字呈现真实质感，在生图和编辑上对语义理解和画面重构能力强。