「推理训练数据」共找到 5141 篇相关文章
Jina Embeddings v4 的量化感知训练
文章聚焦Jina Embeddings v4的量化感知训练。介绍量化技术可压缩向量体积、提升检索效率,对比四种主流量化方法,重点实验PTQ和Output QAT,还测试非对称量化,给出实验结果与结论。
2025 年 InfoQ 趋势报告:AI、ML 和数据工程
InfoQ AI ML 趋势报告基于编辑团队与嘉宾播客,总结 AI、ML 技术发展趋势。涵盖 AI 代理、多模态语言模型等创新领域,也提及早期采用者、早期多数、晚期多数类别的技术,还对 2025 年相关领域发展作出预测。
The Batch: 879 | 谷歌必须与 AI 竞争对手共享数据
一家联邦法院裁定,谷歌须将当前搜索索引交给美国本土AI及搜索引擎对手,以打破其在网页搜索的垄断,但未采纳拆分公司请求。谷歌按条件共享数据,在其他业务仍可竞争。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要,传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练,革新检索生成范式,提升视觉语言模型多方面能力,代码已开源。
谷歌揭秘:Multi-Agent 推理时扩展才是未来。
谷歌DeepMind和MIT联合发表论文TUMIX,指出Multi - Agent是推理时扩展的最佳方式,以低成本大幅提升准确率。实验表明Agent多样性优于重复采样,还展示TUMIX机制、实战表现,且LLM能设计更强Agent。
阿里:RL强化LLM推理,是技巧还是陷阱?
近年来,强化学习(RL)成为解锁大型语言模型(LLM)复杂推理能力的关键工具,但该领域也面临技术选择困境。阿里联合多所高校的论文通过大规模可复现实验,揭示主流RL技巧的机制与适用场景,还发现极简组合(Lite PPO)性能超越复杂方案。
性价比搏击:Grok 4 Fast 推理成本直降 98%
xAI上周五发布旗舰模型轻量化版Grok 4 Fast,推理成本直降98%。它通过强化学习在基准测试表现佳,有原生工具调用能力,采用统一架构,性价比高,或改写大模型竞争规则。
OpenVision 2:大道至简的生成式预训练视觉编码器
多模态大模型浪潮中,视觉模块是关键。此前OpenVision训练管线复杂,成本高。研究者提出OpenVision 2,移除文本编码器与对比学习,引入随机丢弃视觉token技巧,性能佳且效率高,挑战了对比学习范式。
半年复盘,AI迎来预训练后的新瓶颈。
2025年上半年AI领域发展加速,编码和多模态能力提升。但模型在综合能力上遇到第二轮瓶颈,编码能力强时通用认知能力‘拉胯’,或与RL阶段使用编程数据有关,红杉新基准或推动模型均衡发展。
图解GPT-OSS:架构、消息格式与推理机制等
OpenAI发布首个开源大模型GPT-OSS,虽性能无惊喜,但设计思路有意思。其架构是经典延续,消息格式有巧思,支持三档推理模式,分词器有小进步,这些设计在实际应用和理论上有一定价值。