「训练 - 推理不匹配」共找到 3626 篇相关文章
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要,传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练,革新检索生成范式,提升视觉语言模型多方面能力,代码已开源。
谷歌揭秘:Multi-Agent 推理时扩展才是未来。
谷歌DeepMind和MIT联合发表论文TUMIX,指出Multi - Agent是推理时扩展的最佳方式,以低成本大幅提升准确率。实验表明Agent多样性优于重复采样,还展示TUMIX机制、实战表现,且LLM能设计更强Agent。
阿里:RL强化LLM推理,是技巧还是陷阱?
近年来,强化学习(RL)成为解锁大型语言模型(LLM)复杂推理能力的关键工具,但该领域也面临技术选择困境。阿里联合多所高校的论文通过大规模可复现实验,揭示主流RL技巧的机制与适用场景,还发现极简组合(Lite PPO)性能超越复杂方案。
性价比搏击:Grok 4 Fast 推理成本直降 98%
xAI上周五发布旗舰模型轻量化版Grok 4 Fast,推理成本直降98%。它通过强化学习在基准测试表现佳,有原生工具调用能力,采用统一架构,性价比高,或改写大模型竞争规则。
OpenVision 2:大道至简的生成式预训练视觉编码器
多模态大模型浪潮中,视觉模块是关键。此前OpenVision训练管线复杂,成本高。研究者提出OpenVision 2,移除文本编码器与对比学习,引入随机丢弃视觉token技巧,性能佳且效率高,挑战了对比学习范式。
深度学习中Batch Size对训练过程如何影响?
文章分析深度学习中batch size对训练过程的影响,探讨超大batch优缺点及应对方法。用面试、通俗、科学三种方式解答问题,还通过MNIST实验,从迭代速度、梯度平滑程度、收敛速度等指标对比不同batch size情况。
图解GPT-OSS:架构、消息格式与推理机制等
OpenAI发布首个开源大模型GPT-OSS,虽性能无惊喜,但设计思路有意思。其架构是经典延续,消息格式有巧思,支持三档推理模式,分词器有小进步,这些设计在实际应用和理论上有一定价值。
智谱AI发布桌面Agent,轻松训练 AI数字员工
智谱AI发布ComputerRL自主桌面智能框架,旨在让AI像人一样用电脑。它融合API与GUI,采用分布式训练,引入Entropulse解决探索衰减。在OSWorld测试中表现亮眼,虽有视觉感知等挑战,但意义重大。
当 AI 下场炒 A 股,「推理」成了新的直觉
海外“AI Trading Battle”实验中,不同大模型交易表现差异大。港科大等团队提出RETuning方法,基于A股数据集验证,显著提升大模型金融预测准确率、推理可解释性,是综合改进方案,但有算力等局限。
AI生成苹果Metal内核,PyTorch推理速度提升87%
Gimlet Labs研究显示,AI能自动生成苹果芯片Metal内核,使PyTorch推理速度提升87%,在215个PyTorch模块上平均加速1.87倍。多个模型组合生成最优内核概率更高,不过研究对比方式遭质疑。