「全注意力模型」共找到 8724 篇相关文章
最强DeepResearch!通义DeepResearch-30B开源实战:模型部署+LangGraph+A2A全攻略
阿里发布全开源项目通义DeepResearch,在研究任务评测中表现出色,底层是30B的MoE专用推理模型,资源需求低。文章演示了基于该项目构建本地化端到端DeepResearch助理的方法,包括模型部署、Agent实现等。
VeRL-Omni:面向扩散和全模态生成模型的通用RL后训练框架
VeRL-Omni是面向多模态生成模型的通用RL后训练框架,覆盖多种架构。它有高效多模态rollout、灵活奖励引擎等特性,支持多种硬件,团队还验证了不同训练方式,后续将扩展模型与算法支持。
对话灵感实验室:全帧率 VLM、低成本与分层部署,业务现场不止需要炫技模型
InfoQ对话格灵深瞳灵感实验室,探讨多模态大模型下视频理解问题。指出传统视频模型抽帧处理浪费算力和信息,介绍LLaVA - OneVision - 2.0突破长视频理解瓶颈,还提及“视觉智能工坊”助力业务落地。
陈丹琦新作:大模型强化学习的第三条路,8B小模型超越GPT-4o
陈丹琦团队提出结合RLHF和RLVR优点的RLMT方法,支持在基础模型上直接使用,节省后训练成本。它让模型生成CoT,用奖励模型评价输出,使小模型超越大模型,推理更像人类。
MoE RL 实战:统一 FP8 全流程训练
SGLang RL 团队等实现 RL 全流程 FP8 训练与采样,消除训推不一致性。介绍 FP8 硬件基础、格式等,分析训练难点,定位 KL Loss 异常源于量化原理,验证其在 MoE 模型 RL 场景优势,指出模型规模与训推不一致的关联。
逆天改命!OpenAI 开源模型的安全底裤被 Meta 研究员给扒掉了……
Cornell大学兼Meta研究员jack morris成功将OpenAI最新开源的推理专用模型GPT-OSS逆向还原成基础模型,绕过对齐和安全措施,还暴露其训练用大量版权材料问题,此成果引发社区激烈讨论。
国产开源模型越多,模型路由的机会越大
中国大模型市场模型增多,能力相近、价格降低且部分开源。开发者选择多但企业选模型难,价值向调度层转移。开源改变产业结构,Routing业务有价值且至少含四层,中国Provider Routing易落地。
智谱 GLM-4.5 团队深夜爆料:上下文要扩、小模型在路上,还承诺尽快发新模型!
今日凌晨,GLM系列模型四位研发成员在Reddit的AMA活动中,回答了GLM系列技术细节、未来规划等问题。透露扩展上下文、推小模型是重点,还承诺尽快发新模型,也探讨了大模型发展观点。
全网疯传!Claude最新模型意外曝光:全面碾压Opus 4.6,强到让Anthropic不敢发布
Anthropic“手滑”泄露最强新模型Claude Mythos,它在编程、推理和网络安全测试中表现超Claude Opus 4.6。因模型“黑客能力”强,Anthropic发布谨慎。此外,该公司还意外泄露3000多未发布文件。
让大模型上车:理想汽车硬件协同设计算出最佳边缘模型
长三角洲AI实验室、中科院、理想汽车等找到大语言模型硬件协同设计寻优之路,在相同延迟下降低端侧模型困惑度,压缩模型架构挑选时间。研究揭示缩放定律,打造硬件感知建模框架,找到精度与延迟最优解。