「通用多模态推理」共找到 3291 篇相关文章
干翻全场!OpenAI深夜发布通用Agent。
OpenAI 发布 ChatGPT Agent,将 Operator 和 Deep Research 能力融合,能在虚拟电脑完成复杂任务。它功能强大亮点多,但也存在价格昂贵、安全隐患等问题,或压缩创业公司空间。
JManus - 面向 Java 开发者的开源通用智能体
在Manus火热背景下,Spring AI Alibaba JManus诞生,它是用Java实现的开源OpenManus。可集成多个大模型,功能完善,能让Java开发者低门槛搭建智能体系统,还给出了运行方法及共建思路。
Codex在推理框架上能蹬出什么优化
作者复盘用Codex在SGLang中的实践,原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法,分享印象深刻的debug经历,列举在SGLang用Codex一个月的优化成果,还提及Claude Code使用遇阻。
Mistral 3发布,14B多模态小模型表现优异
Mistral AI第三代模型发布,含三个小型密集模型和稀疏混合专家模型Mistral Large 3,全用Apache 2.0许可。有多项技术亮点,Ollama等支持部署微调,还给出实用配置建议。
高通要发两款AI推理芯片,资本市场反应强烈
高通周一宣布明年推AI200芯片,2027年跟进AI250,股价应声上涨。两款芯片基于移动神经处理技术,专攻AI模型部署,沙特AI公司已计划采用,高通想借此进军AI芯片市场。
千星项目LLMRouter:多模型路由,16+策略优化推理
UIUC开源智能模型路由框架LLMRouter,可自动为大模型应用选最优模型,有16+路由策略。该框架打通训练、评测等链路,解耦Route与Training模块,支持多轮协同等,还可插件式扩展。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型,面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践,如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等,还提及未来优化方向。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
从大模型到多模态,图文混排Agent彻底起飞~
上周智谱多模态开源周,从GLM 4.6v到Autoglm,其图文并排使用场景很吸睛。上传PDF论文,它能生成图文混排解读文章,效果好。作者逆向原理复刻代码,还分享GLM 4.6V三个有意思的能力。
通用的dLLM开发框架,让BERT掌握扩散式对话
扩散式语言模型(DLM)因缺乏易用框架和训练成本高受限。伯克利与UIUC团队基于dLLM框架,让BERT学会对话,证明‘离散扩散 + 轻量级指令微调’可赋予BERT强生成能力,还开源全流程代码。