「本地推理」共找到 2445 篇相关文章

开源动态8

全网开测GPT-oss!技术架构也扒明白了

全网开测GPT-oss,它登顶开源模型王座,性能比肩o3-mini、o4-mini,适合本地推理。网友探索出多种用法,还推出Pro版。其架构也被扒出,官方介绍了微调方法,吴恩达等大佬也参与测评。

量子位
开源动态8

智谱首秀工程实战经验!Coding Agent日均数亿次调用,GLM-5把长上下文推理的底层问题全逼出来了

今年 2 月智谱 GLM Coding Plan 上线后很受欢迎,随着用户和调用量上涨,Coding Agent 成压力测试场。4 月 30 日智谱发布博客,披露 GLM - 5 系列模型在超大规模 Coding Agent 调用场景下的底层推理技术突破及工程实践经验。

InfoQ
8

超越英伟达B200!AMD最强AI芯:1.6倍大内存、大模型推理快30%,奥特曼都来站台

AMD发布最强AI芯片MI350X和MI355X,号称大模型推理比英伟达B200快30%,内存是其1.6倍。该系列本月初已批量出货,还发布ROCm 7软件栈。AMD还预告明年推MI400系列,由其与OpenAI联合研发。

量子位
开源动态7

mcpx?要来拯救mcp!让工具调用不再吃掉你的上下文

MCP传统集成方式需在对话前加载所有工具定义,易使上下文溢出。开发者cs50victor基于mcp - cli构建mcpx,按需发现工具,大幅节省token,提升准确率,适合本地部署,虽有额外推理调用,但利大于弊。

AI工程化
算法论文8

DeepMind揭示Reasoning内在机制

近年来大型推理模型在复杂任务表现出色,但推理机制成谜。本文提出用推理图解码其‘思考轨迹’,分析环状结构、直径大小和小世界特性,发现蒸馏模型等特点,为理解AI推理及模型优化指明方向。

深度学习自然语言处理
开源动态7

Qwen3.8-27B 登顶全球开源榜第一,曾经的「源神」又回来了!

8月17日,阿里发布的Qwen3.8 - 27B成Hugging Face热门第一。它以27B参数在部分测试中与前沿闭源模型比肩,可本地运行。不过推理慢、真实任务表现待提升,它让前沿Agent能力下放到个人电脑。

AI科技评论
算法论文7

港中文 MMlab×美团新研究:仅用一个模型,应对多种视觉推理任务

港中文 MMLab 与美团联合提出 OneThinker 多模态统一推理模型,将多种视觉任务抽象为‘先推理、后作答’形式,通过多任务强化学习优化。实验显示其在多任务表现佳,为通用视觉推理模型提供参考。

AI科技评论
产品应用7

Qwen3接连放出No Thinking, Thinking两大模型,Gemini2.5 pro顶不住啦

Qwen推出非推理模型`Qwen3 - 235B - A22B - Instruct - 2507`后,又放出推理模型`Qwen3 - 235B - A22B - Thinking - 2507`。非推理模型在多方面功能增强,推理模型能力强,超DeepseekR1,可试用。

CourseAI
算法论文8

清华校友出手,8B硬刚GPT-4o!单一模型无限工具调用,终结多智能体

MIT等机构推出TIM和TIMRUN组合拳,突破模型token天花板。TIM将推理建模为任务树,TIMRUN优化内存管理。二者结合支持长程推理,实现单模型高效推理,简化智能体构建,在多方面表现出色。

新智元
推荐文章7

端侧跑大模型,现在也太简单了

作者Vicki Boykis分享本地运行AI模型体验,指出如今本地模型性能提升大,像GPT - OSS、Gemma 4系列表现出色。还介绍运行本地智能体流程的设置,虽有问题,但优势多,生态值得投资。

机器之心