训练推理效率」共找到 4331 篇相关文章

产品应用8

面壁MiniCPM4端侧模型发布:长文本推理 5 倍提速,0.5B 模型拿下新SOTA

2025智源大会,面壁发布MiniCPM4.0端侧模型,含8B稀疏闪电版与0.5B款。其采用InfLLM架构,实现长文本推理5倍提速、最高220倍加速,还在性能、部署等方面优化,适配多芯片与框架。

AI科技大本营
开源动态8

带图推理碾压同类开源模型!港中文微软等开源OpenThinkIMG框架,教AI学会使用视觉工具

港中文、微软等联合推出OpenThinkIMG开源框架,解决AI使用视觉工具面临的集成难、缺数据、适应差等问题,还公开核心技术V - ToolRL。该框架在图表推理任务上表现超GPT - 4.1,为下一代AI智能体提供基础。

量子位
算法论文8

前OpenAI科学家&GPT之父:预训练精准数据过滤,极低成本削弱大模型危险能力数千倍

Claude价值观塑造者Neil Rathi和GPT之父Alec Radford发论文,提出预训练时精准“删掉”危险知识碎片,以极低计算成本将大模型特定危险能力削弱数千倍,且不损通用智能。

AIGC开放社区
新闻资讯7

GPT-5内测抢先公布:日常推理首次击败人类,编程数学科学问题能力都很强

疑似GPT - 5发布预告刚出,内测体验抢先释出。网友实测其推理能力首超人类,编程、数学等能力也出色,虽提升或没GPT - 3到GPT - 4明显,但市场竞争激烈,8月8日凌晨OpenAI发布或为GPT - 5。

量子位
开源动态7

重磅!OpenAI时隔五年再发布开源模型gpt-oss:开源SOTA,可在16g笔记本运行

谷歌推出Genie 3后,OpenAI宣布发布开源推理模型gpt-oss,有gpt-oss-120b和gpt-oss-20b两个型号,采用混合专家架构和4位量化方案,能快速推理,原生支持128k上下文长度。文章还介绍了模型表现、训练等情况。

AI寒武纪
算法论文8

普林斯顿等高校提出AgentDistill:无需任何训练即可继承大Agent复杂能力,性能提升48%,成本降低90%

在AI领域,大型语言模型智能体计算需求大限制部署,传统蒸馏技术对智能体效果有限。AgentDistill提出解决方案,让学生智能体复用教师智能体的MCP工具包,无需训练继承复杂能力,小模型性能显著提升。

深度学习自然语言处理
新闻资讯7

用得越多、失业越快?GitHub 大改 Copilot 规则:默认拿个人代码训练 AI,还搬出 Anthropic 挡枪!

当地时间3月26日,GitHub宣布自4月24日起,Copilot Free、Pro和Pro+用户交互数据默认用于训练AI模型,Business和Enterprise用户除外。GitHub称需更多数据覆盖编码场景,但此举遭用户吐槽。

AI前线
算法论文7

ICLR 2026 | 越推越快! 首个面向「Test-Time Scaling」的投机解码基准

文章指出推理阶段扩展(TTS)能提升推理大模型解决复杂问题的能力,但会产生大量冗余计算。为此提出首个面向TTS的投机解码加速综合基准,评测显示N - gram方法在特定场景加速潜力大,混合策略性能更优。

AI科技评论
算法论文8

32k微调处理百万Token:21倍的推理加速,10倍的峰值显存节省,实现恒定内存消耗

现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构,有双轨并行记忆系统,能恒定内存、线性时间处理文本,在基准测试超主流方法,实现21倍推理加速和10倍显存节省。

量子位
新闻资讯7

速递|前字节Seed强化学习专家孙鹏加入星尘智能,将大模型后训练经验带到物理世界

9月2日消息,前字节跳动Seed团队强化学习专家孙鹏博士加入星尘智能,负责机器人强化学习方向。星尘智能有技术、资本和商业优势,孙鹏经验丰富,此次加入将助力其强化学习后训练发展。

AI前线