「端侧运行」共找到 673 篇相关文章
无问芯穹曾书霖谈 AI 2.0 时代的大模型推理：从模型到硬件的协同优化
本文整理自无问芯穹总经理曾书霖博士在 2025 年 QCon 全球软件开发大会演讲。他介绍软硬件协同优化提升智能系统能效成果，结合华为昇腾集群实践，探讨 AI 推理系统演进趋势，还从云、端维度分享大模型推理实践与挑战。
让大模型上车：理想汽车硬件协同设计算出最佳边缘模型
长三角洲AI实验室、中科院、理想汽车等找到大语言模型硬件协同设计寻优之路，在相同延迟下降低端侧模型困惑度，压缩模型架构挑选时间。研究揭示缩放定律，打造硬件感知建模框架，找到精度与延迟最优解。
阿里Qwen3.5小模型发布：0.8B参数就能处理视频，边缘AI时代真的来了
阿里通义千问发布Qwen3.5系列四款小模型，采用Gated DeltaNet混合注意力机制。有原生多模态设计，解决“内存墙”问题。在多基准测试中表现出色，开发者反响好，但也存在幻觉级联、调试局限等问题。
比肩OpenAI Simple Codex，中国团队闯入Terminal-Bench全球第二！
Anthropic和OpenAI推出新模型后，基础大模型较量进入实战比拼。中国团队Feeling AI的CodeBrain - 1在Terminal - Bench 2.0榜单排全球第二，它聚焦代码编写运行，还能动态调整计划策略，展现出高含金量。
智谱GLM-OCR，0.9B开源即巅峰，复杂文档精准解析
智谱发布并开源GLM - OCR，以0.9B轻量级参数在多项基准取得SOTA。它解决视觉感知难题，具备视觉编码与语言解码协作架构，还可端侧与高并发部署，成本低，推动文档智能化处理升级。
我如何用 Codex 在 5 天内"找回"丢失的源代码
作者早年写的 Electron 画图程序源码丢失，只剩编译版本。受 OpenAI 博客启发，用 Codex 逆向还原，5 天得到能运行的 TypeScript 代码。过程中解决了 Codex 删减内容、上下文有限等问题，还分享了经验。
刚刚，杨植麟亲自开源Kimi K2.5！国产大模型打架的一天
今天国产大模型热闹非凡，Kimi更新至K2.5版本。它是万亿参数的MoE基础模型，开源且在多项评测表现佳，视觉与编码能力强，还引入Agent Swarm功能，实测展示其解决各类复杂任务能力。
上线不到一年，收徒百万，首个真人级AI导师技术底牌首次曝光
2025年初，与爱为舞落地国内首个真人级AI一对一导师产品「爱学」，上线不到一年有超百万学员使用。它突破传统AI教育局限，自研全栈技术体系，从多方面打造优质AI导师，为AI Agent规模化落地定义范式。
Java 30周年献礼：新LTS版本Java 25，服务器内存砍掉22%，AI开发起飞
2025年9月16日，Oracle推出Java 25，这是继JDK 21后首个LTS版本，官方提供八年支持。它含18个JDK增强提案，目标是优化AI运行、安全防护等，在省内存、提速度、简语法等方面均有显著改进。
哪个大学生能拒绝帮你搞定 Office、编程、设计的全能搭子？
国务院印发意见明确智能应用普及目标，高校也展开AI教育。Agent技术成大学生“新工具箱”，文章介绍其概念、运行方式，还以扣子空间为例展示在学术和校园生活场景的应用，最后公布了相关活动信息。