「低比特量化」共找到 1172 篇相关文章
Agent也能蒸馏了！性能超好
大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。
先进封装技术解读 | 三星
集成电路产业分芯片设计、制造、封装测试三大领域，先进封装让制造与封测融合。本文解读三星先进封装技术，分2.5D的I - Cube和3DIC的X - Cube，还与台积电、英特尔技术对比，指出三星多为跟随者。
JManus - 面向 Java 开发者的开源通用智能体
在Manus火热背景下，Spring AI Alibaba JManus诞生，它是用Java实现的开源OpenManus。可集成多个大模型，功能完善，能让Java开发者低门槛搭建智能体系统，还给出了运行方法及共建思路。
AMD跑GLM 5.2，成本只要英伟达一半
推理优化公司Wafer公布数据，用AMD的MI355X芯片跑GLM 5.2，单节点吞吐达2626 tok/s，单流吞吐213 tok/s，成本不到英伟达B200的一半。该公司详述部署过程，还提及AMD软件生态的变化及英伟达面临的挑战。
腾讯 Marvis 上线 iOS 版：你电脑上的专属 AI 牛马，终于可以装进口袋了
腾讯 Marvis 是应用宝团队推出的个人 AI 助手，四端已打通。它有云端和端侧两种模式，具备跨端远控和本地知识库等被低估的能力，还与微软、英特尔合作，是国内有本地模式的优选。
一个中大型组织到底需要怎样的AI办公，这场闭门会说清楚了
今年初麻省理工报告指出企业AI投入大但多数试点难量化回报。6月9日金山办公举办闭门会，探讨企业级AI问题，指出其要过数据、知识、安全三关，还给出选场景、重数据等判断。
Speech LLM 的下一个突破口：你的语音大模型可以是个「带韵律的文本模型」
语音大模型存在‘模态代沟’致性能‘降智’，此前两波改进未根本解决。香港中文大学论文提出TextPro - SLM架构，从输入端破局，仅用约1000小时数据就实现低‘模态代沟’，对多模态模型设计有启发。
消费级显卡可以快速上手跑！面壁智能MiniCPM-o 4.5发技术报告
面壁智能联合多方发布MiniCPM-o 4.5技术报告。该模型是业界首个端到端全双工全模态大模型，参数约9B，依托Omni - Flow框架，多项性能对标前沿大模型，还推出多种使用方式，兼顾普通用户与开发者需求。
谷歌悄悄加了个按钮，Gemini长出手脚变打工人！三巨头抢着教AI干活
谷歌悄悄为Gemini添加「Agents」入口，其将从聊天助手转变为Agent运行平台。谷歌还推出无代码/低代码的Agent Designer。此外，谷歌、Anthropic、OpenAI在编排层展开竞争，焦点转向谁能让更多人用上Agent。
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。