「低比特量化」共找到 1170 篇相关文章
首个基于MCP 的 RAG 框架：UltraRAG 2.0用几十行代码实现高性能RAG， 拒绝冗长工程实现
检索增强生成系统（RAG）复杂度提升，工程实现成本高。清华大学等联合推出首个基于MCP架构的UltraRAG 2.0，组件化封装、调用扩展灵活，低代码实现高性能，可用于科研和行业应用。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。
Coze 开源 ：全整理
字节跳动开源AI Agent开发平台Coze，含核心产品Coze Studio和Coze Loop。前者可零代码或低代码编排AI Agent；后者是运维中心，解决全链路挑战。采用Apache 2.0协议，安装门槛低，意在构建生态闭环。
大模型的第一性原理：（二）信号处理篇
本文从信号处理角度解读大模型原论文，探讨语义向量化原理，分析 Transformer 与 Granger 因果关系。指出大模型输入 Token 语义嵌入是将自然语言处理转化为信号处理问题，向量化与信号处理、信息论联系紧密。
一句话复刻谷歌！我用智谱新开源的GLM-4.5，把Agent开发打回了简单模式。
智谱AI深夜发布开源的新一代旗舰模型GLM - 4.5，目标成为最强Agent基座。它能一句话复刻搜索引擎，多能力原生融合，在多项测试中表现出色，推理快、价格低，还通过多关压力测试，且开源成本低。
2.6K Star！超逼真端侧TTS模型，0.5B参数3秒音频即时克隆！
文章介绍开源项目NeuTTS Air，它是免费、轻量级超逼真语音合成模型，仅0.5B参数，媲美商用TTS引擎，能在低功耗设备运行，支持3秒音频克隆声音，还给出使用步骤和应用场景。
腾讯LLM团队：对下一个 Token 预测的深入剖析，多样性 or 精准度？
最新研究证实RL能增强LLM推理，但成效受限预训练token分布。腾讯LLM部把交叉熵重写成单步策略梯度，用超参压熵，为RL打造‘低熵高信号’起点，经实验验证低熵模型优势明显。
GPT-5刷屏吊胃口之际，英伟达发出暴论：小型语言模型才是未来
英伟达新论文指出，未来属于小型语言模型（SLM），挑战了智能体需用大型语言模型（LLM）的假设。SLM参数量低于100亿，有低延迟、低成本等优势，还给出从LLM到SLM迁移路线图。
通过查看GPU Assembly分析CUDA程序
文章是关于通过分析SASS代码提高内存受限CUDA程序性能的笔记。以向量复制程序为例，对比普通和向量化版本，通过查看SASS代码，解释向量化版本性能更快的原因是加载/存储数据量更大、启动块数更少。
AI Agent 的工程化被低估了
文章指出 AI 发展中工程化作用被低估，将其分为产品工程和技术工程拆解构建 AI Agent 体系。产品工程涵盖需求建模、UI/UX 设计等模块；技术工程涉及架构模块化、流量控制等方面，还提及 Spring AI Alibaba 等工具。