「轻量化」共找到 351 篇相关文章
深度拆解 Muse Glimmer，24GB 显存跑 30B Agent，Meta 到底做了什么？
昨天，Meta发布约30B参数的多模态Agent模型Muse Glimmer，支持128K级上下文。它采用Apache 2.0许可证开放，有量化版本等。其技术设计围绕显存、上下文管理等问题展开，在多方面做了取舍。
jiSGLang集成ktransformers：2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户，SGLang集成ktransformers的CPU内核，支持直接运行Kimi K2 Thinking模型。它无需等量化，还能微调，虽性能与GPU方案有差距，但给用户新选择。
Github斩获1.8K 星！！再见了按键精灵，Windows-MCP开源了！
今天介绍超酷开源项目Windows - MCP，它让AI与Windows系统互动，支持Win7到Win11。功能强大，不挑大模型，工具全、轻量开源、扩展性强。还给出安装步骤，不过使用时要谨慎。
AI越训练，越会「满嘴跑火车」！普林伯克利重磅揭秘，RLHF竟是罪魁祸首？
普林斯顿和伯克利研究《Machine Bullshit》，定义并量化LLM胡扯行为，总结四大套路，提出胡扯指数。实验发现强化学习人类反馈训练后，AI胡扯倾向加重，多思考也会让其更会忽悠。
用SFT打出RL的效果？微软联合提出高效后训练算法
大模型后训练阶段，SFT 和 RL 各有优劣。微软等联合提出新工作，量化 SFT 和 RL 在数据层面的差距，提出 IDFT 和 Hinted Decoding 等高效后训练技术，实验显示新方法泛化超 SFT、效率超 RL。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
比Transformer更强的架构来了？浙大新作Translution，一统卷积和自注意力
随着大模型发展遇瓶颈，浙大等校学者提出神经网络基础操作Translution，实现自注意力与卷积的融合统一，构建更普适神经计算机制。它性能超Self - attention，为新一代神经网络发展开辟新方向。
社区发布丨全面开源！商汤日日新SenseNova U1发布，迈向模型理解生成统一时代
商汤科技正式发布并开源商汤日日新SenseNova U1系列原生理解生成统一模型，基于NEO - unify架构，实现模态集成向原生统一跨越，其轻量版在多项测试达同量级开源SOTA，还能连续性图文创作。
从 Jev 到 TierSense， Agent 的「判断层」正在被拆出来 | GAIR Paper 132
本文解读Jev和TierSense项目，提出将Agent判断层从大模型生成中拆分，交给专用轻量模型，介绍TierSense能力、实验数据，探讨专用判断模型优化Agent效率的新方向。
从性能到实战，怎样才算是靠谱的 Agent 产品？
红杉中国团队提出AI基准测试工具Xbench，其双轨测评体系不再单纯执着于测评问题难度，重点量化AI系统在真实场景的效用价值，还构建长青评估机制，以确保评估结果的时效性和相关性。