「张量化PEFT」共找到 264 篇相关文章
jiSGLang集成ktransformers：2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户，SGLang集成ktransformers的CPU内核，支持直接运行Kimi K2 Thinking模型。它无需等量化，还能微调，虽性能与GPU方案有差距，但给用户新选择。
同一天两件大事！小模型直接掀翻千亿参数，走向效率为王
5月13日AI圈有两件大事，何恺明团队发布语言模型ELF，面壁智能开源MiniCPM-V 4.6。二者显示AI正从‘堆算力’转向‘省算力’，拉开AI轻量化浪潮序幕，未来小模型或成关注方向。
AI越训练，越会「满嘴跑火车」！普林伯克利重磅揭秘，RLHF竟是罪魁祸首？
普林斯顿和伯克利研究《Machine Bullshit》，定义并量化LLM胡扯行为，总结四大套路，提出胡扯指数。实验发现强化学习人类反馈训练后，AI胡扯倾向加重，多思考也会让其更会忽悠。
用SFT打出RL的效果？微软联合提出高效后训练算法
大模型后训练阶段，SFT 和 RL 各有优劣。微软等联合提出新工作，量化 SFT 和 RL 在数据层面的差距，提出 IDFT 和 Hinted Decoding 等高效后训练技术，实验显示新方法泛化超 SFT、效率超 RL。
AI子弹已上膛！OpenAI斩获美国防部2亿美元大单，密谋向微软「开枪」
AI巨头权力洗牌加速，OpenAI与微软因收购Windsurf及股份问题关系紧张，甚至考虑反垄断指控。同时，OpenAI获美国防部2亿美元合同，有「OpenAI for Government」计划，还致力于建设算力设施。
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
TGRS 2025 | FSConv：空域捕结构+频域提细节，即插即用的特征增强神器
红外小目标检测存在目标小、背景干扰大难题，传统卷积易丢失特征信息。TGRS 2025论文提出FSConv模块，通过双域融合提升特征表达能力，具备多尺度特征保持、轻量化、自适应增强等优势，有广泛应用场景。
1.4亿宝可梦玩家，都在给AI免费打工…
1.4亿《精灵宝可梦Go》玩家10年拍300亿张实景图，为Niantic免费收集数据。Niantic用此数据训练VPS视觉定位系统，提升机器人配送效率，还获巨额投资，剥离游戏业务专注空间AI。
大模型智能体如何突破规模化应用瓶颈，核心在于Agentic ROI
上海交通大学联合中科大研究指出，大模型智能体规模化应用有瓶颈，核心在于Agentic ROI 未达实用门槛。研究提出其发展呈「之字形」，先规模提升信息质量，再轻量化降成本。
从性能到实战，怎样才算是靠谱的 Agent 产品？
红杉中国团队提出AI基准测试工具Xbench，其双轨测评体系不再单纯执着于测评问题难度，重点量化AI系统在真实场景的效用价值，还构建长青评估机制，以确保评估结果的时效性和相关性。