「轻量化机制」共找到 1216 篇相关文章
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
登顶TPC-C！数据库分布式扩展技术揭秘
阿里云PolarDB云原生数据库以超原记录2.5倍性能登顶TPC - C基准测试排行榜。本文揭秘PolarDB MySQL版多主集群（Limitless）架构与核心技术，还介绍高可用机制、性能测试结果，最后提及轻量版和列存索引应用。
DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜
DeepSeek提及针对国产芯片的FP8量化设计，引发对大模型量化策略关注。不久后英伟达发力低精度量化，将NVFP4策略拓展到预训练阶段，其方案能解决核心挑战，实验证明NVFP4在大规模训练中可行。
挑战 1 比特！ETH Zürich 秦浩桐：如何把大模型「塞进」小设备？| IJCAI 2026
IJCAI 2026大会上，秦浩桐给出创新解法，挑战无需重训的“后训练量化”极限，将庞大的LLM强行压缩至极端的1比特与2比特。其团队的BiLLM与SqueezeLLM打破了后训练量化魔咒，还指出极低比特量化的三大挑战。
本周 5 个火火火的Github开源项目，太香了！
文章介绍了本周5个热门GitHub开源项目。有能生成城市地图海报的MapToPoster，离线翻译工具Argos Translate，终端历史增强神器Atuin，轻量超高效版OpenClaw的PicoClaw，以及开源轻量级文本转语音工具Pocket TTS。
9位顶级研究员连讲3晚，华为盘古大模型底层研究大揭秘
华为诺亚方舟实验室成果颇丰，4月开发千亿级通用语言大模型Pangu Ultra，5月推出稀疏大语言模型Pangu Ultra MoE。5月28 - 30日，机器之心联合举办分享会，9位研究员揭秘量化、剪枝等关键技术突破。
OpenAI这招太狠！AI从「躲猫猫」到「自爆黑料」，主打一个坦白
随着AI进入高风险场景，透明、安全变得重要。OpenAI提出「忏悔机制」，让模型回答后产出自我坦白报告，不影响主回答评分，只考察诚实，能提升不良行为可见性，目前仍处概念验证阶段。
OpenAI偷装Anthropic Skills实锤，ChatGPT、Codex已植入！开发者实测11分钟造PDF：比MCP强！
近日开发者发现 OpenAI 悄悄支持了 Claude 构建的 Agent Skills 机制，内置 excel、word 和 pdf 等技能。其实现理念与 Anthropic 相似，且 Skills 支持功能已落地 ChatGPT 和 Codex。业内对 Skills 看法不一，但它为智能体发展带来新方向。
Claude爆火研究漏引华人团队成果，已挨打立正道歉
Anthropic新论文研究Claude“情绪机制”，漏引华人团队Chenxi Wang去年10月论文。经沟通，A社已道歉并更新博客引用。华人团队论文首篇系统研究LLMs情绪机制，解答核心问题，成果显著。
华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
即便Transformer是AI世界基石，但遇到复杂数学题或多步逻辑推理时表现不佳。问题出在Attention机制。华为诺亚方舟实验室推出Nexus高阶注意力机制架构，能提升模型推理能力，且参数零增。