「训练推理效率」共找到 4331 篇相关文章
仅凭一篇博客，他成功入职OpenAI！核心技术或用于GPT-5训练
Keller Jordan设计Muon优化器并公开研究进展，引OpenAI和xAI关注，最终加入OpenAI。Muon性能卓越，或用于GPT - 5训练，其故事暗示传统论文模式在AI领域或已落伍。
万赞！别把AI当搜索，10个让AI效率提升10倍的技巧
Greg Isenberg基于Anthropic官方研究拆解10个让Claude效率提升10倍的技巧，解决AI'幻觉'等问题，涵盖协作语气、明确性原则等方面，虽以Claude为例，但对其他AI也适用。
清华、快手提出AttnRL：让大模型用「注意力」探索
清华和快手团队提出新框架AttnRL，引入注意力机制提升过程监督强化学习效率与性能。它解决传统方法在分支位置选择和采样策略上的效率问题，实验显示在多基准测试中表现优异。
英伟达推理服务器被曝高危漏洞，云端AI模型被攻击直接裸奔
安全研究机构Wiz Research曝光英伟达Triton推理服务器一组高危漏洞链，可组合利用实现远程代码执行，造成模型被盗、数据泄露等后果。英伟达已发布补丁，25.07版本前系统有风险。
最受欢迎的开源大模型推理框架 vLLM、SGLang 是如何炼成的？
文章介绍了开源推理引擎 vLLM 和 SGLang，包括起源、创新、社区发展、版本迭代等。vLLM 借鉴分页缓存管理技术，SGLang 基于 RadixAttention 优化。二者竞争激烈，性能趋同，还获投资与基金会关注，受科技公司青睐。
北大提出首个复数大模型，2比特量化，推理仅加法，可手机部署！
北大团队提出iFairy方案，将模型权重量化到复数集合，用2比特表示，压缩至原本1/8。推理仅需加减或交换数据位置，成本更低。Transformer架构“复数化”，iFairy模型PPL降10%，性能反超全精度，相关成果已开源。
Meta华人新秀毕树超，重磅爆料下一代LLM路线！RL+预训练直通AGI
OpenAI前研究员、Meta成员毕树超在哥大演讲指出，AGI需高质数据、好奇驱动探索与高效算法，Scaling Law有效，规模决定智能，终身学习是重点，还探讨了AGI面临的诸多问题与挑战。
最强3B「小钢炮」，代码数据全公开！推理随意开关，128k超长上下文
Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。
Meta 新成立超级智能实验室，让大模型RAG推理速度飙升30倍
Meta新成立超级智能实验室（MSL），首篇论文REFRAG将RAG推理速度提升30倍以上。它先把上下文压缩成摘要再解码，减少计算量和延迟，在多任务测试中表现出色，为大模型部署提供实用方案。
不平衡数据下对比学习的理论分析：从训练动态到剪枝解决方案
本文第一作者为新泽西理工学院廖海旭。对比学习在类别不平衡数据下面临挑战，此前研究未考虑其影响。本文构建理论框架刻画训练动态，定量分析少数特征影响，提出剪枝算法增强少数特征学习，实验验证其有效性。