「注意力效率」共找到 1378 篇相关文章
AI 推理精细化流量治理实战：RocketMQ LiteTopic 的“千人千面”流控方案
随着大模型推理服务成主流，传统消息队列限流机制在AI推理场景面临挑战。Apache RocketMQ 5.x推出LiteTopic，其精细化流量治理方案能实现‘千人千面’，解决队列头部阻塞和并发效率受损问题，还与阿里云百炼网关合作。
Cursor为Blackwell从零构建MXFP8内核，MoE层提速3.5倍，端到端训练提速1.5倍
Cursor团队从NVIDIA的Hopper H100s升级到Blackwell B200s后遇性能瓶颈，他们回归基础，从零重写MoE训练层，抛弃对现有CUDA库依赖，释放了Blackwell架构潜能，实现MoE层和端到端训练提速。
杀疯了！单卡4090跑通全量微调，面壁1B级多模态性能怪兽硬刚大厂
面壁智能推出MiniCPM-V 4.6，参数约1B，性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品，靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新，有工业验证，对开发者和普通用户意义大。
英伟达新研究：小模型才是智能体的未来
英伟达最新论文指出，大模型在Agent任务中消耗大量计算资源，成本高、效率低、灵活性差，而小模型能在性能够用前提下让任务执行更经济灵活。小模型通过优化硬件资源和任务设计高效执行任务，但落地面临挑战。
一盘大棋！OpenAI「截胡」IMO金牌，奥特曼为GPT-5献上「核弹级」预热
OpenAI用全新通用推理模型拿下IMO金牌，抢了谷歌DeepMind的风头。此模型是融合新通用技术的推理LLM，在推理时间跨度和效率上有进步。奥特曼借此为GPT - 5预热，陶哲轩指出缺乏统一标准时对比AI表现无意义。
AI正在淘汰“中间层”！昆仑万维方汉：要么冲进前10%，要么学会“向下兼容”
InfoQ 专访昆仑万维董事长兼 CEO 方汉。他指出 AI 会全面提升行业效率，促使从业者“向上”或“向下”发展；企业出海要选好市场、做好本地化和差异化；还探讨了 AI 商业化、开源等问题，认为开源能满足长尾需求、带来销售线索。
小红书开源大模型dots.llm1，初次出手，小有惊艳！国外网友们又炸了……
小红书hi lab团队公布首个开源大模型dots.llm1，这是142B参数的MoE模型，仅14B激活参数就能与Qwen2.5 - 72B打平。它开源力度大，训练效率高，数据处理精细，训练稳定，获国外网友高度关注。
RAG技巧与底层代码剖析
文章深入剖析 RAG 技巧与底层代码，从用 Python 基础库构建 RAG 系统，到多种优化方法如上下文增强检索、添加上下文块标题等，还涉及查询改写、重排序等技术，最后介绍了上下文压缩、反馈机制等提升系统效率和质量的方法。
“不用 Cursor和 ChatGPT、手写代码的开发者，怕不是疯了？”
本文围绕开发者是否应使用AI辅助编程展开讨论。支持者认为大模型能提升效率，解决琐碎问题；反对者则质疑其可靠性。文中还分析了大模型在编程中的优缺点，如能生成代码但也有幻觉等问题，并反驳了一些反对观点。
一篇多模态大模型推理技术最新综述
华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展，涵盖关键算法设计、奖励机制创新及实际应用，探讨了RL在LLMs/MLLMs中的关键设计与优化策略，还涉及多模态大模型推理多方面内容。