「推理性能优化」共找到 4171 篇相关文章
仅2G内存可跑，刚刚，谷歌开源Gemma 3n，端侧原生多模态！
谷歌全面发布Gemma 3n，将多模态AI功能带入边缘设备并在Hugging Face开源。它原生支持多模态输入输出，针对设备端优化，内存占用低，采用开创性架构，Gemma系列质量也不断突破。
AI开源狂飙，OpenAI们慌了！GenAI大洗牌，2025趋势深度解读
2025年，ChatGPT仍领跑，但DeepSeek、Qwen等开源模型加速追赶。独立机构报告总结六大趋势，涵盖技术突破与市场格局演变，如推理模型实用化、MoE架构普及等，开源势力挑战闭源巨头。
阿里 Qwen3.8 正式发布：2.4T 规模，自主编程 16 天搓出一个 Hermes Agent
8月3日，阿里巴巴发布新一代基座大模型Qwen3.8，总参数量2.4万亿，性能居全球第一梯队。其API已上线千问AI平台，还接入“千问办公”。Qwen3.8编程和办公能力强，还将开源，性价比高。
CVPR 2026 Oral｜告别模型合并冲突！南大等提出OrthoReg：极简正交正则化，揭开任务算术的底层机制
南京大学等团队为任务算术建立底层理论框架，提出「任务特征特化」属性，推导出几何约束方法OrthoReg。该方法引入极简正交正则化项，提升模型合并性能，论文被CVPR 2026接收并评为Oral，代码等已开源。
Karpathy力荐必读博客：代码功底，决定AI「开挂」倍数！
Karpathy推荐Atharva博客，指出AI是工程师能力放大器，扎实编程基础搭配精准提示，能借AI打造极致产品。文章还给出用AI开发的策略、战术，以及数据库优化实例。
一文读懂 Deep Research：竞争核心、技术难题与演进方向
文章梳理了深度研究系统，包括其发展历程、现有系统差异、技术实现挑战、评估体系及推理架构演进方向。指出竞争焦点转向综合比拼，评估走向专业化，未来系统将在多方面突破。
直播预约 | Evaluation论文分享@ICML&ACL2025
2025年6月11日20:00将直播分享Evaluation论文。多位嘉宾参与，涉及SyncPL奖励建模、文本事实一致性验证、大模型评测方法等多领域论文，涵盖模型优化、基准测试等内容。
[Triton编程][基础] Triton Fused Softmax Kernel详解: 从Python源码到PTX分析
文章详细介绍Triton Fused Softmax Kernel实现，从Naive Softmax到Triton实现，分析访存量、row索引计算、num_stages作用等，还修复官方年久失修代码，性能测试带宽吞吐提升约4倍。
RAG创新了，MCompassRAG装上了语义指南针
RAG系统存在chunk切分难题，现有方案有额外成本。MCompassRAG不切细、不rerank，给粗chunk加主题元数据当指南针，训练推理分离，实验显示信息效率提升、延迟降低。
大神卡帕西又一构想落地！Claude Code + Obsidian 爆火：创建你的「第二大脑」
2026年4月，Andrej Karpathy提出LLM Wiki，将LLM使用范式推向「知识生产系统」。6月27日，RGK用Claude Code + Obsidian构建“第二大脑系统”，解决记忆、上下文、执行问题，还引入反馈机制、优化Token成本。