「推理优化与部署」共找到 3521 篇相关文章
仅2G内存可跑，刚刚，谷歌开源Gemma 3n，端侧原生多模态！
谷歌全面发布Gemma 3n，将多模态AI功能带入边缘设备并在Hugging Face开源。它原生支持多模态输入输出，针对设备端优化，内存占用低，采用开创性架构，Gemma系列质量也不断突破。
AI开源狂飙，OpenAI们慌了！GenAI大洗牌，2025趋势深度解读
2025年，ChatGPT仍领跑，但DeepSeek、Qwen等开源模型加速追赶。独立机构报告总结六大趋势，涵盖技术突破与市场格局演变，如推理模型实用化、MoE架构普及等，开源势力挑战闭源巨头。
Transformer与RNN合体，谷歌打下显存门槛，解锁超长上下文
谷歌论文提出 Memory Caching 技术，通过架构机制创新赋予 RNN「可生长的记忆容量」，兼顾 Transformer 与 RNN 优势，能处理更长文本、降低推理资源门槛，实验显示有良好效果。
Karpathy力荐必读博客：代码功底，决定AI「开挂」倍数！
Karpathy推荐Atharva博客，指出AI是工程师能力放大器，扎实编程基础搭配精准提示，能借AI打造极致产品。文章还给出用AI开发的策略、战术，以及数据库优化实例。
一文读懂 Deep Research：竞争核心、技术难题与演进方向
文章梳理了深度研究系统，包括其发展历程、现有系统差异、技术实现挑战、评估体系及推理架构演进方向。指出竞争焦点转向综合比拼，评估走向专业化，未来系统将在多方面突破。
直播预约 | Evaluation论文分享@ICML&ACL2025
2025年6月11日20:00将直播分享Evaluation论文。多位嘉宾参与，涉及SyncPL奖励建模、文本事实一致性验证、大模型评测方法等多领域论文，涵盖模型优化、基准测试等内容。
RAG创新了，MCompassRAG装上了语义指南针
RAG系统存在chunk切分难题，现有方案有额外成本。MCompassRAG不切细、不rerank，给粗chunk加主题元数据当指南针，训练推理分离，实验显示信息效率提升、延迟降低。
大神卡帕西又一构想落地！Claude Code + Obsidian 爆火：创建你的「第二大脑」
2026年4月，Andrej Karpathy提出LLM Wiki，将LLM使用范式推向「知识生产系统」。6月27日，RGK用Claude Code + Obsidian构建“第二大脑系统”，解决记忆、上下文、执行问题，还引入反馈机制、优化Token成本。
GraphRAG，这次被G-Reasoner统一了
大语言模型在知识密集型任务中存在局限，GraphRAG 也有迁移难题。G - Reasoner 提出统一框架，含 QuadGraph、GFM、LLM 增强推理模块，在性能、泛化、效率上全面领先现有方法。
6K星 Qwen围绕Web AI，打造Agent Search新生态
自Manus带火深度研究代理后，新兴方向面临多模态代理推理能力不足等问题。千问2025年推出系列工具完成web智能搜索生态闭合，本文分享WebWatcher训练及解决问题的方法。