「大模型推理加速」共找到 8576 篇相关文章
Jina Reranker v3: 全新“列式”重排器，0.6B参数刷新文档检索SOTA
Jina AI推出第三代重排器Jina Reranker v3，在多语言检索基准上刷新SOTA。它参数仅6亿，有“last but not late”交互机制，能一次性处理查询和文档。还提供动态量化格式，方便不同硬件部署。
一举击败Claude Code！微软提出代码生成黑科技：一键直出36K行代码
现有方法依赖自然语言规划生成仓库易失效，微软提出Repository Planning Graph (RPG)，以图谱替代文字规划。基于此的ZeroRepo框架能让仓库生成可控、可扩、可验证，在新基准RepoCraft上表现远超Claude Code。
开源AI黑客Agent，自动检查代码漏洞并修复，离AI编程的全流程自动化不远了。
开源的AI Agent能自动查代码漏洞并修复，是集自动化渗透等功能于一体的安全测试平台。Strix作为开源AI安全测试工具，无需手动渗透测试，支持多类型安全评估，功能强大。
LeCun力荐的JEPA杀入LLM，用CV的思路训练LLM，性能鲁棒性双丰收
LeCun团队提出LLM - JEPA，将JEPA自监督学习架构从视觉扩展到LLM。它能提升性能和鲁棒性，在多模型和数据集验证有效，但有训练开销大、泛化性不足等局限。
最好的 DeepResearch 平替开源了
ROMA是元代理框架，以递归分层结构解决复杂问题，有并行问题解决、透明开发等优势。它通过计划 - 执行循环处理任务，介绍了安装选项、技术栈，还有预构建代理展示功能。
提速30倍，Meta重新定义了新一代RAG！
LLM时代，RAG成知识密集型任务标准范式，但处理长上下文时面临延迟高、内存贵问题。Meta超级智能Lab针对RAG特殊结构优化，提出REFRAG框架，有独特训练策略，实验效果显著。
过时的 Python 版本会让公司损失数百万美元
JetBrains报告显示83%的Python开发者用旧版本，这不仅是技术债务问题，还会增加云账单成本。Python新版本有显著性能提升，升级能节省成本，容器化也未加速升级。
从「会说」迈向「会做」，LLM下半场：Agentic强化学习范式综述
过去LLM训练多依赖PBRFT范式，但局限明显。2025年初起，Agentic RL新范式受关注。此综述论文梳理该方向，覆盖500+研究，构建理论框架，讨论未来挑战，助LLM从「会说」迈向「会做」。
从需求分析到代码生成，LLM都能干点啥？一文读懂291个软工Benchmark！
大语言模型重塑软件工程各环节，但缺乏评估其在该领域表现的系统工具。浙江大学等机构团队首次对291个软件工程Benchmark系统综述，分析现状、痛点并给出改进方向。
视觉Token注入CLIP语义，走向多模态理解与生成新范式
腾讯ARC Lab等机构提出全新视觉分词器TokLIP，将低级视觉Token与高级CLIP语义结合，支持端到端自回归训练，可接入LLM框架，降低计算与数据门槛，在多模态任务中表现优异，代码已开源。