「推理性能」共找到 3441 篇相关文章
英伟达再破世界纪录，每秒1000 token！刚刚，全球最快Llama 4诞生
英伟达用Blackwell创下AI推理新纪录，单节点8颗GPU实现Llama 4 Maverick模型每秒单用户生成1000个token。这得益于技术组合拳，如用TensorRT - LLM优化、应用FP8格式等，满足了低延迟需求。
一文读懂 Deep Research：竞争核心、技术难题与演进方向
文章梳理了深度研究系统，包括其发展历程、现有系统差异、技术实现挑战、评估体系及推理架构演进方向。指出竞争焦点转向综合比拼，评估走向专业化，未来系统将在多方面突破。
[Triton编程][基础] Triton Fused Softmax Kernel详解: 从Python源码到PTX分析
文章详细介绍Triton Fused Softmax Kernel实现，从Naive Softmax到Triton实现，分析访存量、row索引计算、num_stages作用等，还修复官方年久失修代码，性能测试带宽吞吐提升约4倍。
RAG创新了，MCompassRAG装上了语义指南针
RAG系统存在chunk切分难题，现有方案有额外成本。MCompassRAG不切细、不rerank，给粗chunk加主题元数据当指南针，训练推理分离，实验显示信息效率提升、延迟降低。
6K星 Qwen围绕Web AI，打造Agent Search新生态
自Manus带火深度研究代理后，新兴方向面临多模态代理推理能力不足等问题。千问2025年推出系列工具完成web智能搜索生态闭合，本文分享WebWatcher训练及解决问题的方法。
什么情况，一夜之间冲上热搜，狂揽29.6k星，再见吧SQLite！这个嵌入式分析引擎实在太香了
DuckDB是嵌入式OLAP数据库，被赞“分析型SQLite”。它采用列式存储和向量化查询引擎，性能佳，功能多，适合探索性数据分析等场景，能替代Pandas等，成本低。
DeepSeek 硬核开源 DeepSeek-OCR-2！弃用 CLIP 改用 Qwen，创新视觉因果流！
昨天开源社区热闹非凡，Kimi 发布 K2.5，DeepSeek 则推出 DeepSeek - OCR - 2，用 LLM 架构替换传统 CLIP 视觉编码器。它核心创新是视觉因果流，能智能规划阅读路径，性能高效且全量开源。
最强编码模型Claude 4来了！Mcp集成无需Client，扩展提示缓存增强Agent长上下文保持能力
Anthropic 昨日推出新一代 Claude 模型，包括 Claude Opus 4 和 Claude Sonnet 4，在编码、高级推理和 AI Agent 方面树立新标准，有卓越编码能力、显著提升的 Agent 能力、全新 API 功能，Claude Code 也全面上市。
今天起全员免费！GPT-4.1上线ChatGPT，首波实测：又快又听话，油腻感没了
今天凌晨起，GPT - 4.1可在ChatGPT中供所有用户使用。它专为编码任务和指令执行设计，推理效率高。首波实测反馈速度快、需明确指示且更清爽，性价比高，是日常编码的好选择。
一文搞懂 Coding Agent 和 Harness
文章介绍编码智能体和 Agent harnesses 设计，阐述 LLM、推理模型与 Agent 关系，指出 harness 是让 LLM 在特定任务更好用的关键。还详细讲解 Coding harness 六个核心组件，并对比了 OpenClaw。