「LLM Inference」共找到 974 篇相关文章
阿里自己上场，用Qwen3做起了SmartResume应用
近期，阿里用Qwen3-0.6B+YOLOv10做了智能简历解析系统SmartResume，Code、Model、Paper都已开源。该系统支持多种文档格式，融合OCR与PDF元数据完成文本提取，结合版面检测重建阅读顺序，并通过LLM将内容转换为结构化字段。
基于OpenAPI和AI coding的上云智能体构建实践
文章介绍基于OpenAPI和AI coding构建上云智能体的实践。分析不同编程范式，结合AI coding发展与Multi - Agent问题，阐述构建方案，包括业务场景、构建方法、技术实现、当前效果及后续展望，还提及文档智能与RAG构建LLM知识库。
Life of a Token：像调试代码一样看懂大模型如何生成 Token
文章类比 Chrome 的 Life of a Pixel，追踪 LLM 里 token 从输入到输出的全程。以 GPT - 2 Small 为例，详细讲解其管线各阶段，如 Tokenization、Embedding 等，还介绍了残差流、KV Cache 等概念及 GPU 性能瓶颈和优化方法。
LeCun怒揭机器人最大骗局，坦白Llama与我无瓜！
Meta首席AI科学家LeCun在MIT演讲称，机器人行业离通用智能还远，家用机器人需AI突破，核心是打造‘世界模型’架构。此观点引特斯拉、Figure高管回怼。他还表示LLM有本质瓶颈，世界模型将成未来AI主流。
DeepSeek，Qwen，Grok组团发布，社区一手实测
LLM大爆发，一天内推出Grok 4.6、Qwen3.8 - Max、DeepSeek - V4 - Pro - 0813三款前沿产品。社区对它们进行多场景测试，如3D场景、Flappy游戏、飞机滑行动画等，并对比了不同模型的性能、价格和输出质量。
将 AI 注入 Java 应用程序
文章围绕将 AI 注入 Java 应用程序展开，以宇宙飞船租赁应用的聊天机器人为例，介绍如何用 LangChain4j 和 Quarkus 等 Java 框架与大语言模型（LLM）交互，还提及流式响应、结构化输出等功能及相关概念。
「Memory as a Context」是否将重新定义 Transformer 的 「记忆模式」？
本期机器之心PRO会员通讯解读3个AI业内要事，包括「Memory as a Context」能否重新定义Transformer记忆模式、世界模型发展情况，以及OpenRouter联合a16z发布的《State of AI》报告。详细探讨了谷歌Titans架构及其理论框架MIRAS，还提及业界对LLM记忆力的改进方案。
ICML 2026前瞻：投稿翻倍背后，机器学习正在换挡
第43届国际机器学习大会（ICML 2026）7月6 - 11日将在韩国首尔举行，主题为‘Machine Learning for the Real World’。今年投稿量翻倍，接收率26.6%，还做了两项制度调整。论文反映出LLM推理、AI安全、模型压缩等趋势，中国研究者表现亮眼。
小红书hi lab首次开源文本大模型，训练资源不到Qwen2.5 72B 的四分之一
6月6日，小红书hi lab团队首次开源文本大模型dots.llm1，采用MIT许可证。该模型激活参数量140亿，总参数量1420亿，上下文长度32K。训练资源不到Qwen2.5 72B的四分之一，在多个测评中表现出色。
阿里云Tair KVCache仿真分析：高精度的计算和缓存模拟设计与实现
阿里云Tair KVCache团队推出Tair - KVCache - HiSim，这是面向分布式多级KVCache管理的高保真LLM推理仿真分析工具。它能在通用CPU上高精度预测性能，支撑计算选型、存储规划和调度协同等决策，还介绍了其架构、组件、验证及性能评估等内容。