「推理加速技术」共找到 4954 篇相关文章
The Batch：827 | Claude 4 推动代码生成能力再升级
Anthropic 发布 Claude 4 Sonnet 和 Claude 4 Opus 模型，支持“推理模式”，能并行调用工具。还发布 Claude Code 编程智能体及 SDK。两款模型输入输出能力强，功能亮点多，性能表现佳，有多种使用渠道和定价。
没受DeepSeek影响，英伟达最新财报创历史记录，同比增长260%
今天凌晨英伟达发布2025财年第一季度财报，收入达260.44亿美元，同比增262%，净利润飙升628%。多业务出色，还推出新硬件、技术和软件服务。二季度业绩展望佳，有望延续增长。
智能投顾的大模型应用，为什么选择了“大小模型协同”？
大模型时代，金融智能投顾落地是技术与业务安全的双重挑战。北银金科高级算法专家尹辰轩表示采用“大小模型协同”架构，能在性能、准确性与合规间找平衡，还阐述了架构亮点、问题解决办法等。
Meta「轻量级」KernelLLM颠覆GPU内核生成，8B参数碾压GPT-4o
Meta推出基于Llama 3.1微调的8B参数KernelLLM，能将PyTorch代码转高效Triton GPU内核。实测单次推理性能超GPT - 4o和DeepSeek V3，多次生成得分更高，让内核开发更易上手。
预测误差仅0.26mm，中科院自动化所×灵宝CASBOT团队让机器人提前“知道你要干嘛”
中科院自动化所与灵宝CASBOT提出DTRT方法获ICRA 2025录用。该方法利用Transformer和博弈论，将人类动态纳入长期预测，实验显示其预测精度和协作表现显著优于现有技术，有巨大应用潜力。
谷歌AI核爆：升级全系模型，Gemini 2.5双榜登顶！所有产品用AI重做，OpenAI如何接招？
北京时间5月21日凌晨，谷歌在I/O大会发布众多更新。模型层面，为Gemini 2.5 Pro引入新推理模型和更好的2.5 Flash；谷歌搜索推出AI模式；还亮相视频模型Veo 3等，编码助手Jules公测。
矩阵乘法可以算得更快了！港中文10页论文证明：能源、时间均可节省
香港中文大学10页论文提出新算法RXTX，用于计算矩阵与其转置的乘积XXᵗ。该算法结合机器学习搜索和组合优化技术，能源可节省5%-10%，时间节省5%，对多领域有深远影响。
不盲目跟风：消息代理选型实战指南
消息系统在分布式架构中至关重要，消息代理选型常缺系统方法。文章剖析 Apache Kafka 与亚马逊 SQS 特性，对比它们在命令、ECST、事件通知三种消息模式下的适配性，为选型提供参考。
21
本文聚焦vllm v1中管控模型分布式推理的核心Executor部分，介绍其4种类型及适用场景，以mp类型为例阐述Executor - Workers架构，还说明了大小数据在两者间的传输机制及原理。
开源Top2！实测阶跃Step 5 Preview，真有点猛啊…
本文是量子位作者对阶跃星辰新发布的开源旗舰大模型Step 5 Preview的实测与解读，介绍了其参数架构、评测排名、成本优势，展示了多类任务实测效果，分析了技术路线与行业价值。