「GPU推理」共找到 2428 篇相关文章
图解GPT-OSS：架构、消息格式与推理机制等
OpenAI发布首个开源大模型GPT-OSS，虽性能无惊喜，但设计思路有意思。其架构是经典延续，消息格式有巧思，支持三档推理模式，分词器有小进步，这些设计在实际应用和理论上有一定价值。
当 AI 下场炒 A 股，「推理」成了新的直觉
海外“AI Trading Battle”实验中，不同大模型交易表现差异大。港科大等团队提出RETuning方法，基于A股数据集验证，显著提升大模型金融预测准确率、推理可解释性，是综合改进方案，但有算力等局限。
AI生成苹果Metal内核，PyTorch推理速度提升87%
Gimlet Labs研究显示，AI能自动生成苹果芯片Metal内核，使PyTorch推理速度提升87%，在215个PyTorch模块上平均加速1.87倍。多个模型组合生成最优内核概率更高，不过研究对比方式遭质疑。
Qwen3-Next：迈向更极致的训练推理性价比
文章发布Qwen3-Next架构及Qwen3-Next-80B-A3B系列模型，通过混合注意力等改进提升训练推理效率。介绍模型结构、性能优势，还说明使用方法，包括在多平台部署及处理超长上下文，展望持续优化架构。
GPU-MODE Leaderboards之nvfp4_gemv代码阅读
文章围绕GPU-MODE的nvfp4_gemv竞赛rank1代码展开，先介绍问题及官方baseline，后详细解读rank1代码，含数据加载、线程模型等，还剖析核心计算函数，最后总结代码在缓存控制、数据格式等方面的调优亮点。
谷歌新研究：大模型“吵架”有利于提升推理质量
谷歌新研究发现高级推理模型自发进化出'思想社会'，研究人员用LLM - as - judge方法识别出多个虚拟人格。还找到控制现象的'开关'，实验表明教AI'吵架'更有效，其'社交技能'通用，给开发者带来新启示。
复杂空间推理新SOTA，性能提升55%！中山大学新作SpatialDreamer
中山大学等机构推出SpatialDreamer，模拟人类空间认知过程，构建闭环推理流程，还提出GeoPO解决奖励稀疏问题，构建SpatialDreamer - SFT数据集。实验显示其在多基准达SOTA，为AI空间智能发展开辟新路径。
谷歌TPU跑Kimi比英伟达GPU快57%！用的还是DeepSeek推理框架
本文报道由vLLM原班人马创立的Inferact公司，联合谷歌优化后，16块谷歌TPU v7跑Kimi K3速度比同数量英伟达GB200快57%，相关代码已开源，详解了背后的技术优化思路。
腾讯15年资深后台工程师，转战大模型推理的抉择
本文是腾讯15年资深后台工程师吴银光的转型自述，分享了他从零切入大模型推理工程的抉择过程，给出了清晰的入门路径与自检方法，分析了AI Infra与传统Infra的异同，为有意转型AI的技术人提供了实用参考。
255亿估值，国产GPU第一股要来了？
6月18日，摩尔线程IPO辅导状态变更为“辅导验收”。它成立于2020年，累计融资超45亿，估值255亿。若上市成国产GPU第一股，或受二级市场追捧。当下国产芯片替代空间广，相关企业有望增长。