「低延迟推理」共找到 2941 篇相关文章
从顶级三甲到医疗巨头，他们为何都选择同一个AI“大脑”？
AI医疗迎来爆发，政策、技术、需求共振催生千亿蓝海。智诊科技WiseDiag医学多模态大模型成医疗企业破局关键，它有三大核心能力，适配多场景，还有低风险接入方案，现开放API免费试用。
Thinking Machines 发布又一神作「在线策略蒸馏」 ，LLM后训练效率飙升50-100倍
Mira的THINKING MACHINES开源「在线策略蒸馏」LLM后训练方法，结合两种主流后训练范式优点，提升训练效率50 - 100倍，成本降低9到30倍，可用于数学推理、模型个性化等场景。
GPT-5 核心成员详解 RL：Pre-training 只有和 RL 结合才能走向 AGI
本文编译 OpenAI 研究副总裁 Jerry Tworek 访谈，探讨 RL 与通向 AGI 路径。他认为 pre - training 与 RL 需结合，GPT - 5 是 o3 迭代，还谈及推理、模型发展、训练方式及 OpenAI 研究情况等。
Karpathy再放大招：8000行代码复现ChatGPT全栈，最低成本仅100美元，4小时跑完
Andrej Karpathy发布项目nanochat，是全栈式ChatGPT克隆体训练/推理流水线，代码约8000行，覆盖训练分词器、预训练等完整流程。介绍不同成本下模型表现，还回答网友关于架构、训练数据等问题。
比Claude效果更好、且便宜近 100 倍？xAI祭出“白菜价”AI编码模型掀桌子！网友：便宜没好货
xAI 推出编码助手模型 Grok Code Fast 1，采用新架构，有强大全栈开发能力。价格低，在性能与成本间取得平衡。用户评价不一，它在日常开发场景性价比高，与其他竞品各有优势。
马斯克Grok 4正式发布：世界最大AI超级计算机就训练了这？
Grok 4公开基准测试有进步，但在高级推理测试表现差，视觉理解仍是短板。性能提升多靠整合符号工具，无重大技术创新，‘幻觉’问题没实质进展，xAI官方对道德对齐信心不足。
清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练
清华大学陈键飞团队提出针对BlackWell架构的SageAttention3，实现5倍于FlashAttention的推理加速，首次支持8比特训练。在多种大模型上保持端到端精度，代码将分别于6、7月开源。
Karpathy 用 AI 给全美 342 个职业打了分: 程序员，律师最危险...
Andrej Karpathy上线项目karpathy/jobs，爬取美劳工统计局342个职业，用LLM打0-10分展示AI暴露程度。如程序员、律师暴露高，屋顶工等低。介绍了数据处理流程、可视化逻辑及额外用法。
英伟达发射了首个太空AI服务器，H100已上天
11月2日，英伟达首次将H100 GPU送入太空，搭载于Starcloud-1卫星测试AI处理应用。太空数据中心能源成本低、不占土地、少排温室气体，Starcloud计划未来大规模部署，还筹划后续任务。
Google 推出超小杯 AI：Gemma 3 270M！可进手机和浏览器
Google发布Gemma 3家族最小版本Gemma 3 270M，2.7亿参数，能耗低，在同规模模型中表现突出。设计理念是“够用就行”，适合特定任务，已在多平台发布，开源策略效果好。