「溯因推理」共找到 3187 篇相关文章
【博客翻译】使用PyTorch加速生成式AI第四部分：Seamless M4T，快速优化
这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。
Anthropic最新博客：MCP没有死，我们又救活了。
2个月前Eric Holmes认为MCP已死，因其有Token成本等问题且LLM本就会用命令行。但本周Anthropic发博客称想清MCP定位，它不是替代CLI，而是覆盖其到不了的地方，还给出改进方案，MCP月下载超3亿次。
OpenAI与爱泼斯坦的联系断了
随着20000页文件曝光，曾被视为OpenAI成熟监管者的前财长萨默斯，因被揭露曾向性犯罪者爱泼斯坦寻求「僚机」服务而跌落神坛，于昨日被迫辞去董事职务。这场丑闻不仅终结了萨默斯在硅谷与哈佛的权力版图，更在OpenAI刚刚完成商业化转型的关键时刻，撕碎了精英治理的假面并留下了巨大的权力真空。
一个Dispatch Dtype引起的fp8 quant kernel性能问题
文章记录SGLang社区在sgl-kernel中解决的fp8 quant kernel性能问题，因错误使用`c10::Float8_e4m3fn`数据类型，未用硬件加速指令，通过软件调用致性能下降，现已修复，vLLM也应用此修复。
AI大模型开发核心技术栈：从框架到部署的全景解析
本文为开发者提供2025年AI大模型开发核心技术栈图谱，解析四大核心支柱技术。基础开发框架含深度学习与AI Agent框架；模型训练与微调有分布式训练、参数高效微调；推理优化含关键技术与主流框架；AI编程辅助工具分主流形态且有发展趋势。
库克清空弹夹！2nm，韬定律，最强AI电脑
库克退休前火力全开，苹果发布首款2nm制程芯片M6和最强M系芯片M5 Ultra，塞进新款Mac。M6让Mac mini AI性能暴涨，M5 Ultra性能强悍，能跑大模型。但因内存短缺，高内存版限购且供货晚，价格也涨了。
llya证词太狗血了！奥特曼坏，Mira茶，OpenAI差点跟Anthropic合并
最新披露的llya 52页证词，记录了当年奥特曼被“宫斗”的来龙去脉。奥特曼回应个人持股情况，称因热爱但也有点后悔。llya证词显示他和Mira曾密谋开除奥特曼，背后是OpenAI在营利和非营利间的摇摆，而OpenAI目标指向IPO。
苹果不吹 AI，反而成功了？
北京时间9月10日苹果发布会，与iPhone 16发布时大肆宣传AI不同，此次重点在硬件及AI幕后支持。此前苹果对AI宣传过度致部分功能未推出引失望，且在智能体AI助手进展落后。多数人不因AI换机，给了苹果试错时间，但它在AI竞赛中落后，中国厂商布局更快。
蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践
文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读，详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案，包括Prefill和Decode阶段的优化、通信优化、观测诊断等，并给出了评测结果。
AGI时代最稳的饭碗是什么？3Blue1Brown创始人：技术会淘汰，但信任不会
科普视频博主 Grant Sanderson 在播客中指出，AI 因缺乏肉身和生理模仿机制，写不出触动人类灵魂的文章，即便证出黎曼猜想，若证明冗长，对人类也无意义。他还探讨了 AI 在数学领域的进展、局限，以及人类教师和科普作者在后 AI 时代的价值。