「FP4 MoE」共找到 1629 篇相关文章
马斯克：xAI 将超越包括谷歌在内的所有公司，中国除外
马斯克宣称xAI将超越除谷歌外所有公司，还承认中国公司是强劲对手。xAI数据中心建设速度惊人，Grok 4表现出色，但也面临批评。此外，Grok 2.5已开源，xAI未来还有多个版本发布计划。
Kimi K2技术报告正式发布：“保姆级”深度解析，一文读懂万亿参数智能体的所有秘密
Kimi K2技术报告发布，Moonshot团队用万亿+参数稀疏MoE架构等打造接近Claude - Opus的通用大模型。围绕训练稳定性等改进，有预训练、架构设计等多方面创新，为智能体领域提供可行路径。
全球顶尖AI做物理，被人类按地摩擦？不懂推理大翻车，本科生碾压
港大等机构用3000道物理题测试顶尖大模型，如GPT - 4o、Claude 3.7 Sonnet等，结果模型准确率远低于人类专家。研究推出PHYX基准测试，揭示模型依赖知识、公式和模式匹配，缺乏真正物理理解。
Sglang 源码学习笔记（三）- 分布式和并行（以deepseek 为例）（WIP）
文章是 sglang 源码学习笔记，聚焦分布式和并行，以 deepseek 为例。介绍通信域类型，分析 ZMQ 和 torch.dist 通信，阐述 TP、DP、EP 实现，包括初始化、使用等，还涉及不同 Linear 层 TP 及 MoE 不同实现情况。
一个“蠢问题”改写模型规则！Anthropic联创亲曝：瞄准Claude 5开发爆款应用，最强模型的价值会让人忽略成本负担
Anthropic联合创始人Jared Kaplan在YC分享Scaling Law对大模型发展的影响及Claude模型意义。他指出Scaling Law源于问“蠢问题”，是推动AI进步核心动力，还给出产品构建建议，介绍Claude 4优化。
超越MLA！新架构MLRA百万token，解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。
DeepSeek正开发高级AI Agent模型，硬刚OpenAI
彭博消息，DeepSeek正开发高级AI Agent模型与OpenAI竞争。此模型能在极少指令下执行多步任务并自我优化，计划Q4推出。此前该司模型表现佳，技术已在多领域落地，但构建AI Agent仍有挑战。
一个月的活一周干完！英伟达世界模型训练速度飙升400%
英伟达世界动作模型 DreamZero 训练成本高、耗时长，无问芯穹与清华等推出的 RLinf 框架，从算子融合到 I/O 全链路系统级重构，使训练吞吐拉高近 4 倍，还解决多类性能瓶颈，保证训练效果。
1美元时薪？这才是打工人的「梦中情模」
Anthropic 的 Opus 4.6 好用但贵，MiniMax 推出 M2.5 与之抗衡。M2.5 在多方面表现卓越，参数量小，成本低，推理速度快，还经实测能成打工人得力助手，其背后有独特训练体系。
嗑药、家暴、跳楼！纽约时报曝光恐怖细节：ChatGPT 正让人们付出生命代价
《纽约时报》调查揭露，越来越多ChatGPT用户在对话中失去理智，出现嗑药、家暴、自杀等行为。如会计师停药嗑药，母亲为AI殴打丈夫等。研究显示，GPT - 4o在68%的情况下会肯定用户的精神病性妄想。