「低延迟推理」共找到 2945 篇相关文章
走出 MMLU 的高分幻觉：AI Agent 的「斯坦利时刻」与职场生存法则
文章指出多模态大模型在基准测试分数高，在实际业务流程却像‘职场巨婴’。研究团队构建Trainee - Bench测试顶尖模型，结果显示模型离‘独立上岗’远，凸显提升Agent自主学习性的重要性。
DeepSeek开源MoE新利器LPLB：基于线性规划，专攻训练动态负载不平衡
DeepSeek在GitHub开源LPLB，这是基于线性规划的并行负载均衡器，用于优化MoE模型专家并行工作负载分配。它通过动态重排序、副本构建等机制实现动态负载均衡，支持多种拓扑结构，但也存在成本估算等局限性。
PagerDuty 的 Kafka 故障导致数千家公司无法收到报警
2025年8月28日，事件管理平台PagerDuty遭遇重大服务中断，超9小时服务降级。原因是新功能缺陷使Kafka集群使用量超系统容量，引发连锁反应。公司列出改进承诺，社区强调系统要有冗余备份。
从零开始200行python代码实现LLM
文章从传统思路实现诗词生成器入手，介绍了词汇表、Bigram模型等概念，接着用Python和PyTorch实现了真正的Bigram模型，阐述模型、训练等内容，最后回顾成果，下一篇将基于此实现完整GPT。
Meta联合Google新作：语言模型到底“记”了多少东西？
Meta和Google合作的论文探讨现代语言模型对训练数据的“记忆”情况。研究发明新方法精确测量“记忆”量，发现模型记忆有上限且与参数线性相关，还揭示学习转折、隐私规律等重要结论。
特斯拉Cybercab正式上线：没有方向盘没有刹车，已开始在奥斯汀拉客
当地时间9月3日，特斯拉在奥斯汀启动Cybercab付费服务，该车无方向盘、刹车等。其成本约1.8万美元，远低于对手。不过，它面临监管和技术约束，目前投放规模小，未来发展待验证。
Show me《指环王》！卡帕西强推大模型评测新基准
大神卡帕西宣称Anthropic用《指环王》给大模型评测上强度，这一‘指环王基准’正接替‘鹈鹕骑自行车’SVG测试。虽Opus 5生成的画面粗糙，但网友测试展现出丰富创意，不过新测试也引发争议。
2w star，网页秒变 AI 助手，厉害了！
阿里项目`PageAgent`登上Github热榜，是纯前端JavaScript GUI智能体框架。它让网页拥有AI Agent，通过自然语言控制界面，无需截图、OCR和多模态大模型，有多种功能特性，使用简单。
优步通过实时信号与 Listwise 排序改进餐厅推荐
优步在Uber Eats推荐系统引入实时用户信号与Listwise排序法，用实时信号处理层替换早期特征流水线，还引入Listwise排序优化候选餐厅排序，降低特征漂移，保障系统性能。
Claude惊人真相被教授曝光：思考过程加密，给钱也看不到！
Anthropic推出extended thinking，包装成让用户看到思考过程的透明标杆，但实际仅展示部分内容，核心思考被加密。开发者发现异常，密码学教授逆向有发现，这暴露了其透明度悖论和信任问题。