「动态计算分配」共找到 1108 篇相关文章
Jina Embeddings v4 的量化感知训练
文章聚焦Jina Embeddings v4的量化感知训练。介绍量化技术可压缩向量体积、提升检索效率,对比四种主流量化方法,重点实验PTQ和Output QAT,还测试非对称量化,给出实验结果与结论。
千卡集群破壁之道:vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长,但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲,结合 LLaVA 和 DiT 模型实践,解析优化策略,分享提升训练效率与稳定性的经验,还展望了 AI Infra 未来。
The Batch:836 | 基准测试成本攀升
独立AI测试实验室披露评估推理模型成本上升。这些模型生成“思维链”提升输出质量,但计算需求增加,成本上升使资源有限组织难复现结果,且新模型定价、按需分配推理token也让成本更复杂。
昨夜,全球AI 集体宕机!
昨夜全球互联网大崩溃,谷歌云服务故障致13项服务崩溃,AI服务全军覆没,OpenAI也受影响,三大云巨头同时宕机,连锁反应使多平台瘫痪。事件暴露互联网脆弱性,给人们敲响警钟。
北大伯克利联手“拷问”大模型:最强Agent也才40分!新基准专治“不听话”的AI分析师
北大与伯克利团队推出IDA - Bench新基准,模拟真实数据分析场景,解决现有基准无法评估大模型在动态交互中可靠性的问题。测试显示,顶尖大模型成功率最高仅40%,不同模型还暴露多种问题。
微软再放LLM量化大招!原生4bit量化,成本暴减,性能几乎0损失
微软公布BitNet v2,性能几乎0损失,占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化,通过H - BitLinear模块处理异常通道,实验显示其在多方面表现优异。
Claude 4被诱导窃取个人隐私!GitHub官方MCP服务器安全漏洞曝光
瑞士网络安全公司发现,GitHub官方MCP服务器面临新型攻击,可诱导AI Agent将私有仓库敏感数据泄露至公共仓库。GitLab Duo近期也有类似漏洞。公司还提出初步缓解举措。
华为| 祭出FlashComm1,FlashComm2、FlashComm3,解决LLM推理通算瓶颈
在大模型推理面临通算难题背景下,华为数学家祭出FlashComm 1、2、3。如FlashComm 1优化AllReduce通信,提升推理性能;FlashComm 2重构计算流程,提升推理速度;FlashComm 3实现多流并行,激增模型吞吐。
ICML 2026 | Agentic强化学习训练的信息自锁问题
随着大语言模型走向真实交互,强化学习训练LLM agents时出现信息自锁问题。香港中文大学等研究者分析其原因并提出AREW方法,在多场景实验中表现稳定且具鲁棒性。
当 Agent 开始接管工作流,企业最在意的三件事:安全运行、稳定交付、持续进化
Agentic AI 开发落地使基础设施问题凸显。AI 产业转向重视模型部署等,CPU 受关注,云计算角色转变,容器重要性凸显。Agent 应用规模化落地,AI 负载变化,Agent Infra 要解决四个问题,云和 CPU 任务也在改变。