「推理系统优化」共找到 4331 篇相关文章
豆包是如何炼成的？字节放出自研万卡训练系统ByteRobust论文
文章介绍字节跳动的LLM训练基础设施ByteRobust。它由控制和数据平面构成，关键目标是获高ETTR。该系统优先快速隔离故障、考量人为错误、控制恢复可变性，已部署超一年，效果显著。
“扁平+拓扑”双索引，85页PDF"秒级"推理，MMRag幻觉率骤降76%
文章聚焦多模态长文档视觉问答，介绍现有LVLM - based和RAG - based技术路线及困境。提出MMRAG - DocQA方案，引入‘分层索引 + 多粒度检索’，设计双索引建模相关性与依赖，用互补策略实现证据互补。
为什么HBM能摆脱传统周期？
当前市场对HBM和DRAM能否摆脱传统半导体周期性存争议。过去半导体周期由消费电子换机节奏驱动，而AI推理不同，大模型推理对内存依赖是硬约束，GPU更新对HBM需求几乎注定指数级增长。
手工软件工程师的时代已经结束！一位连续创业CTO的判断
连续创业者、Tessi.ai CTO Ben Greene 在访谈中指出，生成式 AI 改变软件工程形态，手工软件工程师时代过去。工程师应转向理解问题、设计系统，具备系统思维、业务理解和与人协作能力，学会“AI 编排”。
喂饱OpenClaw！北大中科院95后打造星际超算，硬刚马斯克
中科天算与炎和科技联合宣布太空超算原型系统发布，完成太空算力与钙钛矿能源系统联调。全球算力需求爆发，地面超算受限，太空成核心战场，我国此次突破彰显创新魄力。
Cloudflare 用 Rust 重写核心系统：CDN 性能提升 25%，响应时间缩短 10 毫秒
Cloudflare 宣布用 Rust 重写核心子系统，响应时间缩短 10 毫秒、性能提升 25%。基于代理框架 Oxy 构建 FL2，创建中间层让 Rust 模块在旧系统运行，还制定测试发布策略及回退机制。
斩获6.1 star，再见Crontab！这款开源定时任务管理系统让运维更高效
Gocron是基于Go语言的轻量级定时任务管理系统，可替代Linux Crontab。它有可视化界面、秒级调度等功能，适用于自动化运维等场景，通过Docker一键部署，比同类项目更具优势。
英伟达发布 Jet-Nemotron 系列小模型，理论最大加速比 56 倍
英伟达发布 Jet - Nemotron 系列小模型，在多项基准测试中表现出色，实现高吞吐量加速和高准确率。其训练采用 PostNAS 方案，对既有模型针对性优化，展示了在小模型优化上的可行技术路径。
企业级Agent「登月」时刻！1人1周搞定高可用系统，只花5元
12月16日，无问芯穹智能体服务平台发布，为企业提供全链路陪伴式落地服务。它有能力模板和托管服务，能解决企业智能体落地困境，如提升效果、保障稳定、控制成本等，已在多行业验证价值。
RAG效果不佳？先别急着微调模型，这几个关键节点才是优化重点
文章深入探讨RAG技术实现与优化，指出其在AI应用开发中常被当黑盒，从文档分块、索引增强、编码、混合检索到重排序等关键环节解析，强调结合场景调优以提升召回与精确率。