「效率优化」共找到 2269 篇相关文章
高盛大力培养“AI原住民”
Fortune消息,高盛2025年实习生计划竞争激烈,录取率仅0.7%。首席信息官Marco Argenti认为应赋予年轻专业人士AI技能。高盛推出GS AI Assistant,超95%员工用AI完成缺技能任务,公司强调赋能AI原住民好处。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”?
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
PaddleOCR3.0全面开源!文档解析PP-StructureV3:PDF秒变高质量结构化文件!
在大模型与RAG技术发展下,结构化数据愈发重要。飞桨团队打造PP - StructureV3并随PaddleOCR3.0全面开源,它能将文档精准转为结构化文件,有精度高、能力多等优势,还介绍了使用方式。
DeepSeek研究员1200行代码复刻vLLM,H800硬件实测性能反超原版
DeepSeek研究员俞星凯搞出开源项目Nano - vLLM,仅用不到1200行代码实现最小化且完全可读的vLLM。它有快速离线推理、代码可读性强、含优化套件等特点,在H800硬件实测中性能反超原版vLLM。
AI 渗透金融行业:大模型如何破解风控、服务与决策难题?
在数字化与人工智能驱动下,金融行业变革深刻。InfoQ《极客有约》X AICon 直播栏目邀多位专家探讨大模型赋能金融,涉及风控、服务、决策等难题,分享了大模型应用场景、技术渗透、权衡可解释性与性能等观点。
扩散语言模型扛把子LLaDA迎来新版本,数学、代码、对齐能力均提升
中国人民大学与蚂蚁集团团队基于前期 8B 扩散语言模型 LLaDA,提出方差缩减的偏好优化方法 VRPO,推出 LLaDA 1.5。它在数学、代码、对齐任务上性能提升,VRPO 为扩散语言模型对齐提供框架。
不懂建模也能做角色!VAST升级AI神器,一手实测来了:一键拆建/魔法笔刷/万物绑骨
3D大模型明星初创公司VAST推出的Tripo Studio大升级,有智能部件分割、贴图魔法笔刷等四大核心功能,直击过去建模流程痛点,实现从“给模型”到“交成果”的质变,提升全链路效率。
英伟达再破世界纪录,每秒1000 token!刚刚,全球最快Llama 4诞生
英伟达用Blackwell创下AI推理新纪录,单节点8颗GPU实现Llama 4 Maverick模型每秒单用户生成1000个token。这得益于技术组合拳,如用TensorRT - LLM优化、应用FP8格式等,满足了低延迟需求。
博士宿舍激情脑暴,革新了Scaling Law?Qwen和浙大联手推出新定律,直接干掉95.5%推理内存!
近日,阿里与浙大合作提出并行计算缩放定律 ParScale,可在不增参数下提升大模型能力,推理效率更高。它通过引入并行流实现,在数学、编程等任务表现佳,适合边缘设备,代码已开源。
ACL2025 | 抓出0.1%的捣乱分子压缩方法OTT:近乎无损 超越KIVI,内存减6.4倍 吞吐量提2.3倍
LLM生成文本时KV Cache内存占用高,限制模型批量处理能力。论文提出OTT方法,动态追踪异常令牌单独高精度保存,其余压缩。实验显示,它准确性高、效率好,不过在极短文本等场景有局限。