「提前退出解码」共找到 241 篇相关文章
蚂蚁dInfer框架,让扩散大语言模型推理速度再飙10倍,相同模型性能下超越自回归模型
蚂蚁开源dInfer框架,联合名校发论文阐述实现细节。它解决扩散模型推理难题,提出创新算法和系统优化策略,实验显示其推理速度远超Fast - dLLM和自回归模型标杆vLLM,代码已开源。
2026腾讯犀牛鸟开源人才培养计划正式开启
2026腾讯犀牛鸟开源人才培养计划正式开启,已连续举办5年。本届围绕3个阶段14个项目展开线上学习,新增线下开源夏令营。面向在校学生和开发者,6月18日-7月31日报名,6月30日有发布会直播。
Shopify 经验贴:如何搞出一个生产级别可用的 AI Agent 系统?
Shopify 以 AI 助手 Sidekick 为例,分享从简单工具调用系统演变为复杂 AI Agent 平台的经验,包括架构设计、评估方法和训练技术等方面,还给出构建生产级别可用的 AI Agent 系统的四条核心建议。
用得越多、失业越快?GitHub 大改 Copilot 规则:默认拿个人代码训练 AI,还搬出 Anthropic 挡枪!
当地时间3月26日,GitHub宣布自4月24日起,Copilot Free、Pro和Pro+用户交互数据默认用于训练AI模型,Business和Enterprise用户除外。GitHub称需更多数据覆盖编码场景,但此举遭用户吐槽。
谷歌提出破局Self-Consistency计算瓶颈!LLM推理效率革命,推理加速不牺牲精度
Google Research等团队提出CISC,通过给推理路径赋予置信度权重,少量样本即可超越传统自洽性效果,平均减少40%计算成本,还提出WQD指标揭示模型自评估能力本质。
她拒了贝索斯,离开黄仁勋,只为回答一个问题:AI能学会物理世界吗?
近日,AI初创公司Accelerated Understanding亮相,由Anima Anandkumar夫妇创立。它未随主流,目标是训练模拟物理现象的通用AI模型。该模型处理数据规模大,公司想解决AI验证瓶颈,产品面向科研工程机构。
深度拆解 Muse Glimmer,24GB 显存跑 30B Agent,Meta 到底做了什么?
昨天,Meta发布约30B参数的多模态Agent模型Muse Glimmer,支持128K级上下文。它采用Apache 2.0许可证开放,有量化版本等。其技术设计围绕显存、上下文管理等问题展开,在多方面做了取舍。
把 RAG 做成主流的公司,现在开始“做空”RAG 了
Pinecone 曾将 RAG 定义成大语言模型 grounding 标准范式,如今却宣布 RAG 时代结束。它推出面向 Agent 的知识引擎 Nexus,提出“知识编译”概念,称能提高任务完成率、降低 token 开销,整个 AI 世界都在将“推理”往上游移动。
AI裁员这一刀,终于砍到他们身上!外媒高层一锅端,9年老记者血泪控诉
宣扬「AI变革」的外媒Business Insider宣布裁员21%,全面拥抱AI。此前多名记者被裁,引发读者不满。今年谷歌、微软等大厂也有因AI而裁员情况,有预言称其将致入门级白领岗位消失,企业也想借其淘汰员工。
ICML 2025 Spotlight|华为诺亚提出端侧大模型新架构MoLE,内存搬运代价降低1000倍
华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题,推理时将专家输入改embedding token,用查找表替代矩阵运算,实验显示性能与MoE相当,大幅降推理延迟。