「推理性能优化」共找到 4177 篇相关文章
AI 的宿命数字
AI在1到50间随机选数时，常选27，还编造推理过程，会根据时间调整算法保证结果为27，也有选42等情况。这或源于人类文化偏见，AI是人类集体记忆镜子，难摆脱宿命。
经典ReLU回归！重大缺陷「死亡ReLU问题」已被解决
在深度学习领域，经典 ReLU 函数因简洁性等优势受青睐，但有「死亡 ReLU 问题」。德国吕贝克大学等机构研究者引入 SUGAR 方法，不牺牲 ReLU 优势解决该问题，还设计 B - SiLU、NeLU 函数，实验显示性能提升显著。
瘦身不降智！大模型训推效率提升30%，京东大模型开发计算研究登Nature旗下期刊
京东探索研究院大模型研究登Nature旗下期刊。其提出系统与方法，经四大创新使大模型推理提效30%、训练成本降70%。成果支撑JoyBuild平台，可帮企业将通用模型转化为专业模型，加速商业化落地。
Apple 终于承认了：Mac mini 正在变成一台 Agent 服务器
苹果偷摸发布新 Mac mini，处理器升级到 M6 和 M5 Pro，官方将其置于 Agent 常驻使用场景，产品边界向 Agent 服务器延展。新款性能提升显著，Mac Studio 也有强大配置，Apple 产品线朝本地 AI 计算基础设施转变。
击败GPT、Gemini，复旦×创智孵化创业团队「模思智能」，语音模型上新了
近日，由复旦邱锡鹏担任首席科学家的模思智能发布多说话人自动语音识别模型 MOSS - Transcribe - Diarize，性能超 GPT - 4o、Gemini 等。它解决语音领域落地痛点，跑分亮眼，还解决 SATS 方案不足，开放 API 限时免费。
拒绝传统 Router“瞎指挥”，多智能体如何实现智能任务分配？
企业级多智能体系统瓶颈常是负责分发任务的传统 Router 太“傻”，搞不定跨域、解不了冲突、跟不上变化。腾讯云开源 TCAR 智能路由模型，它先推理再选 Agent 集合，经多数据集评测表现出色，还提供完整开源范式。
谷歌Gemini一次提示能耗≈看9秒电视，专家：别太信，有误导性
谷歌报告称处理一个中位数的Gemini文本提示能耗低，2024 - 2025年单个文本提示能耗降33倍、碳足迹减44倍，归功于全栈式优化。但专家质疑其方法论，指出未算间接用水、碳排放核算不全等问题。
英伟达、港大等发布创新KV缓存，实现扩散模型无训练加速
多数开源扩散语言模型推理效率不如自回归模型，英伟达、港大、麻省理工研究人员联合提出Fast - dLLM。它用近似KV缓存机制减少冗余计算，还提出基于置信度的平行解码策略，测试显示能加速且保持生成质量。
A社你解释下，啥叫Sonnet 5比Fable 5还贵？
Anthropic推出新版性价比模型Sonnet 5，定位为“最能干活”，能力提升但价格暗藏玄机。开发者实测发现，新分词器使Token消耗增加，实际花费可能比Opus还高，且有性能相近但价格更低的替代模型。
清华系团队出手！一张 4090 即可「爆改」，1.3B小钢炮震撼开源
5月11日，清华系团队面壁智能联合多方开源端侧多模态大模型MiniCPM-V 4.6。它参数仅1.3B，性能超阿里、谷歌等同级对手，效率翻倍，还实现两项架构创新，适配主流开源生态，降低开发门槛。