「模型设计」共找到 8587 篇相关文章
SGLang 确定性推理实现技术细节笔记
文章围绕SGLang确定性推理展开,介绍其启用方式,详述批次不变性原理与Batch Invariant Ops实现,如Matmul Persistent Kernel设计;还阐述确定性采样、Attention Backend配置、AllReduce改动等,给出环境变量及测试脚本,有完整解决方案。
更先进的AI,就应该发生在“今天” | 甲子光年
AI应用离消费者体验还有距离,行业分歧加剧。9月22日,联发科发布天玑9500芯片,把AI嵌入端侧设备,在高频场景优化体验,还在芯片设计、硬件创新上突破瓶颈,带动伙伴发展,推动AI普及。
OpenAI两位首席最新采访信息量好大!终极目标是“自动化研究员”,招人并非寻找“最出圈”的人
OpenAI首席科学家Jakub Pachocki和首席研究官Mark Chen在采访中爆料,谈到GPT - 5将推理引入主流、实现自动化研究员目标、强化学习未到瓶颈等,还阐述用人标准、算力分配等问题。
就在刚刚,ChatGPT发布了一个新功能Pulse
北京时间凌晨,山姆·奥特曼宣布 OpenAI 为 Pro 用户上线 ChatGPT Pulse 预览版,后续会扩展到 Plus 用户及所有人。Pulse 核心是主动推送个性化更新,能结合多信息生成内容,但需用户开放大量个人数据,隐私问题值得关注。
上任两年,吴泳铭为阿里 AI 定调:终局是 ASI
吴泳铭出任阿里 CEO 两年,在云栖大会提出 AI 终局是 ASI。阿里云升级全栈 AI 体系,通义大模型 7 连发,百炼平台更新。吴泳铭判断通往 ASI 分三阶段,阿里为此推进 3800 亿建设计划。
云厂商「进击」 Agent 开发平台
企业级智能体(Agent)市场崛起重构云服务竞争格局,云厂商需提供全栈能力。腾讯云宣布智能体开发平台3.0上线,优图实验室关键技术持续开源。文中还分析企业开发Agent难题及腾讯云应对举措。
这一次,天玑9500的端侧AI能力,友商赶不上了
9月22日,联发科推出天玑9500芯片,展示新形态端侧AI应用,推动端侧AI实用化。其性能强、功耗低,还支持端侧模型训练。多家手机厂商将发布搭载该芯片的手机,展现新AI趋势。
OpenAI从苹果挖了20多人搞硬件,知情人士:苹果创新缓慢、官僚主义令人厌倦
据外媒报道,OpenAI 从苹果挖走超 20 名硬件、设计和供应链人才,利用苹果中国供应链生产硬件,产品线丰富,目标 2026 年底或 2027 年初发布。但此举或影响双方合作,且硬件野心面临挑战。
以「场景」定义算力:AI时代,通用算力不只“通用”
当AI狂欢席卷全球,阿里云和AMD通过‘一芯三用’重新定义AI时代算力选型逻辑,从‘参数崇拜’回归‘业务本质’。联合发布三款基于AMD Zen 5架构‘Turin’处理器的全新ECS实例,精准匹配不同业务场景需求。
国科大 | 提出进化算法:EvolKV,自适应分配KV Cache,预算降至1.5%!
键值缓存(KV cache)是大模型快速运行核心技术,但输入文本越长,存储和处理问题越突出。国科大提出进化算法EvolKV,自适应分配KV Cache,实验显示其效果显著,预算可降至1.5%。