「Token 工程」共找到 1340 篇相关文章
大模型思维链推理速度倍增!——RoT新框架把思维链「画」进隐空间
随着大模型规模扩展,思维链(CoT)成处理复杂推理任务标准范式,但显式CoT依赖长序列生成,隐式CoT面临优化挑战。腾讯提出RoT新框架,利用视觉编码器将文本推理步骤转为视觉嵌入,实现Token压缩与推理加速,且过程可分析。
设计流程已死:Anthropic 设计负责人 Jenny Wen 谈 AI 时代的设计变革
Anthropic的Claude设计负责人Jenny Wen在Lenny's Podcast中谈AI时代设计变革。她指出传统设计流程被工程速度倒逼走向尽头,还分享在AI实验室做设计的感受、Co - work开发故事等,给出招聘设计师的标准。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA(次平方稀疏注意力)算法。它支持12M tokens上下文,比fastAttention快52倍,训练和推理更快。SSA改变了注意力扩展特性,有计算和内存线性扩展等特性,经三阶段训练可可靠利用长上下文。
杀疯了!单卡4090跑通全量微调,面壁1B级多模态性能怪兽硬刚大厂
面壁智能推出MiniCPM-V 4.6,参数约1B,性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品,靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新,有工业验证,对开发者和普通用户意义大。
小米小爱同学:资源受限下,实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰,了解其团队在资源受限的端侧设备实现大模型高性能推理的策略。目前端侧大模型商业化落地慢,团队提前布局,自研框架,实现超180 tokens/s推理速度,还分享未来突破方向。
The Batch: 885 | Claude 升级了
Anthropic更新中型模型Claude Sonnet至4.5版本,在性能上显著提升,还引入可变推理token预算。Claude Code智能编码工具也获功能增强,新增Claude Agent SDK等。测试中Claude Sonnet 4.5表现优异,Anthropic重心转向编码与职场生产力。
拥抱 AGI 时代的中间层⼒量:AI 中间件的机遇与挑战
文章指出大模型发展呈能力跃迁、生态开放趋势,推动AI应用从聊天机器人向组织级智能体演进。AI中间件可解决应用工程化挑战,但面临上下文管理、记忆更新等难题,短期助力应用规模化,长期或成组织智能“神经中枢”。
OpenAI:如何用 Codex 在 28 天内极速打造安卓版 Sora
OpenAI发布工程博客,揭秘用Codex不到一个月打造Sora安卓版应用的过程。这款应用上线首日冲至Google Play下载榜第一,24小时内用户生成超百万视频,开发过程耗约50亿tokens,崩溃率仅0.1%。
OpenAI点赞转发的冠军项目,背后藏着一个国人3D生成团队
近日,iOS产品StoryWorld获OpenAI Codex Hackathon冠军,其核心3D资产生成用了DeemosTech的Hyper3D Rodin。从黑客松到英伟达工程场景,3D生成重稳定性等特性。Hyper3D团队技术强,发布编辑功能,推动3D生成走向可控。
全民拜龙?我看是大厂“套壳大战”搞疯了
OpenClaw是开源AI Agent框架,引发全民热潮,中国大厂纷纷推出套壳产品。国产套壳产品上手难度低,但也存在问题。傅盛基于此养出AI团队,猎豹移动市值涨24%。不过,OpenClaw存在安全问题,背后是Token入口争夺战。