「动态token选择」共找到 1314 篇相关文章
从6人日到1人日:一次AI驱动的客户端需求开发实战
文章分享AI驱动客户端需求开发实战,从实践活动汇总AI Coding问题,给出解决建议。以穿搭动态框架需求为例展示开发过程,对比效率提升300%,还探讨需求拆分、Prompt编写等问题,介绍业务开发范式。
AI视频生成走向“演技生成”时代,生数科技Vidu全球发布Vidu Q2 | 甲子光年
9月25日,生数科技全球上线新一代图生视频大模型Vidu Q2,实现从“视频生成”到“演技生成”跨越。它在表情生成、运镜、语义理解、时长选择等方面有提升,分闪电和大片模式,已在多端上线。
SimpleTIR:让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤,掐断崩溃链路,训练稳定,还催生多样推理行为,且工程友好已开源。
Kotlin Multiplatform 评估:跨平台开发中的优势与权衡
文章评估了 Kotlin Multiplatform(KMP)在跨平台开发中的优劣势。KMP 可共享代码,编译成原生代码获出色性能,保留原生 UI 选项。虽生态小、有学习曲线等问题,但 Netflix 等大公司已用,未来潜力大。
AI 产品定价指南:按量定价的卡点到底是什么?
本文编译 a16z 与 Scott Woody 访谈,探讨 AI 改变软件定价逻辑及企业应对策略,还补充定价专家 Madhavan Ramanujam 关于 AI 产品定价四象限观点,指出按量定价的难点、适用模式及企业转型要点等。
CUTLASS CuTe GEMM细节分析(二)——TiledCopy与cp.async
文章深入分析TiledCopy,从参数理解、访存连续性等角度展开。介绍Tiler_MN和TiledLayout_TV意义及构造,指出访存连续性影响性能,还说明了基于cp.async构造TiledCopy的要点,如ValLayout选择和Layout限制。
万字长文!大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开,先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求,再阐述模型并行、注意力机制优化、模型优化和模型服务等技术,如Pipeline并行、MQA、量化、动态批处理等。
FairyGen:AI 把孩子的画“动”起来,个性化教育和动画创作
FairyGen 能将孩子画作变成卡通短片,通过多模态大语言模型构思分镜脚本,采用分层建模处理前景人物动作与背景动态。其生成流程分四阶段,但也存在前景角色重建不准、背景生成不稳定等问题。
小米小爱同学:资源受限下,实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰,探讨大模型端侧部署难题。团队自研推理框架,实现180 tokens/s推理速度,采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
刚刚,DeepMind开源全栈「Deep Research」项目,AI 研究将人人可用
谷歌DeepMind团队开源基于Gemini 2.5的全栈「Deep Research」项目,能让每个人拥有智能研究助手。它可动态搜索、反思结果,以流式传输提供带引用答案,前后端结合,还介绍了特性、原理、技术栈等。