「推理缓存优化」共找到 3050 篇相关文章
GPT-5点赞！八大顶尖机构发布「自进化智能体」全面综述
在2025年，大语言模型已演变为智能体，但现有智能体部署后难以适应变化。格拉斯哥大学等机构学者发布综述，系统梳理自进化AI智能体核心框架与挑战，提出三定律，还介绍了优化技术、应用案例等，并指出未来方向。
Nanbeige4.2-3B：探索通用Agent小模型
在模型越做越大的当下，推理成本成了影响Agent大规模使用的关键因素。南北阁实验室推出Nanbeige4.2 - 3B，在架构、数据构造和训练pipeline层面做了系统工作，评测表现良好，还探索本地个人助手等应用。
这才叫AI原生应用：Google Slides
Google Slides是Google版AI PPT，与传统AI PPT不同。它像传统PPT搭配AI聊天机器人，用Nano Banana模型可直接生成图片和文字，能像素级推理，打破传统PPT结构，还可自然语言交互修改，只是中文生成效果待提升。
前Meta大神创业，用强化学习打造PokeeResearch-7B模型，刷新AI深度研究SOTA
Pokee AI发论文介绍70亿参数的PokeeResearch - 7B模型，用基于AI反馈的强化学习和推理框架，在深度研究基准测试中成绩领先。该公司由前Meta大神创立，产品可打通多应用，已获融资并公开测试。
HAMi 2.7.0 重磅发布 | 异构芯片全面拓展，调度更稳、生态更强
Dynamia密瓜智能宣布发布HAMi 2.7.0版，在硬件生态、调度器、应用层生态等方面有显著进展。硬件上支持昆仑芯、燧原、AWS等芯片；调度器优化了资源计算和可观测性；应用层与vLLM、Xinference等整合。
实测DeepSeek V3.1，不止拓展上下文长度
文章实测了DeepSeek V3.1和V3，发现V3.1在编程、写作、翻译等方面有变化，如编程更全面、写作风格变文艺等。网友测试其在aider得分71.6%成非推理模型SOTA，但线上API有问题。
Manus 数月憋大招， 100 个 Agent 并发只为选双鞋？肖弘放话：第一阶段就得先做超贵的 AI！
中国人工智能初创公司 Manus 推出新功能“Wide Research”，可让用户借助多个 AI Agent 同时处理大规模任务。该功能不走“深度研究”路径，架构经优化，计算能力扩展 100 倍，但效果待察。Manus 撤出中国市场，欲借此求差异。
【博客转载】CUDA Constant Memory
文章介绍 CUDA 常量内存，它是设备上 64KB 被缓存的只读特殊内存空间。通过示例比较不同访问模式下常量内存和全局内存性能，指出块或 warp 一次访问时，常量内存快 10%；线程一次或伪随机访问时，慢很多。
破天荒！DeepSeek V4正式版居然要涨价，而且翻着倍地涨
DeepSeek官方邮件称7月上线V4正式版，高峰时段API各类token价格翻倍，但其他时段仍维持低价。此前它一直以低价著称，此次涨价或与算力紧张、自建数据中心有关，且更新将带来功能优化和性能提升。
以史为鉴：从互联网泡沫到英伟达五万亿
文章回顾互联网发展历程及泡沫破灭影响，对比当下AI浪潮，指出英伟达成首家市值破五万亿美元公司。探讨AI是否为泡沫，认为其未来发展或类似互联网，还分析英伟达走势及国产GPU替代、AI边缘推理领域前景。