「推理缓存优化」共找到 3050 篇相关文章
AI 渗透金融行业：大模型如何破解风控、服务与决策难题？
在数字化与人工智能驱动下，金融行业变革深刻。InfoQ《极客有约》X AICon 直播栏目邀多位专家探讨大模型赋能金融，涉及风控、服务、决策等难题，分享了大模型应用场景、技术渗透、权衡可解释性与性能等观点。
英伟达再破世界纪录，每秒1000 token！刚刚，全球最快Llama 4诞生
英伟达用Blackwell创下AI推理新纪录，单节点8颗GPU实现Llama 4 Maverick模型每秒单用户生成1000个token。这得益于技术组合拳，如用TensorRT - LLM优化、应用FP8格式等，满足了低延迟需求。
刚刚！Ilya首个模型曝光了
前OpenAI首席科学家Ilya离开两年后，X网友爆料其创办的SSI正探索基于TTT的小型推理引擎，当前版本或8月向少数用户开放。该爆料与Ilya观点及英伟达合作等线索相符，但也面临安全难题。
龙虾史上最大升级！但接了微信的千万别更
时隔九天，虾父Peter带来龙虾全新版本2026.3.22-beta.1，堪称有史以来最大更新。更新亮点包括插件升级、模型更新、交互优化、安全强化等，也修复了多个关键安全漏洞，但部分用户更新后遇到微信、WhatsApp使用问题。
李飞飞50亿美金赛道被开源！浙大教授章国锋带队创业，打造无限时长实时3D世界模型
2024年李飞飞创立的World Labs入局空间智能赛道，估值达50亿美元。近日影溯发布并开源实时帧生成模型InSpatio - WorldFM，由章国锋领衔，该模型突破2D局限，效率高、能无限时长推理，展现出高工程可用性。
硅基流动完成新一轮数亿元融资，打造开发者首选生成式 AI 开发平台
硅基流动完成数亿元 A 轮融资，由阿里云领投。创始人袁进辉称业务因开源大模型崛起和算力需求激增爆发式增长。公司推出高性能推理引擎等，产品服务多个行业，未来将深耕创新、推动 AI 应用。
Qwen3.8-27B 登顶全球开源榜第一，曾经的「源神」又回来了！
8月17日，阿里发布的Qwen3.8 - 27B成Hugging Face热门第一。它以27B参数在部分测试中与前沿闭源模型比肩，可本地运行。不过推理慢、真实任务表现待提升，它让前沿Agent能力下放到个人电脑。
大规模替换数据库序列，保障百余个服务平稳运行
Coupang从关系型数据库迁移到NoSQL时，为解决序列替换问题，自研了专用解决方案。该方案采用双层缓存与滑动窗口预填充机制，以DynamoDB为数据源，让百余个服务无需重写代码完成迁移，性能和成本表现佳。
吴恩达年终总结：2025是AI工业时代的黎明
吴恩达发表2025人工智能年度总结与公开信。总结指出，今年推理模型性能提升但有成本，AI人才争夺激烈、薪酬高，数据中心建设投入大，智能体让编程更高效。信中建议通过学课程、动手实践和读论文构建AI系统。
开源模型首次物理奥赛IPhO夺金！上海AI Lab 235B模型击败GPT-5和Grok-4
上海AI Lab的P1 - 235B - A22B在国际物理奥林匹克竞赛夺金，在HiPhO基准测试获12金1银，超越GPT - 5等闭源模型。团队构建HiPhO基准测试，用多阶段强化学习训练模型，开发PhysicsMinions系统提升推理能力。