「AI推理加速」共找到 11202 篇相关文章
又一安全圈爆火的开源项目，已经1.66万Star！
现在大家爱用代码AI客户端干活，但碰到安全和逆向任务时，AI易懵圈，因工具散落、经验没沉淀。开源项目`reverse-skill`可给AI装“安全研究导航仪”，支持多种AI编码客户端，有诸多功能特性。
把 RAG 做成主流的公司，现在开始“做空”RAG 了
Pinecone 曾将 RAG 定义成大语言模型 grounding 标准范式，如今却宣布 RAG 时代结束。它推出面向 Agent 的知识引擎 Nexus，提出“知识编译”概念，称能提高任务完成率、降低 token 开销，整个 AI 世界都在将“推理”往上游移动。
这一年做 Agent 的公司，Coding 赚了钱，客服融了钱，你呢？
全球数据研究机构 CB Insights《AI Agent Bible》报告梳理 Agent 行业概况。指出未来趋势，如语音成主流交互等；分析发展受限问题、有潜力机会；还介绍不同类型 Agent 商业情况及应对推理成本策略等。
SSM+扩散模型，竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。
测评豆包1.6：我用它开发了一个“聪明的旅行策划Agent”
作者对豆包1.6进行测评，用其构建旅行策划Agent。豆包1.6推理强、有自适应思考模式且计价创新。作者实操构建旅行Agent，结合MCP完成任务，虽有不足但超预期，国内Agent开发生态已成熟。
12.1万高难度数学题让模型性能大涨，覆盖FIMO/Putnam等顶级赛事难度，腾讯上海交大出品
腾讯AI Lab与上海交大团队联合推出首个基于自然语言的数学定理证明框架与数据集DeepTheorem。12.1万道高难度数学“特训题”让模型定理证明性能大涨，7B模型性能比肩或超越现有开源和商业模型。
微软 CTO 在 Rust Nation UK 大会上详解成功经验、挑战及对 Rust 编程语言的承诺
微软Azure首席技术官Mark Russinovich在Rust Nation UK大会探讨推动Rust采用的因素，展示微软产品中Rust应用成果，介绍用生成式AI加速C/C++向Rust迁移的努力，还提及开发者反馈及微软对Rust的承诺。
阶跃开源JetSpec，大模型推测解码提速近10倍
随着Agent应用爆发，大模型推理效率成AI行业焦点。阶跃星辰联合多校团队开源JetSpec，该框架面向推测解码，在H100上把MATH - 500解码速度提升到9.64倍，突破了推测解码的扩展天花板。
Agent 2.0时代来了，首批「工业级智能体」正在核心位置上岗
近日科技圈感叹AI工具提升效率，谷歌工程师分享使用智能体经历。1月7日阿里云百炼全面升级，开启智能体‘工业化流水线’时代，解决技术落地问题，发布企业版，推动人机协同时代到来。
Transformer上限触顶，Mobius能否引发下一代模型架构的革命？
自ChatGPT问世，Transformer上限备受关注。前OpenAI、Google负责人称其走到尽头。国内改进架构受算力限制。上海人工智能实验室的书生Mobius团队提出分离知识与推理的架构，有望解决商用等关键问题。