「TensorRT-LLM」共找到 969 篇相关文章
按token 计费，真的合理吗？
马克斯·普朗克软件系统研究所论文揭露，同样文本可被切分成不同数量token，用户难以验证是否被多收费。研究团队开发算法展示服务商多收费手段，还指出按字符计费可解决问题，但需行业达成共识。
交互扩展时代来临:创智复旦字节重磅发布AgentGym-RL，昇腾加持，开创智能体训练新范式
强化学习之父指出人工智能迈入「经验时代」，在此背景下，复旦、创智、字节研究者发布 AgentGym - RL 框架。它是全新端到端 RL 框架，提出 ScalingInter - RL 方法，7B 模型经训练追平顶尖商业模型，为 AI 发展注入动力。
一句“吴恩达说的”，就能让GPT-4o mini言听计从
宾夕法尼亚大学研究者发现，用恭维、同侪暗示等心理话术，能让GPT - 4o Mini突破安全底线。实验基于七大说服技巧，证明人类心理学原则可迁移至LLM。不过，此漏洞或被利用，已有团队尝试应对。
Agentic Deep Research新范式，推理能力再突破，可信度增加，蚂蚁安全团队出品
尽管LLM能力提升，但在复杂任务上受静态内部知识限制。业界提出Agentic Deep Research系统，不过现存系统有梯度冲突和奖励稀疏问题。蚂蚁安全团队提出Atom - Searcher，解决上述问题，实验效果良好。
Transformer终结者！谷歌DeepMind全新MoR架构问世，新一代魔王来了
KAIST、谷歌DeepMind等机构发布的MoR架构，推理速度翻倍、内存减半，重塑LLM性能边界，碾压传统Transformer。它融合参数共享与按需计算，有路由和KV缓存策略，实验显示其性能优越、可扩展性好。
微软推出深度视频探索智能体，登顶多个长视频理解基准
尽管LLMs和VLMs在视频分析和长语境处理有进展，但处理数小时长视频有局限。微软提出智能体Deep Video Discovery (DVD)，以简洁框架在LVBench取得高准确率，将以MCP Server形式开源。
从browser-use 出发，品 Agent 实现
本文作者以学习总结视角，从browser - use出发解析Agent实现。介绍LLM不同阶段，阐述Agent记忆、规划、工具等要素，通过对话演示和源码分析展示运行机制，还探讨MCP集成和Coze space应用模式。
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
ICML 2025 | 无需训练，即时对齐大模型偏好
上海人工智能实验室提出TPO方案，可让大模型在推理时快速对齐人类偏好，无需更新模型权重。TPO类似文本形式的梯度下降，在多个基准数据集评测中表现出色，还提供“宽深结合”推理拓展策略。
通义实验室新研究：大模型自己「扮演」搜索引擎，提升推理能力无需搜索API
阿里通义实验室开源ZeroSearch，提供无需与真实搜索引擎交互的强化学习框架。它用模拟搜索环境和渐进式抗噪训练，让LLM自给自足，节省API成本，在多问答数据集表现优，为智能化检索提供新思路。