「多工具推理」共找到 6834 篇相关文章
英伟达MIT出手!华人团队重磅开源,大模型推理内存暴降10倍
英伟达、MIT、浙大华人研究者联合推出TriAttention,核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性,保留关键部分。它使内存消耗降10倍,吞吐量提2.5倍,还提供vLLM集成和MLX实验性支持。
国产GPU首获全球顶级推理框架「原生门票」:MUSA合入SGLang主线
近日,摩尔线程举办「SGLang × MUSA Meetup」,分享与 SGLang 社区及 MUSA 生态协同进展。其 MUSA 后端已加入 SGLang 官方支持体系,代码合入主线,还在多方面取得成果,众多开源项目核心维护者参与探讨国产 AI 算力。
国民技术:覆盖机器人多模块,提供MCU+安全+蓝牙全栈芯片解决方案
国民技术是MCU及安全芯片领先企业,其N32H7/4系列MCU为荣耀“元气仔”、越疆Rover X1等机器人提供关键支撑,还广泛应用于工业机器人。此外,公司构建了MCU + 安全 + 无线射频的完整产品矩阵。
Claude Code 终端工具链完全指南:7 款终端横评 + 我的最佳实践
文章对 7 款主流终端进行横评,给出 Shell 配置、终端复用器、快捷键的最佳实践,旨在让 Claude Code 体验更顺滑。介绍各终端特点,避坑 Powerlevel10k,推荐 Starship,强调 tmux 重要性等。
Claude Code 终端工具链完全指南:7 款终端横评 + 我的最佳实践
文章对 7 款主流终端进行横评,给出 Shell 配置、终端复用器、快捷键的最佳实践,旨在让 Claude Code 体验更顺滑。介绍各终端特点、适用场景,避坑 Powerlevel10k,推荐 Starship,强调 tmux 重要性,还给出常见问题解决方案。
Temporal:Nvidia、OpenAI 都在用,为什么 Agent 还需要专门的长程任务工具?
本文编译了 Temporal CTO Maxim Fateev 的访谈。Temporal 提出 durable execution,确保工作流可靠执行,即使出错也能继续。它获 1.46 亿美元 C 轮融资,Nvidia、OpenAI 是客户。不过,它也面临 AI 发展和云厂商竞争等挑战。
Agentic Deep Research新范式,推理能力再突破,可信度增加,蚂蚁安全团队出品
尽管LLM能力提升,但在复杂任务上受静态内部知识限制。业界提出Agentic Deep Research系统,不过现存系统有梯度冲突和奖励稀疏问题。蚂蚁安全团队提出Atom - Searcher,解决上述问题,实验效果良好。
多突触神经元模型问世,国内团队打造类脑计算新引擎,登上《自然·通讯》
当前人工智能高能耗问题凸显,脉冲神经网络被认为更具生物合理性、能效更高,但缺乏平衡计算效率和生物合理性的脉冲神经元模型。国防科技大学与中科院团队合作提出 MSF 脉冲神经元模型,相关研究发表于《自然・通讯》。
并行革命,32倍吞吐量跃升!英伟达Helix架构突破百万Token推理瓶颈
英伟达推出受DNA结构启发的Helix并行技术,能解决大模型处理长任务时的卡顿问题,提升上下文长度、并发能力并降低响应延迟。不过也有人认为其技术与实用性有差距。
最强3B「小钢炮」,代码数据全公开!推理随意开关,128k超长上下文
Hugging Face推出30亿参数模型SmolLM3,支持128k长上下文,训练等全链路开放。它在架构、数据混合策略等多方面优化,性能超Llama3.2 - 3B等,还公开双模式指令模型构建方案。