动态token选择」共找到 1310 篇相关文章

产品应用7

jiSGLang集成ktransformers:2TB内存运行Kimi K2 Thinking模型

对于内存多但GPU资源有限的用户,SGLang集成ktransformers的CPU内核,支持直接运行Kimi K2 Thinking模型。它无需等量化,还能微调,虽性能与GPU方案有差距,但给用户新选择

AI工程化
新闻资讯7

4倍速吊打Cursor新模型!英伟达数千GB200堆出的SWE-1.5,圆了Devin的梦!实测被曝性能“滑铁卢”?

Cognition推出全新AI编码模型SWE-1.5,专为软件工程任务设计,运行速度快,在基准测试中成绩良好。它基于GB200芯片训练,有定制编码环境,开发有新战略,还与Cursor新模型Composer对比引发关注。

InfoQ
推荐文章7

软件的新玩法:如何 Fork 一个技能库|AGIX PM Notes

文章围绕软件新玩法展开,指出软件正从面向人向面向机器转变,Claude Skills 代表新范式,软件或消解为面向 LLM 的 skill.md 文件。还涵盖市场总结、AI 动态及 ETF 知识等内容。

海外独角兽
产品应用8

AI编程学习:Chrome DevTools MCP 到底有多强?

作者体验了Google新出的Chrome DevTools MCP,它在小红书自动发帖、YouTube智能观看等场景表现出色。与Playwright对比,其Token消耗低、报错处理稳。还揭示设计思路差异,给出上车指南。

AI产品自由
开源动态8

Meta最新REFRAG框架引爆RAG圈!KV缓存暴降90%,速度狂飙30×

Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示,它降低KV缓存、加速TTFT,在多任务表现佳,为大模型与知识库结合提供新范式。

CourseAI
推荐文章8

想成为一名合格的 AI PM,先抛弃过去那些让你成功的经验

文章指出 AI 产品经理与传统产品经理不同,AI 是会演进的系统。掌握 AI 产品策略是 PM 首要技能,从方向、差异化、设计、部署、领导力五阶段构建策略,还介绍了结构化实验方法,无策略的 PM 将被淘汰。

Founder Park
开源动态8

美团开源新模型,多项能力实测第一

美团发布5600亿参数的LongCat - Flash模型,有创新动态计算机制和高效训练推理架构。它在多项测评中领先,尤其在代理工具使用测试表现出色,还以宽松许可开源,降低使用门槛。

AIGC开放社区
推荐文章8

吴恩达来信:智能体并行运行以提升效率

吴恩达称并行智能体成扩展AI规模新方向。AI性能会随数据量、训练及推理计算量提升,但耗时久。随着LLM每个token价格下降,更多智能体工作流被并行化,且相关研究增多。

DeeplearningAI
新闻资讯7

90%打工人「自费买AI上班」,开启To P革命!每月花20刀效率翻倍

面对AI淘汰焦虑,大量职场人主动自费买AI工具,开启「自我拯救」运动,催生出To P新赛道。文章分析其发展快的原因,也提及To B和To C赛道后续发展的条件。

新智元
算法论文8

Meta提出Deep Think with Confidence:几乎啥都不用动,就能提升推理的准确性与效率

传统自一致性方法虽能提升推理准确率,但计算开销大、收益递减。Meta AI与UCSD团队提出Deep Think with Confidence(DeepConf),可在不增训练成本和不调超参数下,提升推理准确性与效率,本文对其全面解读。

深度学习自然语言处理