「动态token选择」共找到 1310 篇相关文章
jiSGLang集成ktransformers:2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户,SGLang集成ktransformers的CPU内核,支持直接运行Kimi K2 Thinking模型。它无需等量化,还能微调,虽性能与GPU方案有差距,但给用户新选择。
4倍速吊打Cursor新模型!英伟达数千GB200堆出的SWE-1.5,圆了Devin的梦!实测被曝性能“滑铁卢”?
Cognition推出全新AI编码模型SWE-1.5,专为软件工程任务设计,运行速度快,在基准测试中成绩良好。它基于GB200芯片训练,有定制编码环境,开发有新战略,还与Cursor新模型Composer对比引发关注。
软件的新玩法:如何 Fork 一个技能库|AGIX PM Notes
文章围绕软件新玩法展开,指出软件正从面向人向面向机器转变,Claude Skills 代表新范式,软件或消解为面向 LLM 的 skill.md 文件。还涵盖市场总结、AI 动态及 ETF 知识等内容。
AI编程学习:Chrome DevTools MCP 到底有多强?
作者体验了Google新出的Chrome DevTools MCP,它在小红书自动发帖、YouTube智能观看等场景表现出色。与Playwright对比,其Token消耗低、报错处理稳。还揭示设计思路差异,给出上车指南。
Meta最新REFRAG框架引爆RAG圈!KV缓存暴降90%,速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示,它降低KV缓存、加速TTFT,在多任务表现佳,为大模型与知识库结合提供新范式。
想成为一名合格的 AI PM,先抛弃过去那些让你成功的经验
文章指出 AI 产品经理与传统产品经理不同,AI 是会演进的系统。掌握 AI 产品策略是 PM 首要技能,从方向、差异化、设计、部署、领导力五阶段构建策略,还介绍了结构化实验方法,无策略的 PM 将被淘汰。
美团开源新模型,多项能力实测第一
美团发布5600亿参数的LongCat - Flash模型,有创新动态计算机制和高效训练推理架构。它在多项测评中领先,尤其在代理工具使用测试表现出色,还以宽松许可开源,降低使用门槛。
吴恩达来信:智能体并行运行以提升效率
吴恩达称并行智能体成扩展AI规模新方向。AI性能会随数据量、训练及推理计算量提升,但耗时久。随着LLM每个token价格下降,更多智能体工作流被并行化,且相关研究增多。
90%打工人「自费买AI上班」,开启To P革命!每月花20刀效率翻倍
面对AI淘汰焦虑,大量职场人主动自费买AI工具,开启「自我拯救」运动,催生出To P新赛道。文章分析其发展快的原因,也提及To B和To C赛道后续发展的条件。
Meta提出Deep Think with Confidence:几乎啥都不用动,就能提升推理的准确性与效率
传统自一致性方法虽能提升推理准确率,但计算开销大、收益递减。Meta AI与UCSD团队提出Deep Think with Confidence(DeepConf),可在不增训练成本和不调超参数下,提升推理准确性与效率,本文对其全面解读。