「Tokens/s」共找到 796 篇相关文章
AI Agents,年中总结!
文章梳理6月旧金山AI Engineering World's Fair重磅分享,指出AI Agent发展方向是成为自主处理复杂工作的助手,还介绍了Ambient Agents崛起、Agent UX设计两派观点、训练进入RL时代等关键趋势。
性能比肩DeepSeek-R1,MiniMax仅花380万训出推理大模型性价比新王|开源
MiniMax开源推理大模型MiniMax - M1,原生支持100万token输入、8万输出,性能比肩DeepSeek - R1,仅花380万训成。采用Lightning Attention机制与CISPO算法,在多领域表现出色,模型权重可在HuggingFace下载。
1.5K Star!网页提取神器 webclaw:让 AI 精准抓取网页核心内容!
webclaw是专为AI工作流打造的高性能网页提取工具,能把网页转成适合大模型的内容。它有Token优化、极速响应等亮点,支持多种安装和使用方式,解决了传统抓取工具的痛点。
AIEC 2026:今天起,Agent开始成为企业里的「新员工」
AIEC 2026人工智能+生态大会在北京召开,聚焦AI从战略部署到产业实践。大会指出大模型发展风向已变,落地竞赛开启,未来AI将成企业员工,还探讨了Agent落地关键及人与AI关系等问题。
美团之后,京东也开始自研大模型了
京东发布JoyAI - LLM Flash模型,激活参数小、推理快。它采用混合专家架构等技术,在基础架构、数据加工、强化学习等方面表现出色,还通过多Token预测等技术加速推理,为商业场景落地扫清障碍。
破解大模型「无效并行推理」:Parallel-Probe问世,并行推理效率提升35.8%
来自多所高校的研究团队提出 Parallel-Probe,通过 2D Probing 刻画并行推理动态,发现问题后提出控制算法,能降推理延迟 35.8%、总 token 成本 25.8%,还推出 SCOUT 测试床,代码和平台已开源。
上海一群青年,造了个学术版OpenClaw
上海科学智能研究院联合复旦大学发布超级科研合伙人“大圣”,它是面向科学探索的高能动性智能体。能在生命、地球、人文等多领域发挥作用,其研发涉及多模态模型、群体记忆架构等核心技术,还介绍了相关赛事。
Mini-sglang-01:从Client到Scheduler的消息流转之旅
文章围绕轻量化大模型推理系统mini - sglang,详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程,分析核心组件功能、消息体系、正反向链路及优化策略,还预告后续分析调度和模型实现逻辑。
大模型的第一性原理:(二)信号处理篇
本文从信号处理角度解读大模型原论文,探讨语义向量化原理,分析 Transformer 与 Granger 因果关系。指出大模型输入 Token 语义嵌入是将自然语言处理转化为信号处理问题,向量化与信号处理、信息论联系紧密。
比人类专家快2倍,斯坦福联合英伟达发布TTT-Discover:用「测试时强化学习」攻克科学难题
斯坦福与英伟达等机构联合提出 TTT - Discover 方法,让 LLM 在测试时强化学习。它在多任务上成绩出色,如在数学、GPU 内核等领域超越人类和其他 AI,计算成本低,或为持续学习打开新空间。