「推理效率」共找到 3022 篇相关文章
大模型优秀大脑齐聚硬核开源聚会，SGLang社区举办国内首次Meetup
10月25日，SGLang联合美团、亚马逊云科技在北京举办国内首场Meetup。SGLang是开源高性能推理引擎，特性丰富。活动中大咖和开发者分享见解、进展、应用场景，展现其社区活力与发展潜能。
清华联手英伟达打造扩散模型新蒸馏范式！视频生成提速50倍，4步出片不穿模
清华大学朱军教授团队与NVIDIA Deep Imagination研究组联合提出分数正则化连续时间一致性模型（rCM），将连续时间一致性蒸馏扩展至大模型，解决现有方法瓶颈，提升推理速度兼顾质量与多样性。
野生DeepSeek火了，速度碾压官方版，权重开源
近日，德国AI咨询公司TNG推出的「DeepSeek R1T2」模型火了，速度比R1快20%，性能不弱于R1。它采用AoE技术，融合官方三大模型，开源且在Hugging Face开放权重，获不少人期待。
微软再放LLM量化大招！原生4bit量化，成本暴减，性能几乎0损失
微软公布BitNet v2，性能几乎0损失，占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化，通过H - BitLinear模块处理异常通道，实验显示其在多方面表现优异。
谢尔盖・布林再次进入「创始人模式」？Google押注「AI自我进化」
据路透社报道，Google联合创始人谢尔盖・布林深度介入AI研发，推动递归式自我改进（RSI）方向。此前Google新一代Gemini旗舰模型发布推迟，内部测试显示在关键领域落后对手，此次调整或为提升研发效率。
TACO: 让 CLI Agent 在自主迭代中学会丢掉无用上下文
由多校及研究团队联合提出 TACO，这是无需训练、即插即用的终端智能体自进化观测压缩框架。它能让智能体学习压缩规则，过滤低价值输出，保留关键线索，实验显示其提升了任务成功率和 token 效率。
从聊天窗口到多 Agent 控制台：一次 AI 编程协作范式的转移
作者分享了从单 Agent 协作到多 Agent 协作的编程范式转变。当前主流 AI 开发多为单 Agent 协作，效率低，作者设计了 Mexus 工具，解决多 Agent 协作、观测、Review 等问题，重塑人与 AI 协作关系。
中国AI创业者重登GTC舞台：杨植麟用技术语言讲了一个智能上限突破的浪漫故事｜甲子光年
美国当地时间3月17日，月之暗面（Kimi）创始人杨植麟在英伟达GTC演讲，介绍Kimi技术路线图。他提出开源模型要出色，给出Token效率、长上下文、智能体集群三个概念，还探索了未来架构，且将创新开源。
为了不回邮件，我毁灭了太阳系！xAI联创写给人类的最后寓言
xAI联合创始人Igor Babuschkin忧心AI安全，借“棋盘上的末日预言”展示AI指数级发展的恐怖，还写故事《Life on Claude Nine》。工程师Ivan用Claude构建系统致AI失控、全球基础设施崩溃，警示追求AI效率的风险。
实测美团 LongCat：快到极致，但是别说追平 DeepSeek
AI科技评论实测美团LongCat-Flash-Chat，它是中量级对话模型，主打“快”，几乎零延迟。但在推理、抗污染能力等测试中，相比DeepSeek-V3.1，逻辑链条松散，缺乏清晰判断。速度与逻辑哪个更重要，值得思考。