「关键token」共找到 1637 篇相关文章
分享2篇最新Harness论文,一篇谷歌,一篇微软
在LLM Agent迅速发展的当下,如何为其设计合适的Harness成关键问题。本文分享微软M⋆和谷歌AutoHarness两篇论文,分别从记忆系统和动作约束维度提出自动化的Harness进化方法,并介绍了实验结果。
美团之后,京东也开始自研大模型了
京东发布JoyAI - LLM Flash模型,激活参数小、推理快。它采用混合专家架构等技术,在基础架构、数据加工、强化学习等方面表现出色,还通过多Token预测等技术加速推理,为商业场景落地扫清障碍。
腾讯广泛使用的跨端开发框架——Kuikly在搜狗输入法中的AI Coding实践
AI 席卷开发领域,输入法团队在 Kuikly 跨端项目探索 AI 工程化方案。介绍了推进 AI 友好型工程、构建精准 AIContext 等关键层面,以灵感词库页面开发为例展示效果,还展望了未来探索方向。
拆解机器人,分析其软硬件弱点(1)
国外公司对某款机器人做了深入拆解分析。介绍了机器人硬件关键信息,包括外形、各部分组件等。还指出硬件存在多种攻击途径及安全隐患,如物理访问点、JST 连接器等问题,RK3588 也有漏洞。
破解大模型「无效并行推理」:Parallel-Probe问世,并行推理效率提升35.8%
来自多所高校的研究团队提出 Parallel-Probe,通过 2D Probing 刻画并行推理动态,发现问题后提出控制算法,能降推理延迟 35.8%、总 token 成本 25.8%,还推出 SCOUT 测试床,代码和平台已开源。
牛芯半导体完成UB协议IP互通验证
近日,牛芯半导体搭载自研控制器IP的原型验证平台,与万里眼标准UB网络测试仪完成对接,标志其自研UB控制器IP在协议一致性上迈出关键一步,为生态伙伴开展兼容性验证提供范本。
在参与OpenAI、Google、Amazon的50个AI项目后,他们总结出了大多数AI产品失败的原因
Aishwarya Naresh Reganti和Kiriti Badam参与超50个AI项目后,指出多数AI产品失败。他们认为构建成本降低,但设计和明确痛点才是关键,还分享开发陷阱、成功路径,介绍CC/CD框架及AI未来走向。
Mini-sglang-01:从Client到Scheduler的消息流转之旅
文章围绕轻量化大模型推理系统mini - sglang,详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程,分析核心组件功能、消息体系、正反向链路及优化策略,还预告后续分析调度和模型实现逻辑。
顶尖模型离“科学家”还差得远?AI4S亟待迈向2.0时代
《Nature》研究指出,过度依赖现有深度学习模型或阻碍创新。上海 AI 实验室周伯文提出,应推动科学智能从 AI4S 迈向 AGI4S,还介绍“智者”SAGE 架构、“书生”模型及平台等探索成果,并邀同行共拓蓝图。
大模型的第一性原理:(二)信号处理篇
本文从信号处理角度解读大模型原论文,探讨语义向量化原理,分析 Transformer 与 Granger 因果关系。指出大模型输入 Token 语义嵌入是将自然语言处理转化为信号处理问题,向量化与信号处理、信息论联系紧密。