手动调参解码」共找到 155 篇相关文章

开源动态8

加速量子计算到来!英伟达开源模型拉爆量子计算股

英伟达发布并开源全球首个加速量子计算应用的模型系列Ising,打破硬件校准和纠错耗时难题,提供比传统方法更快、更准的量子纠错解码能力,还推出校准基准测试,全方位开源吸引众多机构加入。

AIGC开放社区
开源动态8

重磅!DeepSeek再开源:视觉即压缩,100个token干翻7000个

DeepSeek-OCR模型探索视觉-文本压缩边界,用少量视觉token解码出10倍以上文本信息。它在OmniDocBench基准上表现超GOT-OCR2.0,为LLM长上下文问题提供方案,还能处理多类图像与近100种语言。

新智元
新闻资讯8

顶级程序员Andrej Karpathy发文表示已服软!

顶级程序员Andrej Karpathy发文称,从11月到12月其编程工作流剧变,从80%手动+20%AI辅助变为80%AI编程+20%人工修改。他记录用Claude Code编程观察,指出AI有新毛病但提升大,还给出使用技巧等。

AI工程化
新闻资讯8

英伟达官方推理指南来了!6倍无损加速,最优解全是华人写的

9月2日,英伟达技术博客上线《用投机解码做AI模型协同设计》,给出推理加速选型表。列入指南的核心方案多由华人团队主导,介绍了从外置草稿模型到n - gram查表法等方案,还提到硬件常数对模型架构的约束。

新智元
算法论文8

扎克伯格的豪赌初见成效?Meta新方法让LLM长上下文处理提速30倍

Meta Superintelligence Labs提出REFRAG高效解码框架,解决LLM长上下文输入效率瓶颈。它通过四步流程优化解码,让首个token生成时间加速达30.8倍,扩展上下文,且精度不降反升,不过价值待实际检验。

机器之心
开源动态8

蚂蚁dInfer框架,让扩散大语言模型推理速度再飙10倍,相同模型性能下超越自回归模型

蚂蚁开源dInfer框架,联合名校发论文阐述实现细节。它解决扩散模型推理难题,提出创新算法和系统优化策略,实验显示其推理速度远超Fast - dLLM和自回归模型标杆vLLM,代码已开源。

AIGC开放社区
新闻资讯8

AI助手现在认路了:谷歌地图直接「长」进大脑

谷歌DeepMind为Gemini API更新,带来三大核心变化:内置工具和自定义函数可在同一次调用混用;新的「上下文环流」技术解决多步骤工作流丢上下文问题;Google Maps原生接入Gemini 3。这让Agent开发走向「工业化」。

新智元
开源动态7

别错过,Clawdbot(Moltbot、OpenClaw)爆火之后,我找到啦 700+ 的技能包~~~

awesome-openclaw-skills是VoltAgent在GitHub维护的「OpenClaw Skills精选清单」,收录700+社区构建的OpenClaw技能,按场景分类,方便安装使用。还介绍了安装方法和技能分类。

小华同学ai
算法论文8

谷歌提出破局Self-Consistency计算瓶颈!LLM推理效率革命,推理加速不牺牲精度

Google Research等团队提出CISC,通过给推理路径赋予置信度权重,少量样本即可超越传统自洽性效果,平均减少40%计算成本,还提出WQD指标揭示模型自评估能力本质。

深度学习自然语言处理
开源动态8

深度拆解 Muse Glimmer,24GB 显存跑 30B Agent,Meta 到底做了什么?

昨天,Meta发布约30B参数的多模态Agent模型Muse Glimmer,支持128K级上下文。它采用Apache 2.0许可证开放,有量化版本等。其技术设计围绕显存、上下文管理等问题展开,在多方面做了取舍。

AI科技评论