搜索：长度偏见 - AI Reading Hub

「长度偏见」共找到 106 篇相关文章

全新预训练数据筛选方案，让数据效率提升10倍！配置仅需fastText评分器｜港科大vivo出品

香港科技大学和vivo AI Lab提出轻量级高效数据选择方法PreSelect，已被ICML 2025接收。它只需训练部署基于fastText的评分器，减少10倍计算需求，在多数据集实验中效果显著优于其他方法。

大语言模型发展中，上下文长度成关键瓶颈，主流架构计算开销大。清华刘知远团队提出《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》，提出可切换注意力框架，为长上下文研究提供新思路。

昨晚，DeepSeek官方悄然上线全新V3.1版本，上下文长度拓展到128k，参数685B，支持多种精度格式。其编程能力突出，在Aider测试中霸榜，性能超越Claude Opus 4，还有成本低等优势。

研究实验室Ink & Switch发布bijou64可变长度整数编码格式，由Brooklyn Zelenka开发。它消除规范性漏洞，在基准测试中超标准标量LEB128解码器。Hacker News社区对其有权衡讨论，实现已用Rust发布。

微软AI CEO Mustafa Suleyman称未来18个月可能出现「看似有意识的AI」，他主张对AI自主性坚持「预防原则」，还谈及AI意识、人格工程、理想AI伴侣等话题，描绘了「增强人类」图景。

如今大模型长上下文推理面临计算成本高、推理易中断问题。浙大联合北大团队提出InftyThink新范式，将传统推理拆成短片段并总结，突破推理长度限制，在多基座模型实验中表现优异。

腾讯发布 SpecExit 算法，将思考早停与投机采样融合，利用轻量级草稿模型预测“退出信号”，在不引入额外探测开销的前提下，实现动态、可靠的思考早停，在 vLLM 上推理端到端加速 2.5 倍，准确性和推理效率得到双重保障。

Decart推出全球首个实时、无限长度的AI视频模型MirageLSD，基于独创的“实时流扩散”技术。其响应时间低于40毫秒，攻克了“错误累积”和实现实时响应两大难题，还计划拓展应用及升级功能。

Decart创业公司推出全球首个实时、无限长度的AI视频模型MirageLSD，基于独创LSD技术。其响应低于40毫秒，靠历史增强等技术攻克难题。它不止用于特效，平台将持续升级，创始人目标是打造‘千亿级独角兽’。

谷歌DeepMind发布AlphaGenome，可一次读取100万个DNA碱基，预测基因突变。它以长DNA序列为输入，预测数千种分子特性，克服了现有模型在序列长度和分辨率间的取舍问题，有望推动生物学研究和新疗法诞生。