「预训练语言模型」共找到 8253 篇相关文章
盘一下Anthropic 244页Claude Mythos报告中隐藏的SAE技术
Anthropic公布强大危险的大模型Claude Mythos Preview但未发布。文章深挖其244页报告中SAE技术细节，包括前期探索、技术框架、训练监控、攻击性行为分析及掩盖行为等，助了解模型内部思维。
比「小龙虾」更能打，中国AI视频大模型悄悄登顶全球第一
昆仑万维旗下 SkyReels-V4 Preview 版在权威评测平台超越 OpenAI、Google 等模型，登顶全球第一。它提升语义理解和逻辑能力，新增参考任务，还支持多语言短剧生成、视频编辑等，将在中关村论坛亮相。
揭开大模型“伪遗忘”，港理工等团队：结构不变就是没忘
近年来大语言模型隐私风险受关注，机器遗忘技术应运而生。港理工等团队构建表示空间诊断工具，区分‘可逆性遗忘’与‘不可逆遗忘’，揭示遗忘现象背后表示结构变化规律，还做了相关实验并得出核心结论。
谷歌翻译重大更新：实时翻译，全球无障碍交流摩擦苹果
Google搜索产品副总裁宣布Google翻译引入Gemini模型，翻译能力飞跃。更新含顶尖文本翻译、实时语音对话翻译（Beta版）及扩展语言练习功能，适用多平台多语言，谷歌期待用户反馈以优化体验。
刚刚，智谱正式成“全球大模型第一股”，开盘涨超3%！10位董事7个清华背景，专家：国内IPO抢收“确定性”，OpenAI们豪赌“无限性”
今天，智谱在港交所正式挂牌上市，成“全球大模型第一股”。其有技术、产品、商业化等竞争力，但未盈利，研发投入大。专家认为国内大模型厂商上市是抢收确定性，而OpenAI等是扩展无限性。
微软：LLM上下文学习并非真的学习！
微软研究指出大模型上下文学习（ICL）虽数学上符合学习定义，但只是拟合prompt内统计规律，非掌握任务本质。通过大量实验，得出如例子越多模型表现越好、语言不重要统计重要等7条关键发现。
面壁MiniCPM4推理速度3倍，碾压同尺寸Qwen3，阿里上眼药了~
面壁发布包含10个模型的MiniCPM4系列，其推理速度快。它有高效模型架构、学习算法、高质量训练数据和推理系统等创新点，还给出了MiniCPM4实战代码及启用InfLLM v2的参数设置。
0.3B参数，600MB内存！腾讯混元实现产业级2Bit量化，端侧模型小如手机App
腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit，参数量仅0.3B，内存占用600MB。它基于产业级2Bit端侧量化方案，生成速度提升，还通过多种方法提升能力，未来将探索新技术缩小与全精度模型差距。
全员本科生！何恺明组新作：文生图，258M参数就够了
何恺明携本科生团队推出文生图模型MiniT2I，基于MM - JiT架构，仅用258M参数实现不错效果，训练成本低。该架构删繁就简，去掉VAE和AdaLN等模块，性能提升，展现出与工业级模型的竞争力。
扩散LLM推理新范式：打破生成长度限制，实现动态自适应调节
随着扩散大语言模型成为热门，但其推理时存在预设固定长度的限制。香港中文大学 MMLab 等提出 DAEDAL，赋予模型根据问题自主调整回答长度的能力，在性能和计算效率上有提升。