「GUI grounding」共找到 81 篇相关文章
把 UI 生成接进流水线：基于半监督评测体系的 UI 自动化生产实践
本文来自蚂蚁集团黄兆嵩在 QCon 2026 的演讲，探讨生成式 UI 技术重塑生产方式。提出系列工程实践，包括高质量生成、LUI 场景应用及质量监控迭代，让前端生产自动运转、用户体验随需而变。
FACTS 基准测试套件问世，用于评估大型语言模型的事实准确性
FACTS 基准测试套件由 FACTS 团队与 Kaggle 联合开发，基于原 FACTS Grounding Benchmark 增加三个新基准，可从四个维度评估大模型事实性。初步结果显示进展与挑战并存，多模态成难题。
2w star，网页秒变 AI 助手，厉害了！
阿里项目`PageAgent`登上Github热榜，是纯前端JavaScript GUI智能体框架。它让网页拥有AI Agent，通过自然语言控制界面，无需截图、OCR和多模态大模型，有多种功能特性，使用简单。
卡帕西预言成真！华人团队开源全AI操作系统：神经网络模拟Windows，预测下一帧屏幕图像
大神卡帕西曾预言“AI时代的图形用户界面”，受此启发，华人团队提出NeuralOS，靠RNN和渲染器模拟Windows，能预测下一帧屏幕图像。虽对键盘精细操作处理欠佳，但已开源，有在线体验版。
14.8K Star！这个开源 Skill，一句话就能做出大厂级设计！
Anthropic 发布的 Claude Design 虽能在对话框生成网页，但需手动操作。有人据此开发了开源项目 Huashu Design，可在 agent 里打一句话，3 到 30 分钟就能拿到能交付的设计，还介绍了其功能、核心规则等。
给 Agent Skills 装上眼睛：MMSkills 用多模态技能包教会智能体看状态、做决策
上海交通大学和小红书团队推出面向通用视觉 Agent 的多模态技能框架 MMSkills，将可复用技能扩展为多模态程序性知识，通过 branch loading 调用视觉证据，在 GUI 与游戏任务评测中表现出色。
LSTM之父22年前构想将成真？一周内AI「自我进化」论文集中发布，新趋势涌现？
本文介绍AI模型自我进化方向的进展，涉及多机构的相关论文。如受“哥德尔机”启发的“达尔文哥德尔机”可自我改进；还有“自我奖励训练”“MM - UPT”“UI - Genie”等方法，展现AI自我进化潜力。
两月蒸发1.6万亿：SaaS 被AI「杀死」了吗？ | GAIR Live 025
今年初，北美软件股两月蒸发超1.6万亿美元，引发对SaaS是否被AI“杀死”的讨论。雷峰网GAIR Live线上圆桌中，三位行业老兵探讨了SaaS现状与未来，涉及股价暴跌原因、护城河、商业模式、产品形态及转型等方面。
突然猛涨7K+ star！阿里开源的前端增强项目火了！
阿里开源的前端增强项目 PageAgent 火了，在 GitHub 获 8k+ star。它是纯前端 JavaScript GUI 智能体框架，可让网页拥有 AI Agent，通过自然语言控制界面，有自动填表单等功能，使用简单。
从豆包手机谈起：端侧智能的愿景与路线图
近日，字节跳动发布豆包手机助手，标志大模型应用从‘Chat’迈向‘Action’。文章解析其关键技术，指出虽具实用价值，但端侧智能体面临安全、自主任务、个性化服务等挑战，还展望了手机助手与端侧智能体的未来发展。