论文分析真实场景中的多模态 LLM 图像交互任务

一项研究分析了40,000多条去标识化的 Microsoft Copilot 图像上传对话，并用涵盖感知、认知和生成的十类能力刻画用户任务。研究发现，多数图像任务涉及多种能力，且多模态使用覆盖的任务空间比纯文本交互更广。对照253个基准后，研究指出现有评测更集中于感知和固定答案推理，而文本、代码与数据生成等常见工作流覆盖较少；研究还在独立的 ChatGPT 数据集上验证了分类框架和发现。