论文分析真实场景中的多模态 LLM 图像交互任务
一项研究分析了40,000多条去标识化的 Microsoft Copilot 图像上传对话,并用涵盖感知、认知和生成的十类能力刻画用户任务。研究发现,多数图像任务涉及多种能力,且多模态使用覆盖的任务空间比纯文本交互更广。对照253个基准后,研究指出现有评测更集中于感知和固定答案推理,而文本、代码与数据生成等常见工作流覆盖较少;研究还在独立的 ChatGPT 数据集上验证了分类框架和发现。
一项研究分析了40,000多条去标识化的 Microsoft Copilot 图像上传对话,并用涵盖感知、认知和生成的十类能力刻画用户任务。研究发现,多数图像任务涉及多种能力,且多模态使用覆盖的任务空间比纯文本交互更广。对照253个基准后,研究指出现有评测更集中于感知和固定答案推理,而文本、代码与数据生成等常见工作流覆盖较少;研究还在独立的 ChatGPT 数据集上验证了分类框架和发现。
Graphite 通过比较10,000篇 ChatGPT 发布前的人类文章与各模型根据摘要重写的样本,研究前沿模型在词语和句式上的写作特征。Claude Opus 5.5 使用“this matters”的频率是人类写作的116倍,“dependable”高出23倍;研究共发现13,000个在 AI 内容中至少出现频率翻倍的短语。
该研究提出基于 LLM 的多模态对话情绪评估框架,在 IEMOCAP 上同时进行离散情绪识别和 Valence-Arousal-Dominance(VAD)维度评估,并比较 LLaMA、GPT 和 Qwen 系列的零样本、少样本提示与 LoRA 微调。
谷歌发布新一代旗舰模型 Gemini 4 Argon,在 19 项对比测试中 13 项第一,输出上限从上一代 6.4 万 token 提升到单次最多 100 万 token。
Lots of discussion out there about our next model(!), so I wanted to give an early look as soon as possible. Introducing Gemini 4 Argon! It shows frontier performance in complex workflows, cyber defense and software engineering. Teams are using it extensively at Google, from coding to quantum computing, great feedback. Here’s a look at the benchmarks:
OpenAI 发布 GPT-6 Sol 和 Luna 两款模型,将前沿智能带入日常工作,两者在能力与成本上有不同的平衡取向。
Parallel 借助 GPT-6 Astra 让智能体研究并综合劳动力市场数据,耗时和成本均降至此前模型的一半。
OpenAI 在 API 中推出 GPT-Live-1,为开发者带来自然的全双工语音对话能力。该模型在指令遵循上更强,并支持自定义音色与电话(telephony)接入。
推荐理由:OpenAI 把全双工语音对话能力开放到 API,读者可据此判断语音类应用的接入门槛与能力边界。
OpenAI 发布 GPT-6 Astra,称其是面向企业场景能力最强的模型,具备更强的推理、computer use 以及写作与设计判断能力。目前官方仅给出这一简要介绍,未披露版本细节、开放方式与可用范围。
推荐理由:OpenAI 官方给出 GPT-6 Astra 的定位与能力方向,可用于判断企业级模型选型与智能体落地的下一步。
OpenAI 发布 ChatGPT Images 2.5,可将想法、草图与参考照片转化为更个性化、更精致的图像,官方称生成结果能更好地体现用户的想法。
推荐理由:官方给出 ChatGPT Images 2.5 的输入类型与生成定位,可据此判断参考图生图能力在创作流程中的位置。