Multimodal Intention Knowledge Distillation from Large Language Models
本文是LLM系列文章，针对《Miko: Multimodal Intention Knowledge Distillation from Large
Language Models for Social Media Commonsense Discovery》的翻译。
Miko:从大型语言模型中提取多模态意图知识，用于社交媒体常识发现
- 摘要
- 1 引言
- 2 相关工作
- 3 定义和数据集
- 4 方法
- 5 内在评价
- 6 外部评价
- 7 结论
摘要
社交媒体已经成为一种无处不在的工具，可以与他人联系、随时了解新闻、表达意见和寻找娱乐。然而，理解社交媒体帖子背后的意图仍然具有挑战性，因为这些意图具有隐含性和常识性，需要对文本和图像进行跨模态理解，以及存在诸如标签、拼写错误的单词和复杂缩写等嘈杂信息。为了应对这些挑战，我们提出了Miko，这是一个多模态意图知识提取框架，它协同利用大型语言模型（LLM）和多模态大型语言模式（MLLM）来揭示用户的意图。具体来说，我们使用MLLM来解释图像，使用LLM来从文本中提取关键信息，并最终再次指示LLM生成意图。通过将Miko应用于公开的社交媒体数据集，我们构建了一个意向知识库，其中包含137287篇帖子中的1372K个意向。我们进行了两阶段的注释，以验证生成的知识的质量，并对广泛使用的LLM用于意图生成的性能进行基准测试。我们进一步将Miko应用于讽刺检测数据集，并提取学生模型，以展示应用意图知识的下游优势。
1 引言
2 相关工作
3 定义和数据集
4 方法
5 内在评价
6 外部评价
7 结论
在本文中，我们介绍了Miko，这是一个创新的框架，专门用于从多模态社交媒体帖子中获取社会意图知识。我们的方法采用了分层方法来提取基本的社会信息和意图。该过程利用大型语言模型和精心设计的提示，有效地从社交帖子中捕捉用户的发帖意图。此外，我们精心注释了所选断言的典型分数，用人类知识丰富它们，以建立一个强大的基准。我们已经进行了全面的评估，以验证我们的框架提取的提取意图知识的有效性和实用性。未来，我们的目标是通过将Miko适应不同的领域、行为类型、语言和时间背景来扩大其范围。预计这一扩展将显著增强各种社交媒体应用程序的功能。