Advertisement

Optimizing Inference of Large Language Models via Multi-Query Instructions in Meeting Summarization

阅读量：

本文属于LLM系列文章，在研究《Query-OPT: Optimizing Inference of Large Language Models via Multi Query Instructions in Meeting Summarization》这一课题时所作的翻译工作

Query OPT：基于多查询指令的大型语言模型会议摘要推理优化

  • 摘要
  • 1 引言
  • 2 相关工作
  • 3 我们的方法
  • 4 实验
  • 5 结论

摘要

这项研究的核心在于基于查询生成会议摘要。具体而言，在此任务中我们采用大型语言模型（LLM）来处理相关数据。然而，在实际应用中即使上下文信息不变，在每次处理新查询时仍需对LLM的推理端点或API进行新的请求。频繁调用这些端点会增加在实际生产环境中使用它们的成本，并导致LLM在许多真实世界的应用场景中难以实现有效的应用。为此，在本文中我们探讨如何在一个提示中整合多个相同输入上下文的查询以减少重复调用次数，并评估其是否能够有效提升会议摘要的效果。通过对比分析当前市场上的主流大语言模型（包括GPT-4、PaLM-2、LLaMA-2、Mistral和FLAN-T5），我们在单轮对话与多轮对话场景下进行了广泛的实验对比分析。尽管大多数模型倾向于处理多轮对话指令并优化推理成本表现良好的情况下但在经过微调优化后仍然无法满足所需的输出格式要求

1 引言

2 相关工作

3 我们的方法

4 实验

5 结论

在本文中, 我们涵盖了各种LLM的实验结果, 并将其用于构建一个高效会议摘要系统的开发与应用, 从而提供了重要的理论指导与实践参考.
尽管大多数基于当前技术实现的LLMs均未能按照所需格式生成规范化的输出, 但通过分析多轮查询模式下的表现数据, 我们得出了较高ROUGE分数这一重要结论.
虽然我们的研究证实采用多轮查询提示能够有效提升系统推理效率, 但我们建议未来的研究工作应着重于探索如何使模型生成更加规范化的响应.

全部评论 (0)

还没有任何评论哟~

相关文章推荐

Optimizing Inference of Large Language Models via Multi-Query Instructions in Meeting Summarization

本文是LLM系列文章，针对《QueryOPT:OptimizingInferenceofLargeLanguageModelsvia MultiQueryInstructionsinMeetingSu...

LLMARENA: Assessing Capabilities of Large Language Models in Dynamic Multi-Agent Environments

本文是LLM系列文章，针对《LLMARENA:AssessingCapabilitiesofLargeLanguageModelsin DynamicMultiAgentEnvironments》的翻...

Speak Out of Turn: Safety Vulnerability of Large Language Models in Multi-turn Dialogue

本文是LLM系列文章，针对《SpeakOutofTurn:SafetyVulnerabilityofLargeLanguageModelsinMultiturnDialogue》的翻译。

Revisiting Zero-Shot Abstractive Summarization in the Era of Large Language Models from the Perspect

Q:这篇论文试图解决什么问题？ A:这篇论文试图解决的问题是大型语言模型（LLMs）在零样本抽象摘要任务中的位置偏差（positionbias）问题。位置偏差指的是模型在生成摘要时，不公平地优先考虑输...

Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning

本文是LLM系列文章，针对《UnveilingtheMisusePotentialofBaseLargeLanguageModelsvia InContextLearning》的翻译。

A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine

本文是LLM系列文章，针对《AComprehensiveSurveyofLargeLanguageModelsandMultimodalLargeLanguageModelsinMedicine》的翻...

A SURVEY OF LARGE LANGUAGE MODELS IN CYBERSECURITY

本文是LLM系列文章，针对《ASURVEYOFLARGELANGUAGEMODELSINCYBERSECURITY》的翻译。 网络安全中的大型语言模型综述 摘要 1引言 2基本概念 3相关工作 4当前...

Title: LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models

今天分享微软公司的一篇文章，Title:LLMLingua:CompressingPromptsforAcceleratedInferenceofLargeLanguageModels。

Large Language Models and Causal Inference in Collaboration: A Comprehensive Survey

本文是LLM系列文章，针对《LargeLanguageModelsandCausalInferenceinCollaboration:A ComprehensiveSurvey》的翻译。

Large Language Models and Causal Inference in Collaboration: A Comprehensive Survey

摘要： 因果推断通过捕捉变量之间的因果关系，展示了提高自然语言处理（NLP）模型的预测准确性、公平性、鲁棒性和可解释性的潜力。生成性大型语言模型（LLMs）的出现显著影响了各个NLP领域，特别是通过它...