Tell me the truth: A system to measure the trustworthiness of Large Language Models
发布时间
阅读量：
阅读量
本文属于LLM系列文章之一，并基于《 Tell me the truth: A system to measure the trustworthiness of Large Language Models 》进行翻译。
告诉我真相：一个衡量大型语言模型可信度的系统
- 摘要
- 引言
- 整体背景
- 文献
- 本文的目标
- 方法
- 结论和未来发展
摘要
自2022年11月起推出的ChatGPT后的一年多时间里
引言
整体背景
文献
本文的目标
方法
结论和未来发展
所构建的知识体系提供了一种有效的方法来评估一组句子与其对应答案集在特定知识领域中的可比性。
这种可比性构成了LLM可信度评价中的隐秘部分。
文献综述指出：信任包含多个维度：准确度、可靠性以及与人类价值观和社会规范的一致性。
尽管准确度与可靠性通常被视为该系统的关键指标，
但与人类、社会及领域特定价值观的一致性应整合至知识体系之中。
这意味着本文所述方法中，
知识体系的设计发挥着关键作用。
让SME人员作为独立个体参与评估过程是一种可行的方式，
但还需进一步探索其可行性边界。
在技术细节方面仍需深入探讨：
不同阶段使用的模型应与其他可用方案进行对比分析；
衡量知识体系与LLM答案之间的差异程度，
采用基于分词器生成的向量空间进行比较也是一种可行的方法；
对表示两个分量的图进行矢量化则是一种值得探索的新途径；
此处采用的距离度量应与其他距离指标进行对比研究；
兼容性阈值应在算法框架内定义，
而目前的概念验证仍需进一步优化以确保准确性。
这种方法不仅可以用于合规性分析，
还可以应用于内部程序与外部标准相协调的情形；
一般而言，
该方法适用于所有需要衡量文件与知识体系兼容性的场景。
全部评论 (0)
还没有任何评论哟~