AI虚拟数字人创作平台介绍

本文探讨了大型语言模型（LLMs）在生成回答时的自信心与概率一致性问题。随着LLMs在各个领域的广泛应用，理解模型自我评估的自信心对于输出的可靠性至关重要。研究者提出了“自信心-概率一致性”概念，将模型内部的自信心（通过token概率量化）与模型在被明确询问时表达的自信心联系起来。通过使用不同的数据集和提示技术，研究者分析了模型内部和表达的自信心之间的一致性。研究发现，OpenAI的GPT-4在多种任务中展现出最强的自信心-概率一致性。这项工作有助于促进LLMs应用中的风险评估，并进一步理解模型的可信度。