// 01 CAR 是什么
CAR（Certainty-based Adaptive Reasoning） 是由字节跳动与复旦大学联合提出的一种自适应推理框架，旨在提升大型语言模型（LLM）和多模态大型语言模型（MLLM）在处理各类任务时的推理效率与准确性。
🧠 CAR 是什么？
CAR 是一种基于模型置信度动态调整推理策略的框架。它通过评估模型对初步生成答案的置信度（使用困惑度 Perplexity 作为指标），决定是否需要进行更深入的长形式推理。这种机制使得模型在面对简单任务时快速给出答案，而在处理复杂问题时进行详细推理，从而在准确性与计算效率之间取得平衡。
🚀 如何使用 CAR？
集成 CAR 框架：将 CAR 模块集成到现有的 LLM 或 MLLM 系统中。
初步回答生成：模型首先生成一个简短的初步答案。
置信度评估：计算该答案的困惑度（Perplexity），以评估模型的置信度。
决策机制：如果困惑度较高（表示置信度低），则触发长形式的推理过程；否则，直接输出初步答案。
🔧 主要功能
动态推理路径选择：根据模型对答案的置信度，自动在简短回答和详细推理之间切换。
提升推理效率：在保证准确性的前提下，减少不必要的长推理过程，降低计算资源消耗。
适应多种任务：在视觉问答（VQA）、关键信息提取（KIE）和文本推理等多种任务中表现出色。
⚙️ 技术原理
CAR 的核心在于使用困惑度（Perplexity）作为模型置信度的衡量指标。具体而言，CAR 首先生成一个简短的答案，并计算其困惑度。然后，通过建立困惑度与答案正确性之间的关系模型（例如高斯分布），判断当前答案的可靠性。如果模型对答案的置信度不足（即困惑度较高），则触发更深入的长形式推理，以提高答案的准确性。
🎯 应用场景
视觉问答（VQA）：在处理图像相关的问题时，根据问题复杂度动态调整推理深度。
关键信息提取（KIE）：从文档或图像中提取关键信息时，提高提取的准确性和效率。
文本推理任务：在处理需要推理的文本任务（如数学题解答）时，提升答案的准确性。
多模态任务：在涉及多种数据类型（如文本与图像）的任务中，优化模型的推理路径。
📂 项目地址
论文链接：arXiv:2505.15154
相关报道：量子位报道
