长春市建设工程信息网站郑州网站关键词优化公司

长春市建设工程信息网站,郑州网站关键词优化公司,购物网站建设费用,海洋高端的专业做网站概述 该研究旨在确保整合视觉和语言的模型能够生成 “准确且信息丰富的图表说明#xff08;标题#xff09;”。 现有的图表标题数据集面临两大挑战。 首先#xff0c;从论文和报告中提取的标题包含无法从图表图像中读取的无关信息。 其次#xff0c;标题不能充分体现重要的…概述该研究旨在确保整合视觉和语言的模型能够生成 “准确且信息丰富的图表说明标题”。现有的图表标题数据集面临两大挑战。首先从论文和报告中提取的标题包含无法从图表图像中读取的无关信息。其次标题不能充分体现重要的见解如坐标轴、图例和其他结构、最大值和趋势。这些问题在模型中造成了 “幻觉”halucinations导致了错误的表述。因此作者构建了一个新的数据集–ChartCap该数据集包含 56 万多张真实世界的图表这些图表具有高质量的标题对结构元素和重要见解没有过多或过少的表述也没有无关信息。我们还提出了一种新的衡量标准–视觉一致性得分它可以根据生成的标题复制图表并通过与原始图像进行比较来对其进行评估。这样就能客观地衡量模型忠实、准确地描述实际图表的能力。建议的方法作者设计了一个四阶段自动生成管道来构建 ChartCap 数据集。首先只从数百万张图片中提取数据驱动的图表不包括图表以外的图表如概念图和示意图。然后使用 GPT-4o 和其他工具识别图表类型和标题。然后根据为每种图表类型定义的模式提取图例、坐标轴、极值和趋势等结构元素和见解。在这一过程中GPT-4o 和 Claude 3.5 Sonnet 分工合作前者负责粗略的趋势识别后者负责需要数字精确度的处理。提取结果被编译成半结构化格式最后转换成自然语言说明。为了进一步保证质量还引入了基于周期一致性的验证即 “根据标题生成 Python 代码并将重建的图表与原始图像进行比较”而不是由人工直接检查所有内容。这不仅简化了人工视觉检查还能以低成本构建兼具准确性和全面性的大型数据集。实验实验将在 ChartCap 上训练的模型与现有的开源模型和商业模型进行了比较。除了传统的 BLEU 和 ROUGE 外还使用了建议的视觉一致性得分VCS和 OCRScore 作为评估指标。结果显示与传统模型相比使用 ChartCap 微调的模型生成的字幕更准确、更翔实、更不虚假。其中Phi3.5-Vision-4B 和 InternVL2.5-8B 等开源模型在使用 ChartCap 进行微调后甚至超过了商业 Claude 3.5 Sonnet。它们还在 VisText 和 Chart-to-Text 等其他人工验证数据集上实现了零误差的高准确率证明了它们的泛化能力。此外对人类评分的比较表明在许多情况下使用 ChartCap 训练的模型的输出结果比现有的人类撰写的标题更受欢迎。这表明ChartCap 比传统数据集更有效可以为理解和解释真实世界的图表做出重大贡献。