快速网站建设服务泰安星际网络公司

快速网站建设服务,泰安星际网络公司,广西建设监理协会官网站,物联网设计与开发摘要 本文提出了一种以任务为中心的指令数据增强方法#xff0c;称为任务中心指令增强#xff08;TCIA#xff09;#xff0c;用于 LLM 微调#xff0c;该方法符合实际应用。 传统方法试图通过自生成指令数据增强来确保多样性#xff0c;但存在重复指令和 任务漂移…摘要本文提出了一种以任务为中心的指令数据增强方法称为任务中心指令增强TCIA用于 LLM 微调该方法符合实际应用。传统方法试图通过自生成指令数据增强来确保多样性但存在重复指令和 任务漂移 的问题这会导致偏离目标任务。在现实世界中有许多情况下需要的是专门针对特定任务的性能而不是通用模型因此必须有一种机制来保持任务的适用性和多样性。TCIA 是一种将自然语言指令分解为 基本问题 和 限制条件 组合的方法并在处理限制条件的同时广泛扩展指令。实验表明在会议总结等实际任务中平均性能提高了 8.7%在某些情况下甚至超过了 GPT-4o。通过这种方式TCIA 为 LLM 调整提供了一个新的框架该框架对现实应用具有鲁棒性。建议的方法TCIA 是一个系统化的指令扩展框架包括六个步骤。首先通过将自然语言指令分解为 基本查询 和 “约束”明确指令的语义结构。接着利用从公共数据集如 Tulu-3中建立的各种约束数据库搜索与类似任务相关的约束。随后通过使用广度优先搜索BFS进行 “添加”、删除 和 替换 等迭代操作生成一组多样化且与任务兼容的约束条件。生成的指令会再次被转换成自然语言并通过不一致解决方法验证是否存在缺失的约束条件和高质量的指令。此外通过使用多个 LLM 生成回复和 LLM 筛选对质量、有用性、准确性、一致性等进行五维评估只选出最佳的指令-回复对。这样就形成了一个既忠实于任务又保持多样性的大型训练数据集从而实现了高效、真实的微调。实验作者从指令和模型两个层面测试了 TCIA 的有效性。首先与传统方法如 WizardLM的比较表明TCIA 在保持教学多样性的同时还保持了较高的任务拟合度。例如经过三次扩展后TCIA 的任务符合率几乎达到 100%在多样性指标上优于 WizardLM。接下来在 Llama-3.1-8B 的基础上对会议总结和信息提取等四个实际任务进行了微调结果显示平均性能提高了 8.7%。特别值得一提的是其结果优于 GPT-4o。此外适应新约束条件的实验证实在 TCIA 基础上训练的模型可以灵活应对未曾见过的要求例如从项目符号列表改为编号列表以及输出长度限制等。此外这些模型在 MMLU-Pro 和 GPQA 等公共基准测试中保持了良好的成绩展示了特定任务和通用任务的性能。