近日,2024 AI+研发数字峰会(AiDD)在深圳召开。大会汇聚100+行业技术领袖和专家学者,1000+与会技术达人,共同探讨前沿的AI技术及最新的AI落地实践。奇富科技资深算法专家王述应邀出席,并就金融领域大模型的研发与优化技术进行了深入分享,特别展示了奇富Copilot在客户服务、智能辅助等关键领域的实际应用探索。
王述指出,尽管AI技术的发展使得通用模型从基础的自然语言理解能力向更深层次、精准和高效的能力演进,但在金融行业,由于缺乏金融专业知识和面临高昂的模型训练与运营成本,大模型的大规模应用仍面临挑战。
为此,在金融大模型研发领域,奇富科技创新性构建了多阶段知识增强流程,涵盖了从数据准备、预训练到指令微调的各个环节。在数据准备阶段,奇富科技通过标准化的数据处理流程,引入了多种数据来源和清洗策略,将语料中的badcase率从40%降至5%左右,确保模型所训练的语料库具有高质量和多样性。同时,采用两阶段知识增强的预训练方式,使得模型在基础能力和领域专业性之间取得了有效的效果平衡。最后,通过两阶段指令微调,解决了不同任务之间的冲突,使得模型在不同任务场景下的表现更加一致且高效。正如王述所说:“合适的数据及其配比,是高性能AI模型的关键。奇富科技通过多阶段知识增强,实现了模型在理解和解决金融领域复杂问题上的有效性和精确性。”
值得一提的是,在金融大模型研发架构层面,奇富科技采用了“领域通用与场景适配相结合”的方法,将通用大模型与金融领域的专业知识深度融合。通过精心设计的数据配比和处理流程,确保模型在预训练阶段充分掌握金融领域的知识储备与准确性。通过对通用语料、金融语料、场景任务语料等不同类型数据的混合精调,奇富金融大模型在处理金融业务中的客户需求理解和智能辅助决策等任务时表现出色,展示了在复杂场景中的卓越能力。