林建浩团队:大语言模型与经济金融文本分析:基本原理、应用场景与研究展望

 

大语言模型与经济金融文本分析:基本原理、应用场景与研究展望

 

作者:

林建浩:中山大学岭南学院

孙乐轩:中山大学岭南学院

文章刊发:《计量经济学报》2025年 第1期

       摘要:大语言模型 (LLMs) 拥有强大的自然语言处理能力, 本文系统梳理了相关领域的前沿文献, 并详细论述其为经济金融领域的文本分析带来的新研究机会. 首先, 本文介绍了GPT和BERT这两类最具代表性的LLMs及一系列经济金融领域专用的LLMs, 并阐述应用LLMs分析文本数据的基本原理. 其次, 本文从两个方面归纳了LLMs在经济金融文本分析研究中的应用场景: 一是LLMs在计算文本相似度、提取文本向量进行预测、文本数据识别与分类、构建特定领域词典、主题建模与分析、文本情绪分析等传统文本分析场景中所呈现的显著优势; 二是LLMs拥有强大的人类对齐能力, 由此开创了全新的应用场景, 即作为经济代理人, 模拟人类生成对于文本的信念或预期并进行经济决策. 最后, 本文总结了LLMs在开拓经济金融文本分析研究的新范式过程中面临的局限性以及现有研究不足, 并针对这些问题可能催生的新研究议题进行展望.

      关键词:大语言模型,自然语言处理,文本分析,经济与金融

1.研究背景及意义

      得益于近年来文本分析技术的快速发展和文本数据可得性的提高,经济学和金融学中的数据分析已广泛地从传统的量化数据拓展到了文本等非结构化数据,为相关研究提供了全新的视角和工具来探索经济金融现象、预测市场动态以及评估政策影响。

     目前文本分析技术已经历了长达七十余年的三个发展阶段(即早期探索阶段(1950s ~ 1990s)、统计语言模型阶段(1990s-2000s)和神经语言模型阶段(2000s-2017))并逐渐走向成熟。这三个发展阶段中的文本分析方法虽已在经济和金融研究中得到广泛应用,但由于维数灾难、忽略语序及上下文信息和模型规模较小等局限性,这些传统方法也逐渐难以满足该领域对于文本数据处理的需求。我们亟需一种技术能够克服传统方法的不足,挖掘文本数据中蕴含的更多信息。大语言模型(Large Language Models,LLMs)技术正是在这一背景下应运而生的。

     2018年6月,Open AI公司技术团队提出了一种基于多层Transformer和大规模无标注文本训练得到的生成式预训练(Generative Pre-trained Transformer,GPT)模型,正式将文本分析技术带入第四个发展阶段——大语言模型时代。这标志着文本分析正在利用更大规模的文本数据以及更深层的神经网络模型学习更丰富的文本语义表示,开启了基于“通用文本预训练+特定任务微调”的自然语言处理新范式。

      由于其前所未有的优势和出色的分析效果,LLMs已逐渐应用于各类文本数据的处理及分析中。特别地,在经济学和金融学领域内,近期涌现出了大量利用以GPT和BERT为代表的LLMs进行文本数据分析的前沿研究。目前已有综述论文总结了LLMs在经济或金融领域的应用,但主要关注应用案例或除文本分析外其他方面的应用。尚缺少文献对LLMs在经济金融文本分析中的应用研究进行系统性地归纳与评述,也很少有文献在研究综述的基础上探讨这一重要研究方向的争议与局限性以及未来研究方向的展望。本文正是在这一背景下展开写作的。

2.主要内容

      本文试图从以下三个方面来填补现有文献的空白:
      首先,本文对这一研究领域中亟待梳理的知识体系和现有前沿研究进行了系统地归纳总结,更加侧重介绍经济金融领域的专用大模型以及各类文本分析场景。具体而言,本文简要介绍了两类最具代表性的LLMs——GPT和BERT,并整理归纳了一系列经济金融领域专用的LLMs。同时,本文通过对LLMs分析文本数据的基本原理进行简要介绍,厘清了LLMs的基本架构与重要技术,并阐述了将LLMs应用于经济金融领域文本分析的原因。之后,本文通过梳理现有前沿研究,归纳了LLMs在经济金融文本分析中的应用场景。
      其次,本文进一步对该领域中还未形成广泛共识的问题及争议进行深入探讨,以指明未来研究所面临的风险与挑战。一些研究对LLMs在经济金融文本分析中的应用持积极态度,认为大语言模型能帮助领域内研究者以更精细的分辨率来分析系统中的文本数据,进而更精确地捕捉经济金融系统的动态和规律。然而,另有一些研究对LLMs的文本分析能力表示质疑,并对其在经济金融领域的应用表示担忧。本文在对文献梳理的基础上进一步讨论了这些关于LLMs局限性的争议。
      最后,本文针对这一极具开创性、想象空间和发展前景的领域中存在的诸多争议和挑战提出可能的解决策略,并在梳理现有研究不足的基础上进一步明晰未来可能的研究方向。一方面,本文将针对关于LLMs局限性的争议探讨未来经济金融领域内的文本分析实证研究应如何改进或规避这些问题。另一方面,本文将从现有前沿研究的不足出发探讨未来研究应关注哪些重要问题与方向,并归纳潜在的研究机会与策略。

3. 主要结论与政策建议

      本文主要关注现有研究如何利用大语言模型对经济和金融领域的文本数据进行分析。首先,本文简要介绍了两类最具代表性的大语言模型GPT和BERT及一系列经济金融领域专用的LLMs,同时阐述了LLMs分析文本数据的基本原理,并解释了使用LLMs分析经济金融文本的原因。然后本文归纳总结了该领域内近期的前沿研究文献,从两个方面全面介绍了LLMs在经济金融文本分析中的应用场景,分别是:计算文本相似度、提取文本向量进行预测、文本数据识别与分类、构建特定领域词典、主题建模与分析、文本情绪分析和模拟人类生成对于文本的信念或预期。最后,本文分别针对利用LLMs进行经济金融文本分析的局限性和争议,以及现有前沿研究的不足之处对未来研究的发展方向和主要策略进行了前瞻性展望。

4. 边际贡献与未来拓展

      (1)LLMs在传统文本分析场景中的研究机会

        在传统文本分析场景中,利用LLMs提取文本向量进行预测以及主题建模与分析这两个场景中的应用研究并不丰富,具有进一步延伸的空间和潜在研究机会。首先,未来研究可尝试拓展基于LLMs提取的文本向量在宏观经济预测和资产定价中的应用,并加强经济学解释。其次,未来研究可探索LLMs主题模型如何优化主题分析的效果。

        此外,大语言模型在我国经济学和金融学领域的应用仍处于初级阶段,大多应用研究只是利用大语言模型执行一些简单的文本分析任务,如计算文本相似度和文本分类等。中国具有不同于西方世界的经济、政治、文化以及社会制度,其中蕴含着具有独特价值的中国问题,需要中国学者运用国际前沿的技术、方法和工具,借鉴国际同行所使用的研究范式和方法,讲述能够使国际同行理解的中国故事。因此,未来中国学者需要重点关注大语言模型如何赋能具有中国特色的经济学与金融学问题研究。

      (2)LLMs开创的全新文本分析场景的研究前景

        LLMs在这一应用场景中所展现的人类对齐能力是其最核心且独有的能力,与传统文本分析技术有着本质区别。在未来,我们可以从行为科学和经济学等跨学科视角探索如何构建和利用人工智能经济人,进而开启“AI行为科学”领域的研究。未来的研究可以尝试训练LLMs表现出特定的行为特征,从而作为代理扮演不同背景的个体(如不同收入水平的人群)。通过阅读网络媒体中的大规模文本内容,LLMs能够生成具有时间、空间和个体多维度异质性的信念或预期。这一能力使其能够捕捉和探索特定时期、特定地区或特定群体的高频预期或情绪信息,特别是在某些难以获取数据的情境下具有巨大应用空间。

      (3)进一步开发适用于中文经济金融文本的LLMs

       已有研究表明,使用特定领域(如经济和金融领域)的高质量文本数据对LLMs进行微调可以提高模型在该领域进行文本分析的性能。未来研究可考虑进一步开发和应用适用于中文经济金融文本的LLMs,这不仅是科学问题,更是开拓细分市场的潜在增长点。在未来我们需要加快建设和补充高质量的中文经济金融文本数据集,尤其是蕴含中式价值观和中国自主的经济学知识体系内涵的语料数据库,以便开发得到真正适用于中国经济金融问题的LLMs。这是兼具学术创新机会和市场开拓机会的领域,不仅有助于提升中国经济金融领域的基础研究能力,还有利于推动“人工智能+”落地具体应用场景,赋能产业升级与企业数字化转型。

5.写作、投稿、修改的过程和心得体会

       近年来,大语言模型技术的迅猛发展正在对经济学和金融学领域中的文本分析实证研究产生巨大冲击,相关研究层出不穷但缺乏系统性梳理。在这一背景下,本文试图回应当前相关研究领域的关注焦点与迫切需求。通过本文,我们期望能够帮助读者厘清相关概念与基本原理,同时更加系统全面地把握现有前沿研究的脉络,从而为研究者进一步探究大语言模型在经济金融文本分析中的潜力与局限性提供更加清晰地研究方向与策略建议,最终推动大语言模型在经济学和金融学领域广泛应用,促进相关学术研究的创新与进步。在稿件投稿至编辑部后,收到了编辑部老师和两位外审专家的修改意见反馈,这些意见对本文写作质量的提高起到了至关重要的作用,在此表示衷心感谢!