论文标题：LLMs and NLP Models in Cryptocurrency Sentiment Analysis: A Comparative Classification Study

论文链接：https://www.mdpi.com/2504-2289/8/6/63

期刊名：Big Data and Cognitive Computing

期刊主页：https://www.mdpi.com/journal/BDCC

一、引言

加密货币市场波动剧烈，新闻和投资者情绪（常被称为“加密信号”）是影响市场变化的关键因素。新闻文章、社交媒体中蕴含了海量的文本信息，这既是机遇也是挑战。如何从这些非结构化数据中快速、准确地提炼出市场情绪，以辅助加密货币投资决策和风险管理，是金融科技领域的一个核心难题。研究探讨了大语言模型与自然语言处理模型在加密货币情绪分析中的比较分类研究。该研究对高风险、高波动的加密货币市场投资决策和风险管理具有重要意义。

二、材料与方法

研究使用了“Crypto News +”数据集，该数据集包含超过31,037行已标注情绪（正面、负面或中性）的加密货币新闻文章。作者从中随机抽取了5000行样本，并划分为训练集、验证集和测试集。研究利用创新的GPT-4大语言模型，同时与BERT和FinBERT自然语言处理模型进行平行比较并将这些模型基于少量样本数据进行微调，然后通过直接比较以评估它们在微调前后的情感分析能力。

三、结果

在基础模型评估阶段，作者使用GPT-4基础模型（具体为gpt-4-0125-preview）对加密货币新闻文章进行情绪分析和分类，对模型输出结果进行分析，同时与原始的用户标注标签进行对比。结果表明，gpt-4-0125-preview模型正确预测了82.9%文章的情绪类别。

在研究的后续阶段，作者使用两种不同的优化器对GPT-4、BERT和FinBERT模型进行微调，过程中使用了一个包含3200篇加密货币文章的训练集，主要目标是提升模型的性能及其分析加密货币情绪的能力。通过对比准确率、召回率和F1值等标准指标，作者发现：LLM和NLP模型在此特定任务中的适用性较高，尤其是在微调之后。微调后的GPT-4模型表现最佳，准确率高达86.7%，紧随其后的是FinBERT（84.3%）和BERT（83.3%）。BERT和FinBERT模型在使用Adam优化器时都比使用AdamW优化器的准确率更高。

表1 模型表现指标对比

四、讨论

关于LLM和NLP模型在加密货币领域情感分析中的有效性的研究发现与见解：

1.每个模型在特定的标签上表现出更高的准确性。例如，经过微调的GPT-4模型在预测正面标签时更为准确，而BERT和FinBERT在预测中性标签时表现优异。这表明每个模型都有其优缺点，因此采用混合式方法才能在实际环境中更好地发挥效果。

2.通过在大型且具有代表性的数据集上对大语言模型或自然语言处理模型进行微调，可以使其更深入地理解情感分析领域特有的各种细微差别和模式。在加密货币领域，这种微调有助于提高预测的准确性。

3.对于需要准确且即时预测结果的利益相关方或投资者来说，尽管GPT API的成本较高，但其易于使用的界面使得它成为一种更便捷且可持续的解决方案。相反，对于拥有AI团队的公司来说，使用BERT或类似的自然语言处理模型来部署自托管解决方案可能是一种更经济有效的选择。

五、展望与结论

研究介绍了针对加密货币新闻情绪分析任务的三种模型（GPT-4、BERT、FinBERT）的比较实验，详细探讨了通用大语言模型与领域专用模型在捕捉金融文本情绪方面的性能差异及微调技术带来的影响。采用有监督机器学习流程与少样本学习微调方法，对三个模型进行了系统的训练和优化。通过使用在独立测试集上进行预测验证的方法进行验证，计算得到的微调后GPT-4模型准确率为86.7%，FinBERT为84.3%，BERT为83.3%，精度在预期范围内。这些实验有力地支持了对先进语言模型进行特定任务的微调能显著提升其在加密货币情绪分析中的性能，对于捕捉加密货币市场情绪的细微变化和复杂性、辅助决策加密货币投资与风险管理非常重要。

期刊介绍

期刊主编：Min Chen, South China University of Technology, China

期刊简介：Big Data and Cognitive Computing (ISSN: 2504-2289)创刊于2017年，是面向计算机科学大数据与认知计算的国际性、跨学科、开放获取的学术期刊，主要发表与大数据、云计算、认知计算、人工智能通信、数据分析、移动大数据、认知学习、机器学习等相关主题的原创研究论文。期刊旨在将大数据理论与智能云新兴技术结合起来，并探索超级计算机的新应用。目前已被 Scopus, ESCI (Web of Science), dblp, Inspec, Ei Compendex等多个数据库收录。

2025 Impact Factor：5.3

2025 CiteScore：11.4

Time to First Decision： 23.3 Days

Acceptance to Publication： 4.8 Days