自然语言处理(NLP)功能集成指南

在本文中,将学习如何将常见的自然语言处理NLP)功能以最小的努力集成到应用程序中。将使用Hugging Face提供的'transformers'库来实现这一点。以下是如何开始的步骤:

!pip install transformers

首先,需要安装transformers库,以便在项目中使用。这是一个简单的过程,只需要在命令行中运行上述命令即可。

from transformers import pipeline

接下来,需要导入transformers库中的必要函数。这将允许创建管道对象,该对象将处理输入参数并提供适当的输出。

无论想要使用此库执行什么任务,首先需要创建一个管道对象,该对象将接收其他参数并给出相应的输出。所需的模型权重将在代码首次运行时下载。

情感分析是预测句子所表达的情感。换句话说,模型试图对句子是积极的还是消极的进行分类。以下是如何轻松执行情感分析的示例:

sentiment = pipeline('sentiment-analysis') result = sentiment('今天真的很开心') print(result)

以上代码将输出句子的情感分析结果,帮助了解句子是积极的还是消极的。

以下是执行问答任务的代码。在传递给管道对象的字典中,将问题输入到'question'键,并将参考材料输入到'context'键。

q_and_a = pipeline('question-answering') result = q_and_a({ 'question': '本教程的目的是什么?', 'context': '本教程让轻松实现NLP功能' }) print(result) print(f"问题的答案:{result['answer']}")

以上代码将输出问题的答案,帮助从给定的上下文中提取信息。

以下是遮蔽词填充的代码,即填充句子中缺失的单词。需要预测的缺失单词用''表示,如下所示:

mask = pipeline('fill-mask') result = mask('深度网络在图像上的表现令人惊叹!') for x in result: print(f"预测的字符串:{x['token_str']},得分:{x['score']}")

以上代码将输出预测的字符串及其得分,帮助了解模型预测的准确性。

以下是实现实体识别(NER)的代码。实体识别涉及从给定句子中提取实体。例如,'Adam'将被提取为'name','19'将被提取为'number'。

ner = pipeline('ner') result = ner('Analytics Vidhya是印度的一家公司')

以上代码将输出句子中的实体识别结果,帮助了解句子中包含的实体类型。

  • Google Colaboratory的,可以直接运行代码。
  • 可以在中观看本教程中展示的几乎所有功能,由'MLNerdie Delhi'制作。
  • 可以在上查看所有提供的模型,并尝试使用它们。
  • transformers库的。
沪ICP备2024098111号-1
上海秋旦网络科技中心:上海市奉贤区金大公路8218号1幢 联系电话:17898875485