随着人工智能技术的飞速发展，其在医疗保健、工业以及更多领域中的应用日益广泛。正逐步接近一个临界点，即由人工智能生成的内容与人类创造的内容变得难以区分。自然语言处理（NLP）技术的发展使得机器与人类的交互越来越像人与人之间的交流。这为政府、企业家以及金融和健康领域的公司带来了新的机会。
为了简化机器学习（ML）任务，Intel和Red Hat正在开发新的解决方案。数据挖掘、模型部署、训练、流程自动化和数据传输都通过像Red Hat OpenShift Data Science这样的产品得到了增强。为了提高性能，Intel同时引入了新技术和加速器，包括Intel® Advanced Matrix Extensions (Intel® AMX)。
人工智能为企业提供了一种商业优势，可以在多种方式中使用。NLP可以通过高效分析大量文本数据来帮助检测欺诈。它可以进行情感分析并支持医疗保健。NLP使得人机交互更加自然。本文展示了一个简单的AI模型，用于回答有关公司的问题。使用智能助手可以增加客户便利性，通过减少响应时间和减少服务客户所需的人数，从而降低成本。
在这种情况下，目标是回答客户有关产品、价格、销售和公司本身的问题。以下示例展示了如何使用开源组件设置一个可以与客户互动的简单聊天机器人。通过一些编程和开发，它可以扩展并转变为一个完全功能的、生产就绪的应用程序，以支持业务。
为了实现这个目标，使用了BERT（Bidirectional Encoder Representations from Transformers）和开源的BERT问答Python*演示。以下示例使用Red Hat OpenShift Data Science平台，结合OpenVINO* Toolkit Operator，并使用第四代Intel® Xeon®可扩展处理器和Intel AMX提供更快的响应。
Red Hat OpenShift Data Science
Red Hat OpenShift Data Science是一个为数据科学家和智能应用程序程序员提供服务的平台，可作为自管理或托管的云平台。它提供了一个完全支持的环境，ML模型可以在这里快速开发、训练和测试，然后部署到现实世界的环境中。团队可以轻松地将ML模型部署到生产环境中的容器中——无论是在本地、公有云、数据中心还是边缘——这要归功于它们可以从Red Hat OpenShift Data Science导出到其他平台的便利性。
使用Red Hat OpenShift Data Science进行ML的好处很多。该平台包括了一系列商业可用的合作伙伴和开源工具和框架——如Jupyter Notebooks*、TensorFlow*、PyTorch和OpenVINO——供数据科学家在他们的工作流程中使用。Red Hat OpenShift Data Science提供了一个安全且可扩展的环境。
Intel® AMX
Intel AMX是一种新的内置加速器，它提高了CPU上深度学习训练和推理的性能。它加速了AI操作，并将性能提高了高达3倍。它非常适合NLP、推荐系统和图像识别等工作负载。在第四代Intel Xeon可扩展处理器上的性能可以通过Intel® oneAPI Deep Neural Network Library (oneDNN)进行微调，这是Intel® oneAPI Toolkit的一部分，并集成到TensorFlow和PyTorch AI框架以及Intel® Distribution of OpenVINO toolkit中。这些工具包可以与Red Hat OpenShift Data Science一起使用。
这个示例使用一个简单的网站描述Super Shoes!商店作为基础。零售商可以使用他们自己的网站或生成一个包含有关公司重要信息的文档。以下示例展示了如何开发一个简单的聊天机器人，可以回答问题，从而从客户的角度减少响应时间。
要开始创建聊天机器人，为Red Hat OpenShift集群准备一个镜像注册表。这个示例还需要存储来提供持久卷（例如，OpenShift Data Foundation）和Node Feature Discovery Operator来检测支持Intel AMX的CPU。内核在运行时检测Intel AMX，因此无需单独启用和配置它。检查节点的标签以验证Intel AMX是否可用：
feature.node.kubernetes.io/cpu-cpuid.AMXBF16=true
feature.node.kubernetes.io/cpu-cpuid.AMXINT8=true
feature.node.kubernetes.io/cpu-cpuid.AMXTILE=true
必须从OperatorHub安装Red Hat OpenShift Data Science和OpenVINO Toolkit Operator，可通过OpenShift容器平台Web控制台获取。默认设置就足够了，但请保持正确的安装顺序：首先是OpenShift Data Science，其次是OpenVINO Toolkit Operator。然后，请确保两个操作符都列在redhat-ods-applications项目的Installed Operators标签中，并且状态为Succeeded。
OpenVINO Toolkit Operator需要额外的配置。确保选择了redhatodsapplications项目。点击OpenVINO Toolkit Operator并选择Notebook标签。现在，使用默认设置创建一个新的笔记本。完成这些步骤后，通过转到Builds>Builds从主菜单，验证openvino-notebooks-v2022.3-1构建是否完成。
使用右上角的菜单转到Red Hat OpenShift Data Science仪表板。在Red Hat OpenShift Data Science界面中，选择Applications>Enabled标签。使用OpenVINO Toolkit v2022.3镜像启动一个Jupyter Notebook*应用程序。将容器大小更改为Large。
在启动器窗口中选择Terminal。克隆Open Model Zoo GitHub仓库，其中包含演示的源代码：
git clone --recurse-submodules https://github.com/openvinotoolkit/open_model_zoo.git
要查看所有编译指令并控制Intel AMX的使用，可以可选地设置ONEDNN_VERBOSE环境变量：
export ONEDNN_VERBOSE=1
如前所述，这个示例基于BERT问答Python演示。但是，它使用的是BERT-large而不是BERT-small。在目录open_model_zoo/demos/bert_question_answering_demo/python中，有一个models.lst文件，包含了演示支持的模型列表，可以使用以下命令下载它们：
omz_downloader --list models.lst
如所见，使用Red Hat OpenShift Data Science的一个重要优势是所有必要的工具（如上面使用的Model Downloader）和Python包都是内置的！得益于OpenVINO Toolkit Operator，可以避免漫长、繁琐且容易出错的安装组件和准备开发环境的过程。
下载模型后，准备运行第一个聊天机器人！让调用脚本：
python3 bert_question_answering_demo.py --vocab=/opt/app-root/src/open_model_zoo/demos/bert_question_answering_demo/python/intel/bert-large-uncased-whole-word-masking-squad-int8-0001/vocab.txt --model=/opt/app-root/src/open_model_zoo/demos/bert_question_answering_demo/python/intel/bert-large-uncased-whole-word-masking-squad-int8-0001/FP32-INT8/bert-large-uncased-whole-word-masking-squad-int8-0001.xml --input_names="input_ids,attention_mask,token_type_ids" --output_names="output_s,output_e" --input="https://grabuszynski.com/myshoesemporium.html" -c
零售商可以使用自己网站上的示例，而不是传递示例页面作为输入。现在，聊天机器人可以回答有关公司及其产品的问题。
如果ONEDNN_VERBOSE设置为1，应该在日志中看到avx_512_core_amx，确认正在使用Intel AMX指令：
onednn_verbose,info,cpu,isa:Intel AVX-512 with float16, Intel DL Boost and bfloat16 support and Intel AMX with bfloat16 and 8-bit integer support
可以扩展这个示例。模型可以使用模型服务器提供。提供易于使用且用户友好的界面的应用程序将是这个项目的锦上添花。