在人工智能应用的浪潮中，向量数据库作为存储和管理AI模型嵌入向量的重要工具，扮演着越来越关键的角色。ChromaDB就是这样一个开源的向量数据库，它专门设计用于存储AI模型如GPT-3.5、GPT-4或其他OS模型的嵌入向量，使得在语义搜索等应用中使用这些模型变得更加简单。本文将深入探讨ChromaDB的工作原理，并提供实际代码示例，帮助开发者更好地理解和使用这一工具。
ChromaDB是一个为开发和构建大型语言模型应用而设计的开源向量数据库。它简化了存储知识、技能和事实的过程，使得这些信息可以被用于LLM应用。ChromaDB提供了存储嵌入向量及其元数据的功能，并且能够嵌入文档和查询，以及搜索嵌入向量。ChromaDB的使用和设置非常简单，可以与任何LLM驱动的应用一起使用，是一个开发者友好的工具。
# 在Python环境中安装ChromaDB
pip install chromadb
# 在JS环境中安装ChromaDB
npm install --save chromadb # yarn add chromadb
安装库之后，将在接下来的部分中学习ChromaDB的各种功能。
# 从pets文件夹导入文件并存储在VectorDB中
import os
def read_files_from_folder(folder_path):
file_data = []
for file_name in os.listdir(folder_path):
if file_name.endswith(".txt"):
with open(os.path.join(folder_path, file_name), 'r') as file:
content = file.read()
file_data.append({"file_name": file_name, "content": content})
return file_data
folder_path = "/content/pets"
file_data = read_files_from_folder(folder_path)
# 从file_data中获取数据并创建ChromaDB集合
documents = []
metadatas = []
ids = []
for index, data in enumerate(file_data):
documents.append(data['content'])
metadatas.append({'source': data['file_name']})
ids.append(str(index + 1))
# 创建宠物文件的集合
pet_collection = client.create_collection("pet_collection")
# 将文件添加到ChromaDB集合中
pet_collection.add(
documents=documents,
metadatas=metadatas,
ids=ids
)
# 查询数据库以从向量化数据中获得答案
results = pet_collection.query(
query_texts=["宠物的营养需求是什么？"],
n_results=1
)
results