在本指南中，将介绍如何利用计算机视觉技术来检测图像中的太阳能板，并判断它们是位于屋顶还是地面上。将使用Roboflow工作流来构建这一应用，它是一个低代码计算机视觉应用构建器，允许在Web界面中构建复杂的计算机视觉应用，并且可以部署到Roboflow云、边缘设备如NVIDIA Jetson，或任何云服务提供商如GCP或AWS上。
Roboflow工作流提供了一系列的预构建功能，可以在项目中使用。可以在工作流Web编辑器中测试管道，这允许在不编写任何代码的情况下迭代开发逻辑。
首先，需要检测感兴趣的对象。在本指南中，将使用专为航拍图像优化的太阳能板检测模型来检测太阳能板。如果还没有对象检测模型，可以在Roboflow上训练一个。
# 检测模型配置示例
detection_model = {
"model_name": "aerial_solar_panel_detection",
"offset": 10 # 根据需要调整偏移量
}
检测到对象后，需要通过固定量偏移它们，以便获取每个边界框周围环境的上下文。这对于确定每个太阳能板是否位于地面或屋顶上至关重要。
将每个裁剪的响应发送到GPT-4o，使用大型多模态模型(LMM)块。要使用此块，需要一个OpenAI API密钥。
# LMM配置示例
classification_model = {
"model_name": "gpt-4",
"prompt": "太阳能板是在房子上还是地面上？返回一个词的回答。"
}
多模态模型非常适合零样本分类，即当想要对一个对象进行分类，但还没有针对特定任务的微调模型时。
要测试工作流，点击页面顶部的“运行预览”。首先，将图像拖放到图像输入字段中。点击“运行预览”来运行工作流。工作流将运行并提供两个输出：一个是配置的工作流返回的所有数据的JSON视图，以及一个使用包含在工作流中的边界框可视化块绘制的模型预测的可视化。
工作流可以在Roboflow云中部署，也可以在如NVIDIA Jetson或Raspberry Pi这样的边缘设备上部署。要部署工作流，请点击工作流构建器中的“部署工作流”。然后，可以选择想要部署工作流的方式。
通过使用Roboflow工作流，可以构建检测对象然后对对象区域进行分类的应用。在本指南中，使用Roboflow工作流构建了一个工具，用于在图像中识别太阳能板，对每个面板的区域应用填充，然后确定太阳能板周围的区域是在屋顶上还是地面上。