GPT Checkup是一个开源的自动化分析工具，旨在评估GPT-4的视觉能力。该工具每天对GPT-4进行一系列标准测试，包括文档光学字符识别（OCR）、物体计数、物体检测等常见视觉任务。通过这些测试，能够了解GPT-4在不同任务上的表现，并跟踪其性能随时间的变化。
GPT Checkup的创建初衷是提供一个持续的性能监控平台，帮助开发者和研究人员了解GPT-4在多模态任务上的表现。与传统的一次性测试不同，GPT Checkup能够提供长期的性能数据，这对于评估模型在实际应用中的稳定性和可靠性至关重要。
目前，GPT Checkup已经能够分析GPT-4在以下领域的能力：物体计数、手写OCR、物体检测、图形理解、颜色识别、标注质量保证、物体测量、零样本分类、文档OCR、结构化数据OCR和数学OCR。此外，还计算了所有这些请求的平均响应时间，并在网站上进行了展示。
GPT Checkup通过一系列标准提示和图像，每天向GPT-4的API发送请求。有一个预期的结果，用于与API的响应进行比较。例如，在OCR测试中，希望GPT-4的输出与手动转录的结果一致；在物体计数测试中，将GPT-4的响应与已知的正确答案进行比较。
GPT Checkup的测试结果会在网页上展示，并存档到GitHub仓库中。可以通过网站查看GPT在过去一周内每天在标准测试上的表现，也可以通过GitHub上存档的数据进行更深入的分析。
GPT Checkup的开源特性意味着可以在GitHub上找到测试数据和运行测试的代码。欢迎为GPT Checkup贡献自己的测试用例，以覆盖尚未评估的功能或添加独特的测试，从而为网站增加价值。例如，可以添加评估GPT空间感知能力的测试，展示GPT在一组标记提示下的表现，或者检查GPT是否能够同时识别一个物体的多个属性（例如，流行汽车的颜色、品牌和型号）。
GPT Checkup是一个开源项目，鼓励社区成员参与进来，共同完善这个工具。可以通过以下步骤为GPT Checkup贡献自己的测试用例：
特别欢迎那些评估行业用例的测试，因为这些测试可以帮助更好地理解GPT-4在实际应用中的表现。Roboflow将承担每天运行测试的API成本。
虽然GPT Checkup提供了一个有价值的性能监控平台，但它也有一些局限性。首先，该网站只报告已经运行的测试结果。鼓励将GPT Checkup作为探索多模态模型的多种方式之一。自动化测试无法完全替代使用自己的数据进行的实际操作体验。