在计算机视觉领域，物体检测是一项关键任务，它要求模型能够从背景中区分出前景物体，并预测图像中物体的位置和类别。当前的深度学习方法通常将物体检测任务视为分类问题、回归问题或两者的结合来解决。例如，在RCNN算法中，首先从输入图像中识别出多个感兴趣区域，然后将这些区域分类为物体或背景，最后使用回归模型为识别出的物体生成边界框。而YOLO（You Only Look Once）框架则以不同的方式处理物体检测，它一次性处理整个图像，并预测这些框的边界框坐标和类别概率。
DETR的整体架构相对容易理解。它包含三个主要组成部分：CNN骨干网络、编码器-解码器变换器和一个简单的前馈网络。CNN骨干网络从输入图像生成特征图，然后将CNN骨干网络的输出转换为一维特征图，作为变换器编码器的输入。编码器的输出是N个固定长度的嵌入向量，其中N是模型假设的图像中物体的数量。变换器解码器使用自注意力和编码器-解码器注意力机制将这些嵌入向量解码为边界框坐标。最后，前馈神经网络预测边界框的归一化中心坐标、高度和宽度，线性层使用softmax函数预测类别标签。