物件偵測模型的評估指標用於衡量模型在定位和分類圖像中物體的性能。與單純的分類任務不同，物件偵測需要同時評估模型預測的邊界框是否準確以及框內的物體類別是否正確。
以下是一些主要的物件偵測評估指標：1. 交並比 (Intersection over Union, IoU):
IoU 是衡量模型預測的邊界框 (Bounding Box) 與真實標註的邊界框之間重疊程度的指標。它定義為兩個邊界框交集區域的面積除以它們並集區域的面積。
IoU = Area(Predicted 框 ∩ Ground Truth 框) / Area(Predicted 框 ∪ Ground Truth 框)
IoU 的值介於 0 到 1 之間，值越高表示預測框與真實框的重疊程度越高，定位越準確。通常會設定一個 IoU 的閾值（例如 0.5、0.75）來判斷一個預測是否為真陽性。
2. 精確度 (Precision) 和 召回率 (Recall):
與分類任務類似，物件偵測也使用精確度和召回率來評估模型的性能。但這裡的定義稍有不同，需要結合 IoU 的閾值來判斷預測結果的真假。
- 真陽性 (TP): 模型預測的邊界框與真實標註的邊界框的 IoU 大於設定的閾值，並且預測的類別與真實類別一致。
- 假陽性 (FP): 模型預測的邊界框與任何真實標註的邊界框的 IoU 都小於閾值，或者預測的類別不正確。
- 假負性 (FN): 圖像中存在真實標註的物體，但模型沒有檢測到。
基於這些定義，我們可以計算精確度和召回率：
Precision = TP / (TP + FP) Recall = TP / (TP + FN)
3. 平均精確度 (Average Precision, AP):
AP 是一種綜合考慮了模型在不同召回率水平下的精確度的指標。對於每個類別，AP 的計算過程如下：
- 將模型對該類別的所有預測按照置信度降序排列。
- 計算在不同置信度閾值下的精確度和召回率。
- 繪製精確度-召回率曲線（PR 曲線）。
- AP 是 PR 曲線下的面積。有多種計算 AP 的方法，例如在特定的召回率點（例如 0.1, 0.2, ..., 1.0）上取精確度的平均值，或者使用更精細的插值方法。
4. 平均精度均值 (Mean Average Precision, mAP):
mAP 是物件偵測模型最常用的評估指標。它是指模型在所有類別上的平均精確度的平均值。
mAP = (AP_class1 + AP_class2 + ... + AP_classN) / N
其中 N 是類別的總數。
通常會在 mAP 後面加上 IoU 的閾值來明確評估標準，例如 [email protected] 表示在 IoU 閾值為 0.5 時計算得到的 mAP，mAP@[0.5:0.95] 表示在 IoU 閾值從 0.5 到 0.95，以 0.05 為步長計算得到的 AP 的平均值再求所有類別的平均。
5. COCO 評估指標:
COCO (Common Objects in Context) 數據集是一個廣泛使用的物件偵測、分割和字幕數據集，它定義了一套更詳細的評估指標，包括不同 IoU 閾值下的 mAP：
- mAP@[.5:.95]: 在 IoU 從 0.5 到 0.95，步長為 0.05 的多個閾值上的平均 AP。這是主要的評估指標。
- [email protected]: 在 IoU 閾值為 0.5 時的 AP 平均值。
- [email protected]: 在 IoU 閾值為 0.75 時的 AP 平均值。
- AP for small, medium, large objects: 分別計算小、中、大尺寸物體的 AP。
這些更詳細的指標可以更全面地評估模型在不同情況下的性能。
總結:
物件偵測的評估需要同時考慮定位的準確性（通過 IoU）和分類的正確性（通過精確度和召回率）。mAP 是一個綜合性的指標，能夠很好地反映模型在整體上的性能。理解這些評估指標對於比較不同的物件偵測模型和改進模型性能至關重要。
