소개

이미지 분할은 시각적 데이터를 이해하고 분석하는 데 중요한 역할을 하며, 정규화 컷(NCut)은 그래프 기반 분할에 널리 사용되는 방법입니다. 이 기사에서는 슈퍼픽셀을 사용하여 분할 품질을 향상시키는 데 중점을 두고 Microsoft Research의 데이터 세트를 사용하여 Python에서 감독되지 않은 이미지 분할을 위해 NCut을 적용하는 방법을 살펴보겠습니다.
데이터세트 개요
이 작업에 사용되는 데이터 세트는 MSRC 개체 범주 이미지 데이터베이스 링크에서 다운로드할 수 있습니다. 이 데이터세트에는 원본 이미지와 의미론적 분할이 포함되어 있습니다("_GT"로 끝나는 이미지 파일로 표시됨). 이러한 이미지는 주제별 하위 집합으로 그룹화됩니다. 여기서 파일 이름의 첫 번째 숫자는 클래스 하위 집합을 나타냅니다. 이 데이터 세트는 분할 작업을 실험하는 데 적합합니다.

문제 설명

NCut 알고리즘을 사용하여 데이터 세트의 이미지에 대해 이미지 분할을 수행합니다. 픽셀 수준에서의 분할은 계산 비용이 많이 들고 종종 노이즈가 발생합니다. 이를 극복하기 위해 SLIC(Simple Linear Iterative Clustering)을 사용하여 유사한 픽셀을 그룹화하고 문제 크기를 줄이는 슈퍼픽셀을 생성합니다. 세분화의 정확성을 평가하기 위해 다양한 측정항목(예: Intersection over Union, SSIM, Rand Index)을 사용할 수 있습니다.

구현

1. 필수 라이브러리 설치
이미지 처리에는 skimage를, 수치 계산에는 numpy를, 시각화에는 matplotlib를 사용합니다.

pip install numpy matplotlib
pip install scikit-image==0.24.0
**2. Load and Preprocess the Dataset**

데이터 세트를 다운로드하고 추출한 후 이미지와 지상 진실 분할을 로드합니다.

wget http://download.microsoft.com/download/A/1/1/A116CD80-5B79-407E-B5CE-3D5C6ED8B0D5/msrc_objcategimagedatabase_v1.zip -O msrc_objcategimagedatabase_v1.zip
unzip msrc_objcategimagedatabase_v1.zip
rm msrc_objcategimagedatabase_v1.zip

이제 코딩을 시작할 준비가 되었습니다.

from skimage import io, segmentation, color, measure
from skimage import graph
import numpy as np
import matplotlib.pyplot as plt

# Load the image and its ground truth
image = io.imread('/content/MSRC_ObjCategImageDatabase_v1/1_16_s.bmp')
ground_truth = io.imread('/content/MSRC_ObjCategImageDatabase_v1/1_16_s_GT.bmp')

# show images side by side
fig, ax = plt.subplots(1, 2, figsize=(10, 5))
ax[0].imshow(image)
ax[0].set_title('Image')
ax[1].imshow(ground_truth)
ax[1].set_title('Ground Truth')
plt.show()

3. SLIC을 사용하여 슈퍼픽셀을 생성하고 지역 인접 그래프 생성

NCut을 적용하기 전에 SLIC 알고리즘을 사용하여 슈퍼픽셀을 계산합니다. 생성된 슈퍼픽셀을 사용하여 평균 색상 유사성을 기반으로 영역 인접 그래프(RAG)를 구성합니다.

from skimage.util import img_as_ubyte, img_as_float, img_as_uint, img_as_float64

compactness=30 
n_segments=100 
labels = segmentation.slic(image, compactness=compactness, n_segments=n_segments, enforce_connectivity=True)
image_with_boundaries = segmentation.mark_boundaries(image, labels, color=(0, 0, 0))
image_with_boundaries = img_as_ubyte(image_with_boundaries)
pixel_labels = color.label2rgb(labels, image_with_boundaries, kind='avg', bg_label=0

컴팩트함은 슈퍼픽셀을 형성할 때 색상 유사성과 픽셀의 공간적 근접성 사이의 균형을 제어합니다. 이는 슈퍼픽셀을 컴팩트하게 유지(공간적 측면에서 더 가깝게)하는 것과 색상별로 보다 균일하게 그룹화하는 것을 얼마나 강조하는지를 결정합니다.
값이 높을수록 압축률 값이 높을수록 알고리즘은 색상 유사성에 덜 주의를 기울이면서 공간적으로 조밀하고 크기가 균일한 슈퍼픽셀을 만드는 데 우선 순위를 두게 됩니다. 이로 인해 슈퍼픽셀이 가장자리나 색상 그라데이션에 덜 민감해질 수 있습니다.
낮은 값: 소형화 값이 낮을수록 색상 차이를 더 정확하게 반영하기 위해 슈퍼픽셀의 공간 크기가 더 다양해집니다. 이로 인해 일반적으로 이미지에 있는 객체의 경계를 더 가깝게 따르는 슈퍼픽셀이 생성됩니다.

n_segments는 SLIC 알고리즘이 이미지에서 생성하려고 시도하는 슈퍼픽셀(또는 세그먼트) 수를 제어합니다. 기본적으로 분할의 해상도를 설정합니다.
값이 높을수록: n_segments 값이 높을수록 더 많은 슈퍼픽셀이 생성됩니다. 즉, 각 슈퍼픽셀이 더 작아지고 분할이 더 세밀해집니다. 이는 이미지에 복잡한 질감이나 작은 개체가 있을 때 유용할 수 있습니다.
낮은 값: n_segments 값이 낮을수록 더 적은 수의 슈퍼픽셀이 생성됩니다. 이는 더 큰 영역을 단일 슈퍼픽셀로 그룹화하여 이미지를 대략적으로 분할하려는 경우에 유용합니다.

4. 정규화된 컷(NCut) 적용 및 결과 시각화

# using the labels found with the superpixeled image
# compute the Region Adjacency Graph using mean colors
g = graph.rag_mean_color(image, labels, mode='similarity')

# perform Normalized Graph cut on the Region Adjacency Graph
labels2 = graph.cut_normalized(labels, g)
segmented_image = color.label2rgb(labels2, image, kind='avg')
f, axarr = plt.subplots(nrows=1, ncols=4, figsize=(25, 20))

axarr[0].imshow(image)
axarr[0].set_title("Original")

#plot boundaries
axarr[1].imshow(image_with_boundaries)
axarr[1].set_title("Superpixels Boundaries")

#plot labels
axarr[2].imshow(pixel_labels)
axarr[2].set_title('Superpixel Labels')

#compute segmentation
axarr[3].imshow(segmented_image)
axarr[3].set_title('Segmented image (normalized cut)')

5. 평가 지표
비지도 분할의 주요 과제는 Ncut이 이미지의 정확한 클래스 수를 알지 못한다는 것입니다. Ncut에서 찾은 세그먼트 수는 실제 지상 진실 영역 수를 초과할 수 있습니다. 따라서 세분화 품질을 평가하려면 강력한 측정항목이 필요합니다.

Intersection over Union(IoU)은 특히 컴퓨터 비전에서 분할 작업을 평가하는 데 널리 사용되는 측정항목입니다. 예측된 분할 영역과 실제 영역 간의 중첩을 측정합니다. 구체적으로 IoU는 예측된 분할과 Ground Truth 간의 중첩 영역과 합집합 영역의 비율을 계산합니다.

구조적 유사성 지수(SSIM)는 휘도, 대비, 구조 측면에서 두 이미지를 비교하여 이미지의 인지된 품질을 평가하는 데 사용되는 측정항목입니다.

이러한 측정항목을 적용하려면 예측과 실제 이미지의 라벨이 동일해야 합니다. 라벨을 계산하기 위해 지상에서 마스크를 계산하고 예측 시 이미지에서 발견된 각 색상에 ID를 할당합니다
그러나 Ncut을 사용한 분할은 실제보다 더 많은 영역을 찾을 수 있으므로 정확도가 낮아집니다.

def compute_mask(image):
  color_dict = {}

  # Get the shape of the image
  height,width,_ = image.shape

  # Create an empty array for labels
  labels = np.zeros((height,width),dtype=int)
  id=0
  # Loop over each pixel
  for i in range(height):
      for j in range(width):
          # Get the color of the pixel
          color = tuple(image[i,j])
          # Check if it is in the dictionary
          if color in color_dict:
              # Assign the label from the dictionary
              labels[i,j] = color_dict[color]
          else:
              color_dict[color]=id
              labels[i,j] = id
              id =1

  return(labels)
def show_img(prediction, groundtruth):
  f, axarr = plt.subplots(nrows=1, ncols=2, figsize=(15, 10))

  axarr[0].imshow(groundtruth)
  axarr[0].set_title("groundtruth")
  axarr[1].imshow(prediction)
  axarr[1].set_title(f"prediction")
prediction_mask = compute_mask(segmented_image)
groundtruth_mask = compute_mask(ground_truth)

#usign the original image as baseline to convert from labels to color
prediction_img = color.label2rgb(prediction_mask, image, kind='avg', bg_label=0)
groundtruth_img = color.label2rgb(groundtruth_mask, image, kind='avg', bg_label=0)

show_img(prediction_img, groundtruth_img)

이제 정확도 점수를 계산합니다.

from sklearn.metrics import jaccard_score
from skimage.metrics import structural_similarity as ssim

ssim_score = ssim(prediction_img, groundtruth_img, channel_axis=2)
print(f"SSIM SCORE: {ssim_score}")

jac = jaccard_score(y_true=np.asarray(groundtruth_mask).flatten(),
                        y_pred=np.asarray(prediction_mask).flatten(),
                        average = None)

# compute mean IoU score across all classes
mean_iou = np.mean(jac)
print(f"Mean IoU: {mean_iou}")

결론

정규화된 컷은 감독되지 않은 이미지 분할을 위한 강력한 방법이지만 과도한 분할 및 매개변수 조정과 같은 문제가 있습니다. NCut은 슈퍼픽셀을 통합하고 적절한 측정항목을 사용하여 성능을 평가함으로써 복잡한 이미지를 효과적으로 분할할 수 있습니다. IoU 및 Rand Index 지표는 분할 품질에 대한 의미 있는 통찰력을 제공하지만 다중 클래스 시나리오를 효과적으로 처리하려면 추가 개선이 필요합니다.
마지막으로 여기 내 노트에서 전체 예제를 볼 수 있습니다.