[JOV-2007] Measuring visual clutter(논문리뷰)

 

오늘 요약해볼 논문은 최근 읽은

Ruth Rosenholtz, Yuanzhen Li, Lisa Nakano, "Measuring visual clutter", Journal of Vision August 2007, Vol.7, 17. 입니다.

 

[JOV-2007]Measuring visual clutter https://doi.org/10.1167/7.2.17

Measuring visual clutter | JOV | ARVO Journals

 

 

*모든 이미지 자료는 해당 논문에서 가져왔습니다.

 

---

 

Visual Clutter란?

 

 Visual Clutter는 복잡한 이미지에서의 Visual research Difficulty에 대한 이해를 돕기 위해 사용되는 일종의 ‘시각 혼잡도’ 지표이다. 이 Paper에서는 Visual Clutter를, 단순히 item(object)의 수가 아닌, item의 추가가 search performance의 저하를 초래하는 정도라고 정의하고 있다. (예외적으로 item이 많을 때 search performance가 향상되는 경우가 있다. item들에 pattern이 있는 경우에 그러하다.)

 

 

이 논문에서 제안하는 세 가지 측정법을 간단히 요약하자면 다음과 같다.

 

"Feature Congestion”: Statistical saliency model(새로운 item을 추가한다고 가정했을 때 눈에 띌 수 있는 정도)을 이용해 color, orientation에 대한 각각의 clutter을 구하고 여기에 contrast clutter(단순히 variance)를 따로 구해 합한다.

"Subband Entropy": Shannon entropy(이미지를 encoding하기 어려운 정도)를 이용해 luminance와 chrominance 채널에서 각각의 clutter를 구해 합한다.

"Edge Density": 이미지에 담긴 object들의 edge를 측정해 edge pixels가 전체 pixels에서 차지하는 percentage를 구한다.

 

하나씩 자세히 알아보자.

 

---

 

Feature Congestion

 

 Feature Congestion 측정방식에 대해 이해하기 위해, 먼저 The statistical saliency model에 대해 이해하여야 한다.

‘The Statistical Saliency Model’은 다음과 같다.

 여기서 T는 local distribution of feature vectors에 대한 이상치를 뜻한다. μd는 T의 mean, ∑d는 T들의 covariance이다. 이렇게 계산된 delta 값은 saliency를 뜻한다.

 Saliency model은 Mean과 Covariance에 의해 왼쪽과 같은 ellipsoids로 표현될 수 있다. (가장 안쪽 타원은 mean feature vector와 standard deviation = 1만큼 떨어져 있다는 것을 의미하고, 그 다음은 2, 3, 4만큼 떨어져 있는 타원 그림이다.) 이 ellipsoid와 target vector가 얼마나 가까운지를 통해 target searching이 얼마나 어려운지 판단할 수 있다. 그림에서 검은 동그라미가 흰 동그라미보다 타원으로부터 더 가까이 있으므로, 비교적 searching이 어려울 것이란 것을 알 수 있다.

 

 따라서 saliency 타원체의 volume이 크다면 새로운 요소를 추가해도 눈에 띄지 않을 확률이 커진다는 뜻이 되므로, 타원체의 volume이 커지면 clutter가 커진다고 생각할 수 있다는 데에서 clutter 측정법을 착안했다.

 

 이들은 이러한 방식을 사용해 color, orientation, luminance contrast을 고려하여 clutter을 측정하는 법을 새롭게 고안하고, 이를 Feature Congestion이라고 하였다. 그 방식은 다음과 같다.

 

1) 이미지의 여러 part(local image)에 대해 feature마다, scale마다 (co)variance를 구한다.

 CIELab color space에 기반해, Gaussian pyramid에 따라 이미지를 3개의 scale로 나눈다. 이렇게 나뉜 각 scale마다 features(color, orientation, contrast)별로 vector를 찾는다. 이때 Color은 Gaussian filter로 pooling해 local mean color를 추출한 뒤 이 값의 Covariance ellipsoid volume을 구하고, Orientation은 scale마다 two-vector를 얻어내서 구한 oriented opponent energy 값의 Covariance ellipsoid volume을 구한다. Luminance contrast는 center-surround filter로 luminance band를 filtering한 결과를 제곱하여 variance를 구한다.

 

2) scale에 따라 clutter를 합쳐 feature type별로 clutter를 구한다.

 3개의 scale 중 한 가지 scale에서만 cluttered 되어도 그 feature에서 cluttered라고 봐야 한다는 가정 하에, 각각의 pixel에서 각 feature마다 scale에 따른 clutter 값 중 최대값을 그 pixel에서 해당 feature의 clutter 값으로 취한다.

 

3) pixel 마다 feature type 별 clutter를 하나로 합친다.

Color 값에는 세제곱근을, orient 값에는 제곱근을 취하여 contrast 값과의 scale을 맞춰주고, 각각 정규화 한 다음, pixel마다 세 가지 feature clutter의 linear sum을 구한다.

 

4) 전체 이미지에 대해 하나의 clutter 값을 구한다.

 pixel clutter의 평균을 구해 그 값을 이미지 전체의 clutter (measured by Feature Congestion) 값으로 취한다.

 

 

 

 

Subband Entropy

 

 Clutter를 ‘이미지가 얼마나 organized 되어있는지’, 나아가 ‘encoding을 위해 얼만큼의 노력(bits)이 필요한지’로 판단할 수도 있다. clutter가 낮으면 이미지의 중복성이 크다는 것이고, 이는 더 효율적으로 encoding할 수 있다는 뜻이 된다. 이를 통해 clutter를 측정하는 두번째 방법으로 subband entropy를 이용한 측정을 제안한다.

 

 이 측정법은 ‘subband(wavelet) image coding을 하기 위해 요구되는 어려움의 정도가 clutter를 결정한다.’고 가정하고 이를 이용해 clutter를 수치화 하는 방식이다. 많은 image encoder들이 entropy encoding을 이용해 이미지를 변환한다는 데에서 착안하여, subband entropy measure에서는 이미지에서 특정 subband 마다 Shannon entropy를 구해 이용한다.

 Shannon entropy 공식은 다음과 같다.

 여기서 p는 the probability distribution of coefficients in each subband이다. 이 값은 각 subband 에서의 coefficient를 binning하여 측정한다. 이때 더 세밀한 interval이 요구된다는 것은 encoding이 더 어려워진다는 의미가 된다. 구체적인 clutter 측정 방식은 다음과 같다.

 

 

1) CIELab을 이용해 이미지를 convert하여 이미지의 RGB 값을 얻어낸다.

 

2) steerable pyramid를 이용해 이미지 RGB 정보를 luminance(L)(휘도)와 chrominance(a, b)(색차) 정보를 갖는 wavelet subband로 분해한다.

 

3) Shannon entropy 공식을 이용해 각각의 subband에서 wavelet coefficient를 측정한다.

 

4) Luminance와 Chrominance channel 각각에서 subband entropies를 합하여 평균을 구해 각 채널에서의 subband entropy를 구한다.

 

5) 각 채널의 subband entropies를 scaling 하여 합한다.

 

 

 

 

Edge Density

 

 선행 연구에 따르면, 사람이 ‘복잡함’을 느끼게 하는 요인에는 object의 수, detail, color 등의 다양한 요인들 외에도 ‘openness’가 있다. 이는 ‘Edge density’라는 개념으로 측정될 수 있는데, 여기서 edge는 이미지 안의 object들의 edge를 말하고, Edge density는 전체에서 edge pixels이 차지하는 비율을 뜻한다. 이 연구에서는 Canny edge detector를 이용해 edge pixels의 density를 측정했다.

 

 

---

 

Evaluation of measures of visual clutter

 

 이렇게 3가지 방식으로 clutter를 측정할 수 있다고 할 때, 특정 상황에서 어떤 측정법이 적절한지를, Clutter가 인간의 인지 능력에 미치는 영향을 토대로 실험하였다.

 실험은 크게 3가지다. 첫번째는 ‘reaction time in visual search according to clutter’, 두번째는 ‘contrast thresholds in visual search according to clutter’, 마지막은 ‘whether color variability matters’에 관한 실험이다.

 

 

"Experiment 1: Visual search reaction time in cluttered maps"는 visual search 상황에서 clutter가 reaction time에 어떤 영향을 미치는지에 관한 실험이다. 처음에 언급했던 대로 이 paper에서는 clutter를 ‘search performance를 저하시키는 상태’로 정의하고 있으므로, 제안된 측정법으로 측정한 clutter 값이 커짐에 따라 reaction time이 커지면 clutter 측정법이 적절했다고 할 수 있다.

 

 이 실험에서는 참가자들이 지도에서 특정 target(gabor)를 찾는 작업을 수행했다. 해당 이미지에 목표 target이 present면 “f”, absent면 “j”를 누르게 했다. 버튼을 누르기까지 걸린 시간을 측정했다. Background 이미지의 종류는 clutter에 따라 19가지, target의 종류는 16가지(각기 다른 grayscale gabor), target이 나타날 수 있는 위치는 6군데에 따라 target의 존재 여부(2가지)까지 나뉘어 총 3,648 개의 이미지를 다시 304개씩 12가지로 나누어 6명의 사람에게 실험했다.

 

Clutter를 측정하는 3가지 방식에 따라 측정한 각각의 clutter와 Log(RT) 값을 비교했다.

결과적으로, 모든 측정법에 대해 clutter 값이 클수록 목표를 찾는 데에 더 많은 시간이 걸렸다.

 

 

 19가지 이미지마다 target의 종류와 location에 따른 Reaction time의 평균을 구해, target absent/present 마다 clutter에 따른 Reaction time의 로그 값을 보여주고 있다.

 Feature congestion의 경우 correlation coefficient가 target present일 때 .74, absent일 때 .76이다. Subband Entropy의 경우 target present일 때 .75, absent일 때 .75이다. Edge density의 경우 target present일 때, absent일 때 모두 .83이다. 결국 모든 측정법에 대해 유의미한 상관관계를 확인할 수 있다.

 

따라서 clutter가 증가함에 따라 reaction time이 증가하므로,

clutter에 따른 reaction time을 측정하는 상황에서는 각 측정법이 모두 적절하다고 평가했다.

 

 

 

"Experiment 2: Contrast thresholds for visual search in maps"에서는 각 참가자가 목표를 식별할 수 있는 최소한의 대비 수준을 찾기 위해 target의 대비를 점진적으로 조절하면서 실험을 수행했다.

 

 이미지는 화면에 1초동안만 보이게 하고, 화면에 나타나는 화살표가 왼쪽을 가리키는 것이었는지, 오른쪽을 가리키는 것이었는지에 따라 각각 “d”, “k” 키를 누르게 했다. 20가지 clutter을 갖는 이미지 별로 target의 종류와 location에 따른 contrast 임계점의 평균을 구해 그래프로 나타냈다. Clutter 측정법에 따른 그래프는 다음과 같다.

 

 결과적으로, clutter가 증가하면 search를 위해 필요한 contrast 임계 값이 증가했다. Clutter 측정 방법에 따라 Feature congestion > Edge density > Subband entropy 순으로 상관 관계가 더 잘 눈에 띄었다.

 

 

 

"Experiment 3: whether color variability matter?” 에서는 color variability가 clutter 측정에 어떤 영향을 미치는지 실험하였다. 우선 Edge density는 명도를 기준으로 edge를 구분하므로 color variability와는 무관한 측정법이다.

 

 Photoshop을 이용해 Map images를 각각 gray map, red map으로 만들어 original과의 clutter를비교했다. 실험은 실험1과 동일하게 Reaction time을 측정했다. 이때 target만 green, yellow orange, gray 세 종류의 gabor로 바뀌었다.

 Feature Congestion으로 측정하면 red map, gray map 보다 original이 더 cluttered하고, Subband Entropy로 측정하면 red > origin > gray 순으로 cluttered했다. 따라서 Feature Congestion 측정에 기반한 결과가 나오려면 red, gray보다 original에서 reaction time이 더 오래 걸릴 것이고, Subband Entropy 측정에 기반한 결과가 나오려면 red map에서 reaction time이 더 오래 걸릴 것이라고 prediction하였다.

 

 실제 실험 결과, target이 있든 없든 red map 보다 original map에서 reaction time이 컸다.

 이를 통해 color variability를 제한한 상태에서 clutter을 측정할 때 Feature Congestion 측정법은 적절하지만, Subband Entropy로 측정하면 적절하지 않은 값이 나올 것임을 알 수 있었다.

 

 또한 Target이 absent일 때에 대해 origin과 gray map 간의 reaction time에 차이가 거의 없었는데, 그 이유는 target 중 하나가 gray여서 배경이 gray일 때 target이 없음을 확신하기까지 시간이 오래 걸렸기 때문일 것으로 추론했다. (이를 통해 background map의 색상과 target의 색상이 어떻게 다른 지도 search performance에 영향을 미쳤을 것임을 알 수 있는데, 이 부분은 실험 조건을 어떻게 설정하는지에 따라 충분히 달라질 수 있는 값이다. 이에 따른 후행 연구가 더 필요하다고 느껴졌다.)

 

 

---

 

Conclusion and future work

 

 이 연구에서는 세 가지 clutter 측정법을 제안하고 이 측정법들이 여러 상황에서 적절한 측정법으로 쓰일 수 있는지 실험하였다. 앞서 언급된 3개의 experiment들 외에도 다른 여러 상황들에서 "Feature Congestion", "Subband Entropy", "Edge Density"가 유용한지 왼쪽의 표로 나타냈다. 결과적으로 다양한 상황에서 유용하게 쓰일 수 있는 측정법은 “Feature Congestion”이다.

 

 

---

 

랩실에서 7월 한달 간 게임 화면의 visual clutter를 측정하는 작업을 진행했는데,

그때 위 논문에서 소개된 측정방식 중 하나인 'Feature congestion' measuring을 사용했습니다.

 

배포된 매트랩 코드를 이용해 fps 게임에서 graphics을 어떻게 설정하느냐에 따라 달라지는 visual clutter를 측정했습니다.

이에 따른 분석 결과는 다음 포스트에 작성하겠습니다!