오늘(2022/6/19)부터 미국의 뉴올리언스에서 개최되고 있는 CVPR2022 (2022/6/19-24)에서, 세계 최첨단의 이상 검출 수법 「PatchCore」가 발표되었습니다!
CVPR은 컴퓨터 비전 분야의 최우수 컨퍼런스로, 이미지 기반 AI 연구의 가장 어려운 국제 회의 중 하나입니다. 덧붙여서, 작년(CVPR2021)의 채택율은 23% .
PatchCore 는 외관 검사(이미지 이상 감지) 작업으로 유명한 데이터 세트 'MVTecAD'로 SOTA(State-of-the-Art)를 달성하고 있습니다.
이 기사에서는, 세계 최첨단의 화상 이상 검출 AI가 어떠한 수법인가, 가능한 한 간단하게 알기 쉽게 논문을 해설하고 싶습니다.
논문 해설
제목/저자
Towards Total Recall in Industrial Anomaly Detection
Karsten Roth, Latha Pemula,Joaquin Zepeda, Bernhard Scholkopf, Thomas Brox, Peter Gehler
추상
- 외관 검사에서 결함 부품을 자동으로 찾는 것은 대규모 산업 생산에서 매우 중요합니다.
- 다양한 패턴의 결함 부품의 이미지(비정상 이미지)를 수집하기가 어렵기 때문에 이 기술은 결함이 없는 이미지(정상 이미지)만 학습에 사용합니다.
- 각 검사 대상 부품마다 개별적으로 솔루션을 구축하는 것이 아니라, 많은 다른 태스크로 범용적으로 자동으로 모델을 잘 기능시키는 것을 목적으로 하고 있습니다.
- 최상의 성능을 발휘하는 접근 방식은 ImageNet 모델의 임베디드 및 이상치 검출 모델을 결합한 것입니다.
- 이 논문에서는 이 접근법을 확장하고 정상 이미지의 패치 특징량의 메모리 뱅크를 사용하는 방법 "PatchCore"를 제안한다.
- MVTecAD 데이터 세트의 경우 PatchCore는 비정상 검출 AUROC 점수로 SOTA를 달성했습니다.
- 이 기술의 코드: https://github.com/amazon-research/patchcore-inspection
PatchCore 기법의 개요도(논문에서 인용)
Method
PatchCore 방법은 다음 세 가지로 구성되어 있습니다.
- Locally aware patch features: 메모리 뱅크에 집계된 패치 특징량.
- Coreset-reduced patch-feature memory bank: 효율화를 위한 코어 세트 삭감 방법.
- Anomaly Detection with PatchCore: 탐지 및 위치 지정을 위한 알고리즘.
1. Locally aware patch features
- 학습할 때 사용하는 데이터는 정상 이미지뿐입니다.
- PatchCore는 ImageNet을 학습한 ResNet50과 같은 학습된 모델을 사용하여 특징량을 추출합니다. (심층 학습 모델의 훈련은 실시하지 않습니다.)
- 모델의 최종층의 특징량이 아니라 중간층의 국소적인 특징량을 이용하고 있습니다.
- 구체적으로, 이미지의 국부적 인 영역 (패치)에서 두 개의 인접한 블록 (중간 레이어)의 특징 량 세트입니다.
2. Coreset-reduced patchfeature memory bank
- 학습 이미지 수가 증가하면 패치 특징량을 기억하는 메모리 뱅크의 데이터 크기와 계산 시간이 매우 커집니다.
- 이 문제를 해결하려면 코어 세트 샘플링 메커니즘을 사용하여 성능을 유지하면서 메모리 뱅크의 크기를 줄입니다.
- 구체적으로는, 대량의 패치 특징량 중에서, 보다 엄밀하고 신속하게 근사할 수 있는 패치 특징량을 최근 방법에 의해 선택해, 그 이외의 패치 특징량을 파기합니다.
3. Anomaly Detection with PatchCore
- 테스트 시에는 테스트 화상의 패치 특징량을 추출하고, 메모리 뱅크의 패치 특징량과의 최대 거리 스코어에 의해 화상 전체의 이상 스코어를 산출합니다.
- 세그멘테이션 맵의 경우 각 패치 피쳐의 비정상적인 점수를 이미지의 원래 위치로 재조정하여 비정상적인 점수의 세분화 맵을 만듭니다.
이 기법의 굉장한 곳
내가 이 방법의 굉장하다고 생각한 점은 아래의 두 가지입니다.
- 심층 학습 모델 자체의 훈련이 필요 없음
- 중간층의 특징 량을 이용하여 위치 정보를 유지
1. 심층 학습 모델 자체의 훈련이 불필요
PatchCore에서는 학습된 심층 학습 모델을 그대로 특징량 추출기로 이용하고 있습니다.
따라서 모델을 교육하기 위해 많은 양의 학습 데이터나 시간이 필요하지 않습니다.
개별적으로 모델을 만들지 않고 하나의 모델만으로 범용적으로 이용할 수 있는 것은, 실운용에서도 편리한 수법이라고 생각합니다.
2. 중간층의 특징량을 이용하여 위치 정보를 유지
분류 태스크의 심층 학습 모델의 최종층에서는 화상 전체의 특징량이 출력되기 때문에, 이상 위치의 위치 정보가 없어져 버립니다.
그러나 PatchCore에서는 최종층을 사용하지 않고 중간층의 특징량을 세세한 패치로 분할하여 이용함으로써 위치 정보를 유지하고 있습니다.
이를 통해 ResNet50과 같은 분류 작업의 심층 학습 모델을 사용하고 있음에도 불구하고 비정상 영역의 세분화 맵을 만들 수 있습니다.
소감
아직 논문을 읽었을 뿐이므로, 실제의 외관 검사의 현장에서의 퍼포먼스는 모릅니다만, 매우 실용성이 높은 것 같은 방법이라고 하는 인상입니다.
기회가 있으면 시험해보고 다른 방법과 비교해보고 싶습니다.