Meticulous Hyunni

[Paper Review] Improving Calibration for Long-Tailed Recognition (ICLR 2021) 논문 리뷰

Mon, 26 Apr 2021 00:00:00 +0900

✍🏻 이번 포스팅에서는 적은 이미지로 학습가능한 Improving Calibration for Long-Tailed Recognition 논문 리뷰를 꼼꼼하게 !!

Paper : Improving Calibration for Long-Tailed Recognition (arxiv 2021 /Zhisheng Zhong, Jiequan Cui, Shu Liu, Jiaya Jia)

1. Abstract

본 논문에서는 Deep Neural Networks가 Training Datasets이 심한 Class-Imbalance가 있을 경우 성능이 저하될 수 있다고 말하고 있다.

Two-stage Method를 통해 Representation Learning과 Classifier learning 성능을 향상시키긴 했지만 여전히 Miscalibration이 발생한다.

이를 해결하기 위해 본 논문에서는 2가지 방법을 제안한다.

“Motivated by the fact that predicted probability distributions of classes are highly related to the numbers of class instances, we propose label-aware smoothing to deal with different degrees of over-confidence for classes and improve classifier learning.
For dataset bias between these two stages due to different samplers, we further propose shifted batch normalization in the decoupling framework.”

2. Introduction

많이 쓰이는 Open Dataset 같은 경우에는 일반적으로 각각의 Object, Class의 Instance 수와 관련해서 인위적으로 균형을 이루고 있다.

하지만 실제 사용되는 일반적인 데이터셋은 각각의 Class의 Instance 수가 심각하게 불균형한 Long-tailed Distribution을 보여주고 있다. Long-tailed Distribution애 대해 CNN을 학습시킬 때 성능이 크게 떨어진다.

여기서 Long-tailed Distribution 이란?

쉽게 말하면 클래스가 가지고 있는 데이터 양의 차이가 큰 것을 말한다.

예를 들면 병원에서 질병이 있는 사람과 질병이 없는 사람의 데이터를 모아야 한다고 했을 때 일반적으로 질병이 있는 사람의 데이터가 질병이 없는 사람의 데이터 수에 비해 현저하게 적다.

물론 병원 데이터 뿐 아니라 현실 데이터에서는 대부분 클래스 불균형 문제를 가지고 있다.

이러한 클래스 불균형으로 인해 특정 클래스의 Instance가 너무 높고 반대로 다른 클래스의 경우는 매우 낮기 때문에 마치 긴 꼬리 모양과 같이 생긴 것을 Long-tailed Distribution이라고 말한다.

다시 논문으로 돌아오면 최근에는 Two-Stage Approach를 통해서 성능이 One-stage Method와 비교했을 때 상당히 개선되었다.

Two-Stage Approach에서
Deffered Re-sampling(DRS)과 Deffered Re-weighting(DRW)방법이 있다.

1. 일반적인 방법으로 불균형되어 있는 Dataset을 CNN Model로 학습시킨다.
1. DRS로 클래스 균형 리샘플링을 사용하여 데이터 세트에서 CNN을 조정한다.
1. DRW로 클래스에 다른 weight를 할당함으로써 CNN을 조정한다.

본 논문에서 참고한 2가지 논문과 링크는 아래에 첨부하겠습니다.

bbn: bilateral-branch network with cumulative learning for long-tailed visual recognition, CVPR 2020 Link

Decoupling Representation and Classifier for Long-Tailed Recognition, ICLR 2020 Link

첫 번째 논문에서는 Bilateral-Branch Network(BBN-Model)을 제안한다.
이 모델은 Representation learning과 classifier learning을 따로 수행하는 형태의 학습 방법을 의미한다.

위 모델은 2가지의 branch로 이루어져 있다.

1. Coventional learning branch

Representation learning
원래 Long-tail distribution pattern을 그대로 학습하는 용도로 사용된다.
Typical uniform sampler 사용

이 때 Typical uniform sampler는 클래스 불균형이 있는 Dataset을 그대로 sampling 하는 것을 의미한다. 따라서 이 때 학습할 때 data가 많은 class, 즉 Head 쪽 Data가 학습이 더 많이 진행되게 되고 결과적으로 feature의 학습인 representation learning이 더 잘 되게 만든다.

2. Re-balancing branch

Classifier learning
Coventional learning branch와 달리 Tail 쪽 Data를 조금 더 많이 sampling한다.
Tail class에 대한 classification accuracy를 상승시키기 위한 것이다.

이 논문으로부터 얻을 수 있는 정보는 Original Data로 부터 Feature learning의 장점을 얻기 위해

Conventional branch를 통해서 Original distribution에 대해 학습을 진행한다.

이전 실험에서 Representation learning을 한 이후에 Classifier learning을 RW, RS 형태로 진행한 것처럼 Alpha 값을 조정하여 처음에는 uniform sampler로부터 학습을 시작하고,
이것으로부터 feature가 잘 학습된 Backbone 네트워크로부터 RS/RW 효과를 내는 Re-balancing branch로 부터 학습을 늘린다.

최종적으로
Conventional learning branch는 Majority Class에 preference를 더 가지도록,
Re-balancing branch는 Minority Class에 preference를 더 가지도록 학습이 된다.

따라서 Mix-up을 했을 때, 즉 두 가지 결과를 합쳤을 때 이런 Weight가 Balance한 형태로 가장 잘 맞춰지게 된다.

두 번째 논문에서는 Two-stage decoupling Model을 제안한다.
이 모델은 classifier re-training(cRT)와 Learnable weight scaling(LWS)가 있다.

1. classifier re-training(cRT)

Representation learning 부분을 고정시키고 Classifier만 Class Balanced 형식으로 다시 학습시키는 방법을 이야기 한다.

2. Learnable weight scaling(LWS)

Scaling 하는 정도는 학습을 통해서 얻는 방법을 의미한다.

Confidence Calibration
Calibration이란 모형의 출력값이 실제 Calibrated Confidence를 반영하도록 만드는 것을 말한다.

예를 들어 X의 Y1에 대한 모형의 출력이 0.8이 나왔을 때, 80% 확률로 Y1일 것이라는 의미를 갖도록 만드는 것이다.
일반적으로 현대 딥러닝같은 경우에는 Overconfident 성격을 띄고 있다.

예시로 아래 그림을 보면 1998년에 제시된 LeNet의 경우 모형의 출력이 0~1 사이에 균일하게 분포되어 있지만, ResNet의 경우 1근처에 집중되어 있는 것을 확인할 수 있다.

그 결과로 아래 그림을 보게 되면 ResNet의 경우 Confidence와 Accuracy가 많이 어긋나는 것을 확인할 수 있다.
모형의 출력이 실제 Calibrated Confidence를 반영한다면 Confidence와 Accuracy는 일치해야 한다.

모형의 예측값이 실제 확률을 반영한다는 의미를 가진 Calibration이 중요한 이유

실제 딥러닝이 응용될 때, 의사결정 프로세스중 하나의 구성요소가 될 경우가 많다.

의학적 진단을 예로 들자면, 딥러닝을 전적으로 신뢰해서 모든 판단을 딥러닝에게 맡기는 의사결정이 이루어지는 경우는 적고, 딥러닝 모델의 Confidence가 낮은 경우에만 사람이 보는 방식으로 사람이 할 일의 일부를 딥러닝이 하게 되는 구조가 대부분입니다.

이 경우 Confidence가 낮은 것만 사람이 재확인하는 방식이 가능한데 이러한 의사결정이 가능하기 위해서는 모형의 Confidence를 보는 것이 필요하고 이 Confidence가 Calibrated Confidence이여야 신뢰할 수 있는 값이라고 할 수 있다.

네트워크의 Calibration을 측정하는 방법으로 Expected Calibration Error(ECE)를 사용한다.

ECE는 Confidence와 실제 Accuracy의 Distribution의 차이를 측정하는 방법이다. 예측값을 균등하게 M묶음으로 나눈 뒤에 Accuracy와 Confidence차이의 평균을 계산하는 방법이다. 여기서 n은 샘플의 개수다.

아래 그림을 통해 클래스의 불균형 구성 비율 때문에 Long-tailed Datasets에서 훈련된 네트워크가 Miscalibrated하고 Over-Confident하다는 것을 보여준다.

원본 CIFAR-100 Dataset + CE(Cross Entropy)
Long-tailed Datasets
Long-tailed Datasets + cRT
Long-tailed Datasets + LWS

위 결과값을 통해 Long-tailed Datasets를 훈련한 Network가 일반적으로 ECE가 높다는 것을 확인할 수 있다. 또한 cRT, LWS 에서도 마찬가지로 Over-Confidence를 확인할 수 있다.
위 현상은 다른 Long-tailed Datasets에서도 존재한다.

또 다른 문제는 Two-stage Decoupling이 Dataset bias 또는 Domain shift를 무시한다는 것이다.

이 문제는 1단계에서 Instanced balanced Dataset에 대해 먼저 훈련하고 2단계에서 모델이 Class-balanced dataset에서 훈련했을 때
Distribution of the dataset by different sampling ways가 일치하지 않는다는 것이다.

따라서 Dataset bias 문제를 해결하기 위해서 Batch normalization에 초점을 둔다.

위 문제들을 모두 해결하기 위해서 논문에서는 Mixup Shifted Label-Aware Smoothing model(MiSLAS)를 제안한다.

Long-tailed Dataset에 대해 훈련된 Model이 Balanced Dataset에 대해 훈련된 Model 보다 훨씬 Miscalibrated and Over-confident
(이는 2단계 모델 역시 같은 문제점 발생)
mixup은 representation learning에는 긍정적인 영향을 주고 Over-confidence를 줄일 수 있지만 Classifier learning에서는 부정적 영향을 줄 수 있다.
따라서 Classifier learning과 Calibration을 향상시키기 위해 Label-aware smoothing을 제안한다.

Label-aware smoothing이란?
–>handle different degrees of over- confidence for classes
Dataset bias or Domain shift를 Decoupling Framework에서 해결하기 위해 성능을 개선할 수 있는 Shift learning on the batch normalization layer를 제안한다.
Long-tailed Dataset 여러 개에서 MiSLAS를 검증하고 실험 결과를 보여준다.

Re-sampling and Re-weighting

Re-samling
- Over-sampling the Tail-class images
  - Over-sampling은 대규모 데이터셋에 정기적으로 유용
  - 소규모 데이터셋에서 Tail Class에 대한 Over-fitting 발생
- Under-sampling the Head-class images
  - 데이터의 많은 부분을 폐기하므로 Deep model의 일반화 능력이 저하
Re-weighting
- Class & Instance에 서로 다른 weight를 할당
- Vanilla Re-weighting Method
  - 클래스 샘플 수에 역비례하여 Class weight를 제공
- 대규모 데이터의 경우 학습시키는 동안 Deep Model을 최적화하기 어려움
  - 유효 숫자를 사용하여 Class weight를 사용하여 위 문제 해결
  - 각 인스턴스의 weight를 적응적으로 다시 매김
    (ex.Focal loss -> 잘 분류된 예제에는 작은 weight, 분류하기 어려운 일부 예제에는 큰 weight를 부여하여 학습을 어려운 예제에 집중시킴)

Confidence calibration and regularization

Calibrated confidence는 Classification model에서 중요
- Model capacity, Normalization, Regularization -> Network Calibration에 큰 영향을 미치는 것을 확인
Mixup
Interpolation of input and labels으로 훈련하는 Regularization 기법
- manifold mixup, Cut- Mix, Remix
- Mixup으로 학습된 CNN -> Better calibrated
Label smoothing
another Regularization 기법
–>Over-confident를 줄이도록 Model을 만든다.
- compute loss upon a soft version of labels
- relieve Over-fitting and increase Calibration and Reliability

Mixup은 학습을 진행할 때 랜덤하게 두 개의 샘플 (x(i),y(i)), (x(j),y(j))를 뽑아서 (x_dot,y_dot)을 만들어 학습에 사용하는 것을 말한다.
아래 그림은 Mixup에 대한 예시를 보여준다. lambda는 보통 0.5가 아닌 한 쪽 데이터에 치우치도록 0.1 혹은 0.2정도를 준다.

Label smoothing은 일반화 성능을 높이기 위해 사용하는 기법이다.
one-hot encoding처럼 정답 레이블에 1 아닌 레이블에 0을 부여하는 것이 아니라
정답 레이블이 아닌 레이블에도 약간의 레이블 값을 넣어주는 것을 의미한다.
아래 그림은 Label smoothing에 대한 예시이다.

Two-stage methods

Deffered Re-weighting(DRW) & Deffered Re-sampling(DRS)
better than conventional one-stage methods
- 더 나은 Feature에서 시작해서 adjust the decision boundary and locally tunes features
Decomposing representation and classifier learning
- 먼저 Instance-balanced sampling으로 Deep Model을 학습
  - 그 후 Parameters of Representation learning이 고정된 Class-balanced sampling으로 classifier를 미세 조정
- The cumulative learning strategy
  - bridge the representation learning and classifier re-balancing
  - requires dual samplers of instance-balanced and reversed instance- balanced sampler

3.1 Study of mixup Strategy

Instance-balanced sampling & mixup
Instance-balanced sampling : The most general representation among all for long-tailed recognition
mixup : The Network trained with mixup are better calibrated

Mixup in the Two-stage Decoupling framework
- Higher representation generalization
- reduce Over-confidence

Stage 1
180epochs 동안 ImageNet-LT에서 Original Cross-entropy Model, Two stage Models of cRT and LWS 학습시킨다

Stage 2
각각 10epochs에 대해 미세 조정한다.

두 단계에 대한 Training setup(with/without mixup alpha = 0.2)을 변경한다.

체크표시는 mixup이 적용했을 때 x표시는 mixup을 적용하지 않을 때이다.
(Top-1 Accuracy / ECE에 대한 표)

Mixup을 적용했을 때
- Improvement of Cross Entropy는 can be ignored
- Stage 1에서 cRT, LWS 모두 성능이 크게 향상
- Stage 2에서 추가로 mixup을 진행시 개선 효과가 없거나 오히려 성능을 손상시킴

위 결과에 대한 이유를 설명하는 mixup의 역할
1. encourages representation learning
2. but, adverse or negligible effect on classifier learning

정리
즉, 1단계에서 mixup은 representation learning에는 좋은 효과를 보여주지만
2단계에서는 classifier learning에서는 효과를 보여주지 못하거나 오히려 악영향을 미친다.

위 그림은 Final classifier weight norms을 확인한 것이다. 위 그림을 봤을 때 mixup이 tail classes에 더 우호적일 수 있다는 것을 보여준다.

그래서 2단계에서 mixup을 추가했을 때 생기는 불안정한 결과를 개선하기 위한 방법으로 다음과 같은 방법을 추가로 제안한다.
-> Label-aware smoothing

3.2. Label-aware smoothing

Cross-entropy의 최적의 솔루션과 비교하여,

Label-aware smoothing

encourage a finite output, more general and remedying overfit

또한 인스턴스 수가 더 많은 클래스인 Head class가
더 다양한 예를 많이 포함하고 있기 때문에 예측 확률이 Tail class보다 더 좋다.
따라서 더 큰 Label smoothing factor를 부여해야 한다고 논문에서는 말하고 있다.

그리고 Label-aware smoothing은 Cross-entropy보다 더 복잡하기 때문에
Generalized classifier learning framework에 적용해야 한다고 말하고 있고
예시로는 위에서 배운 cRT 혹은 LWS를 말한다.

cRT와 LWS중에서 대규모 데이터셋에서 LWS가 더 좋은 결과를 주기 때문에
실험에서는 LWS + Label-aware smoothing으로 결과를 확인한다.
결과는 아래 그림과 같다.

왼쪽부터 Head, Medium,Tail 순으로 결과를 보여준 것이다.
(연한 파랑 : LWS + Cross-Entropy , 짙은 파랑 : LWS + Label-Aware Smoothing)

LWS + Cross-Entropy의 경우엔
Head와 Medium에서 실제로 1.0에 가까울 정도로 높은 Over-confident를 보이는 반면에,

LWS + Label-Aware Smoothing의 경우엔
Over-confident가 많이 감소한 것을 확인할 수 있다.

3.3. Shift Learning on Batch Normalization

인스턴스 균형 샘플링으로 1단계에서 학습한 후 클래스 균형 샘플링으로 2단계에서 학습한다.

위 Two-stage training framework는 Transfer learning의 변형으로 볼 수 있는데

Transfer learning 관점에서 Two-stage training framework를 보면

backbone부분을 고정하고 Classifier를 튜닝하는 것은 unreasonable 하다.

다른 샘플링 방법이기 때문에 Head, Medium, Tail 구성 비율이 다르고, 따라서 Bias가 존재한다.

2가지 방법을 참고해서 사용

AdaBN & TransNorm
- update the running mean μ and variance σ
- fix the learnable linear transformation parameters α and β for better normalization in Stage-2

4. Experiments

4.1.1 Datasets and Setup

1. CIFAR-10 and CIFAR-100
50000장 Training & 10000장 Validation + 10개 카테고리 혹은 100개 카테고리
Long-tailed Dataset 사용

2. ImageNet-LT and Places-LT

ImageNet-LT
115800 이미지 + 100 카테고리 (class cardinality:5~1280)
Places-LT
184500 이미지 + 365 카테고리 (class cardinality:5~4980)

3. iNaturalist 2018
437500 이미지 + 8142 카테고리

4.1.2 Implementation Details

SGD optimizer with momentum = 0.9 to optimize network

MiSLAS model with ResNet-32 + 160~180 epochs에서 0.1로 learning rate 감소
Use cosine learning rate -> MiSLAS model + ResNet- 10, 50, 101, 152

4.2 Ablation Study

Calibration performance

CIFAR-100-LT with IF 100 데이터셋으로 했을 때
Calibration performance에 대한 결과이다.
본 논문에서 제시하는 MiSLAS 모델일 때가 가장 Confidence gap이 적은 것을 보여준다.

Comparing re-weighting with label-aware smoothing

class balanced cross-entropy와 Label-aware smoothing을 비교했을 때 결과이다.
위 결과에서 알 수 있듯이 Label-aware smoothing을 했을 때
Over-confidence도 크게 감소하고 Accuracy도 상승하는 것을 확인할 수 있다.

4.2.1 Result

위 결과 표를 통해 알 수 있는 점

1단계에서 mixup을 했을 때 Accuracy증가 + ECE 감소
Shift learning on BN + Label-aware smoothing까지 했을 때 Accuracy 약간 증가 + ECE 크게 감소

Comparison with State-of-the-arts

전체적으로 본 논문 이전에 사용되었던 방법들이랑 비교했을 때
MiSLAS가 압도적으로 높은 Accuracy + 좋은 Calibration임을 보여준다.
대규모 데이터 셋인 a,b,c에서도 MiSLAS가 높은 성능을 가지고 있는 것을 확인할 수 있다.

5 Conclusion

Long-tailed Dataset을 학습한 모델은
balanced dataset을 학습한 모델보다 miscalibrated and overconfident
첫 번째 솔루션 - Mixup
- 1단계에서 mixup 사용 -> representation learning에서 좋은 효과(classifier learning에서는 오히려 역효과)
두 번째 솔루션 - Label-aware smoothing
- LWS를 사용하여 Over-confidence를 크게 감소시킨다.
세 번째 솔루션 - Shift learning on the batch normaization
- Two-stage method framework에서 Dataset bias를 줄이기 위해서 사용 -> 성능 향상
논문에서 제시하는 MiSLAS 모델이 가장 좋은 Accuracy + Calibration 을 보여줌
- 대규모 데이터 셋에서도 마찬가지 좋은 성능을 보여줌

[Medical_AI] Finding and Measuring Lungs in CT Data (CT 데이터에서 폐 부분만 뽑아내기)

Wed, 02 Sep 2020 00:00:00 +0900

1. 데이터 전처리

이번에는 CT Data에서 필요한 이미지인 폐 영역만 골라내는 segmentation을 해보도록 하겠습니다. 먼저 데이터 셋은 kaggle에서 가져오시면 됩니다. Dataset

여기서 2d_images.zip 파일과 2d_masks.zip 파일을 받아오시면 됩니다! 다운로드 받은 파일은 다음과 같이 원래 CT 이미지들이 모여있는 image 폴더와 폐 부분만 표시되어 있는 mask된 사진만 모여있는 폴더입니다.

2d_images Dataset

2d_masks Dataset

보시면 이미지파일이 tif 형식으로 되어 있습니다. Data 분야를 공부하면 할수록 느끼는 것이지만 처음 Data를 전처리하는 과정이 전체 과정의 절반이상을 차지한다고 말하는 것처럼 전처리 과정은 정확한 결과 값을 알기위해선 매우중요합니다! 따라서 우리는 이 tif 이미지들을 먼저 학습하기 쉬운 .npy 형식의 파일로 만들것입니다.

1-1.필요한 패키지와 함수 변수 import 하기

Jupyter notebook을 키기 전에 필요한 패기지들을 다운로드 받아줍니다. 그 후 아래코드를 넣어주시면 됩니다.

import matplotlib.pyplot as plt
import numpy as np
from sklearn.model_selection import train_test_split
from skimage.io import imread
from skimage.transform import pyramid_reduce, resize

import os, glob

1-2.list 형식으로 img_list와 mask_list 생성

glob glob.glob 를 사용하여 우선 폴더에 있는 모든 파일명을 /*를 사용하여 모두 리스트 형식으로 불러옵니다.

img_list = sorted(glob.glob('2d_images/*.tif'))
mask_list = sorted(glob.glob('2d_masks/*.tif'))

print(len(img_list), len(mask_list))

이렇게 img_list와 mask_list에 list 형식으로 폴더에 있는 모든 파일명들을 불러온 뒤 저장합니다.

1-3. Array 형태로 만들고 array 형태의 이미지 확인하기

IMG_SIZE = 256

x_data, y_data = np.empty((2, len(img_list), IMG_SIZE, IMG_SIZE, 1), dtype=np.float32)

for i, img_path in enumerate(img_list):
    img = imread(img_path)
    img = resize(img, output_shape=(IMG_SIZE, IMG_SIZE, 1), preserve_range=True)
    x_data[i] = img
    
for i, img_path in enumerate(mask_list):
    img = imread(img_path)
    img = resize(img, output_shape=(IMG_SIZE, IMG_SIZE, 1), preserve_range=True)
    y_data[i] = img
    
y_data /= 255.

fig, ax = plt.subplots(1, 2)
ax[0].imshow(x_data[12].squeeze(), cmap='gray')
ax[1].imshow(y_data[12].squeeze(), cmap='gray')

우선 imread 함수를 통해서 img_list에 있는 파일을 하나씩 불러오고 Array형태로 불러오고 img에 하나씩 저장합니다. 그 후 resize를 통해 (256,256,1) 형태로 만들어 줍니다.

x_data와 y_data를 중간에 확인해보면 총 267개의 이미지 형태인 (256,256,1)이 되는 것을 확인할 수 있다. 그리고 마지막에 squeeze 함수를 통해 1차원 배열로 바꿔 imshow 함수로 이미지를 확인한다. 이미지 형태로 잘 나오는 것을 확인할 수 있다.

마지막으로 sklearn 패키지에서 train_test_split 함수를 통해 데이터셋에서 x_train, x_val, y_train, y_val 셋을 만들어준뒤에 저장한다. shape를 통해 마지막으로 확인해보면 train 셋 240개, val 셋 27개씩 만들어진것을 확인할 수 있다.

2. lung data 추출하기

우선 필요한 패키지와 함수들을 import 합니다.

#필요한 패키지,함수,변수 import
import numpy as np
import matplotlib.pyplot as plt

from keras.layers import Input, Activation, Conv2D, Flatten, Dense, MaxPooling2D, Dropout, Add, LeakyReLU, UpSampling2D
from keras.models import Model, load_model
from keras.callbacks import ReduceLROnPlateau

그 뒤에 numpy를 이용해 npy파일로 만들어 놓은 x_train, x_val, y_train, y_val 파일들을 load 합니다.

x_train = np.load('dataset/x_train.npy')
y_train = np.load('dataset/y_train.npy')
x_val = np.load('dataset/x_val.npy')
y_val = np.load('dataset/y_val.npy')

각각을 살펴보면 다음과 같이 나온다.

train data 240개 val data는 27개씩 있다.

인공지능 모델로 사용하는 것은 Convolutional Encoder-Decoder 이다. 간단하게 말하면 CNN으로 이루어진 인코더-디코더 형태이다.

Encoder는 차원을 축소해서 핵심 요소만 뽑는 것을 말하고 Decoder는 반대로 압축된 정보로부터 차원을 확장을 하면서 원하는 정보로 복원하는 것을 말한다. 여기서 위 그림과 같이 Input에는 CT이미지를 넣고 Output에는 폐의 영역만 흰색인 마스크 이미지로 뽑을 것입니다.

Encoder부분에서는 Downsampling을 하는데 CNN에서 주로 사용하는 MaxPooling2D를 사용할 것이다. MaxPooling2D를 통해 차원을 축소한다.

Decoder부분에서는 Upsampling을 하는데 여기서 Upsampling2D는 반대로 차원을 확장하는 것이다.

위와 같이 행렬이 늘어나면서 0으로 채워주는 Upsampling, 반대로 행렬이 줄어드는 Downsampling을 보여주고 있다. 물론 0으로 채우는 것 외에 다양한 Upsampling 방법이 존재한다.

2-1. Model 구현

#DownSampling
inputs = Input(shape=(256,256,1))

net = Conv2D(32, kernel_size=3, activation='relu', padding='same')(inputs)
net = MaxPooling2D(pool_size=2, padding='same')(net)

net = Conv2D(64, kernel_size=3, activation='relu', padding='same')(net)
net = MaxPooling2D(pool_size=2, padding='same')(net)

net = Conv2D(128, kernel_size=3, activation='relu', padding='same')(net)
net = MaxPooling2D(pool_size=2, padding='same')(net)

net = Dense(128, activation='relu')(net)
#UpSampling
net = UpSampling2D(size=2)(net)
net = Conv2D(128, kernel_size=3, activation='sigmoid', padding='same')(net)

net = UpSampling2D(size=2)(net)
net = Conv2D(64, kernel_size=3, activation='sigmoid', padding='same')(net)

net = UpSampling2D(size=2)(net)
outputs = Conv2D(1, kernel_size=3, activation='sigmoid', padding='same')(net)

model = Model(inputs=inputs, outputs=outputs)

model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['acc','mse'])

model.summary()

Model은 위와 같이 만들어준다. Model을 확인해보면

Model을 확인해보면 MaxPooling2D를 통해 256,256에서 128,128으로 줄고 계속 줄어 32,32까지 줄어든다. 그 후 Upsamping2D를 통해 256,256 까지 차원을 다시 확장한다. 이제 Training을 해주면 된다.

history = model.fit(x_train, y_train, validation_data=(x_val, y_val), epochs=100, batch_size=32,callbacks=[ReduceLROnPlateau(monitor='val_loss', factor=0.2, patience=10, verbose=1,mode='auto', min_lr=1e-05)])

epochs를 100으로 설정한 뒤에 학습이 끝나고 loss, acc, val_loss, val_acc를 확인해본다.

loss는 이상적으로 내려가는 것을 확인할 수 있고 반대로 정확도는 올라가므로 학습이 잘 된것을 확인할 수 있다.

preds = model.predict(x_val)
fig, ax = plt.subplots(len(x_val), 3, figsize=(10,100))

for i, pred in enumerate(preds):
    ax[i, 0].imshow(x_val[i].squeeze(), cmap='gray')       
    ax[i, 1].imshow(y_val[i].squeeze(), cmap='gray')
    ax[i, 2].imshow(pred.squeeze(), cmap='gray')

이제 predict를 통해 학습된 모델로 lung data를 잘 추출하는지 확인해본다.

결과값을 확인해보면 맨 왼쪽은 input으로 CT 이미지이고 가운데 있는 이미지는 실제 mask된 이미지이고 맨 오른쪽에 있는 이미지는 학습된 모델이 예측한 lung data 입니다. 두번째와 세번쨰를 비교했을 때 굉장히 비슷하게 잘 나오기 때문에 예측이 잘 된것을 확인할 수 있었다.

[OPencv] opencv를 이용한 python project(이미지 슬라이드쇼 만들기)

Thu, 05 Mar 2020 00:00:00 +0900

1. 이미지 슬라이드 쇼 개요

특정 폴더에 있는 모든 이미지 파일을 슬라이드 쇼로 만들기

구현 기능

특정 폴더에 있는 이미지 파일 목록 읽기
이미지를 전체 화면으로 출력하기
일정 시간동안 이미지를 화면에 출력 후 다음 이미지로 교체하기 -> 무한루프 형식으로

2. 관련 함수 패키지 및 함수에 대해 알아보기

os.listdir()

# 예시 - os
import os

file_list = os.listdir('.\\images')
img files = [file or file in file_list if file.endswith('.jpg')]

모든 파일 목록을 불러올 수 있고 그 중에서 jpg로 되어 있는 파일만 찾아서 불러올 수 있다. glob.glob()

# 예시 - glob
import glob

img_files = glob.glob('.\\images\\*.jpg')

glob 패키지는 특정 패턴의 문자열 이름을 다 불러올 수 있다. 위와 같이 images 폴더에 있는 파일들을 불러와도 되지만 현재 파일이 있는 곳에 images라는 폴더를 냅두지 않고 저처럼 assets이라는 폴더안에 모든 그림파일들을 넣어두었다면 glob.glob(‘assets/images/*.jpg’) 이렇게 바꿔주면 된다.

3.코드 구현하기

3-1.images 폴더안에 있는 파일명들 확인하기

import glob

# 현재 python 파일이 있는 위치에 images 폴더를 옮겨놓은 경우 위 예시처럼 바꿔주어야 함
img_files = glob.glob('assets/images/*.jpg')

for f in img_files:
    print(f) 

그럼 다음과 같이 images 안에 있는 파일명들이 나열된 것을 확인할 수 있다.

3-2.전체 화면 영상 출력 창 만들기

cv2.nameWindow('image', cv2.WINDOW_NORMAL)
cv2.setWindowProperty('image', cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN)

cnt = len(img_files)
idx = 0
while True:
  img = cv2.imread(img_files[idx])

  cv2.imshow('image',img)

  if cv2.waitKey(1000) == 27:    #ESC
    break
  idx+=1
  if idx>=cnt:
    idx=0
cv2.destroyALLWindows()

먼저 cv2.WINDOW_NORMAL 속성의 창을 만들고 cv2.setWindowProperty() 함수를 사용하여 전체 화면 속성으로 바꿔준다.
그 뒤에 img 를 while 문에서 불러와서 ESC 키(27)를 누르기 전까지 반복적으로 사진을 imread 하면 끝!

[OpenCV] OpenCV를 이용한 Python Project (이미지 슬라이드쇼 만들기)

Thu, 05 Mar 2020 00:00:00 +0900

OpenCV를 이용한 Python Project (이미지 슬라이드쇼 만들기)

개요

이번 프로젝트에서는 특정 폴더에 있는 모든 이미지 파일을 활용하여 간단한 이미지 슬라이드쇼를 구현합니다.

1. 프로젝트 개요

구현 기능

특정 폴더에 있는 이미지 파일 목록 읽기.
이미지를 전체 화면으로 출력하기.
일정 시간 동안 이미지를 화면에 출력 후 다음 이미지로 교체하기 (무한 루프 형식).

2. 관련 패키지 및 함수

2.1 `os.listdir()`

폴더 내 모든 파일 목록 불러오기
특정 확장자(.jpg 등)를 가진 파일만 필터링 가능.

import os

file_list = os.listdir('./images')
img_files = [file for file in file_list if file.endswith('.jpg')]

2.2 `glob.glob()`

특정 패턴의 파일 이름 불러오기
원하는 경로와 파일 형식을 지정하여 간단하게 파일 목록 생성 가능.

import glob

img_files = glob.glob('./images/*.jpg')

예시

현재 파일 경로와 다른 디렉토리에 이미지 파일이 있는 경우:
```
img_files = glob.glob('assets/images/*.jpg')
```

3. 코드 구현

3.1 이미지 파일명 확인

glob를 사용하여 이미지 파일 경로를 읽어온 후, 파일명을 출력합니다.

import glob

# assets 폴더 내 images 디렉토리에서 모든 JPG 파일 읽기
img_files = glob.glob('assets/images/*.jpg')

for f in img_files:
    print(f)

실행 결과

아래와 같이 images 폴더 내 파일명이 출력됩니다.

3.2 전체 화면 출력 창 만들기

cv2.namedWindow와 cv2.setWindowProperty를 사용하여 전체 화면을 구현합니다.

import cv2
import glob

# 이미지 파일 읽기
img_files = glob.glob('assets/images/*.jpg')

cv2.namedWindow('image', cv2.WINDOW_NORMAL)
cv2.setWindowProperty('image', cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN)

cnt = len(img_files)  # 이미지 파일 개수
idx = 0

while True:
    img = cv2.imread(img_files[idx])  # 이미지 읽기
    cv2.imshow('image', img)

    # ESC 키를 누르면 종료
    if cv2.waitKey(1000) == 27:  
        break

    idx += 1
    if idx >= cnt:
        idx = 0

cv2.destroyAllWindows()

코드 설명

창 속성 설정:
- cv2.WINDOW_NORMAL: 창 크기를 조정 가능하도록 설정.
- cv2.WINDOW_FULLSCREEN: 창을 전체 화면으로 변경.
이미지 출력:
- cv2.imshow()로 이미지를 출력.
- 이미지 파일 리스트를 반복적으로 순회하며 슬라이드쇼 구현.
키 입력 처리:
- cv2.waitKey(1000): 1초(1000ms) 동안 키 입력 대기.
- ESC 키(27)를 누르면 반복문 종료.

4. 결과

슬라이드쇼가 실행되며, 설정한 시간 간격으로 이미지를 전환합니다.
ESC 키를 누르면 프로그램이 종료됩니다.

결론

이번 포스팅에서는 OpenCV와 Python을 사용해 간단한 이미지 슬라이드쇼를 구현했습니다.
이미지 파일을 동적으로 읽고 전체 화면으로 출력하는 이 방법을 응용해 더욱 다양한 프로젝트를 시도해보세요!

[OpenCV] OpenCV를 이용한 실습 (Matplotlib을 사용하여 불러오기)

Wed, 04 Mar 2020 00:00:00 +0900

OpenCV를 이용한 실습 (Matplotlib을 사용하여 불러오기)

개요

이번 포스팅에서는 Python의 Matplotlib 라이브러리를 활용해 컬러 사진과 흑백 사진을 출력하는 방법을 알아봅니다.
또한, 두 가지 이미지를 동시에 출력하는 방법도 소개합니다.

1. Matplotlib 설치

OpenCV와 함께 Matplotlib을 사용하려면 Matplotlib 패키지를 설치해야 합니다.

pip install matplotlib

2. 컬러 영상 출력하기

컬러 영상을 출력하려면 영상 데이터가 RGB 순서여야 합니다.
하지만 cv2.imread()로 이미지를 불러오면 BGR 순서로 불러오기 때문에, cv2.cvtColor()를 사용하여 BGR을 RGB로 변환합니다.

2-1. 컬러 영상 출력 코드

import matplotlib.pyplot as plt
import cv2

# 컬러 영상 읽기 및 BGR -> RGB 변환
imgBGR = cv2.imread('cat.bmp')
imgRGB = cv2.cvtColor(imgBGR, cv2.COLOR_BGR2RGB)

plt.axis('off')  # 눈금 제거
plt.imshow(imgRGB)
plt.show()

3. 그레이스케일 영상 출력하기

plt.imshow() 함수에서 컬러맵을 설정하여 그레이스케일 영상을 출력합니다.

컬러맵 설정: cmap='gray'

3-1. 그레이스케일 영상 출력 코드

import matplotlib.pyplot as plt
import cv2

# 그레이스케일 영상 읽기
imgGray = cv2.imread('assets/cat.bmp', cv2.IMREAD_GRAYSCALE)

plt.axis('off')
plt.imshow(imgGray, cmap='gray')
plt.show()

4. 컬러와 그레이스케일 영상을 함께 출력하기

Matplotlib의 plt.subplot()을 사용하여 두 개의 영상을 동시에 출력할 수 있습니다.

4-1. 컬러와 그레이스케일 영상 동시 출력 코드

import matplotlib.pyplot as plt
import cv2

# 컬러 및 그레이스케일 영상 읽기
imgBGR = cv2.imread('cat.bmp')
imgRGB = cv2.cvtColor(imgBGR, cv2.COLOR_BGR2RGB)
imgGray = cv2.imread('assets/cat.bmp', cv2.IMREAD_GRAYSCALE)

plt.subplot(121), plt.axis('off'), plt.imshow(imgRGB)
plt.subplot(122), plt.axis('off'), plt.imshow(imgGray, cmap='gray')
plt.show()

5. 전체 코드

아래는 위의 모든 과정을 포함한 전체 코드입니다.

import matplotlib.pyplot as plt
import cv2

# 컬러 영상 출력
imgBGR = cv2.imread('assets/cat.bmp')
imgRGB = cv2.cvtColor(imgBGR, cv2.COLOR_BGR2RGB)

plt.axis('off')
plt.imshow(imgRGB)
plt.show()

# 그레이스케일 영상 출력
imgGray = cv2.imread('assets/cat.bmp', cv2.IMREAD_GRAYSCALE)

plt.axis('off')
plt.imshow(imgGray, cmap='gray')
plt.show()

# 두 개의 영상을 함께 출력
plt.subplot(121), plt.axis('off'), plt.imshow(imgRGB)
plt.subplot(122), plt.axis('off'), plt.imshow(imgGray, cmap='gray')
plt.show()

6. 결과

컬러 영상 출력 결과

그레이스케일 영상 출력 결과

컬러와 그레이스케일 영상을 함께 출력한 결과

결론

Matplotlib과 OpenCV를 활용하면 다양한 방식으로 이미지를 출력할 수 있습니다.
이번 포스팅에서 다룬 방법을 응용하여 더 나은 데이터 시각화를 시도해보세요!

[OpenCV] OpenCV를 이용한 실습 (사진 불러오기)

Tue, 03 Mar 2020 00:00:00 +0900

개요

이번 포스팅에서는 OpenCV를 활용해 자주 사용하는 기본적인 함수들을 정리하고, 이를 활용한 사진 불러오기 예제를 소개합니다.

1. OpenCV 기본 함수 알아보기

1.1 영상 파일 불러오기: `cv2.imread`

imread 함수를 사용하여 이미지 파일을 불러올 수 있습니다.

Flags: 이미지를 컬러, 흑백 등으로 불러오는 설정.
Filename: 파일 경로와 확장자(.jpg, .bmp 등) 포함.

1.2 영상 파일 저장하기: `cv2.imwrite`

imwrite 함수는 이미지를 저장할 때 사용됩니다.
주로 이미지를 수정한 뒤 저장하는 데 사용됩니다.

1.3 새로운 창 띄우기: `cv2.namedWindow`

namedWindow 함수를 사용하여 이미지를 출력할 창을 생성합니다.

창의 크기와 영상 크기를 조정할 수 있는 Flags를 설정할 수 있습니다.

1.4 창 닫기: `cv2.destroyWindow`

destroyWindow 함수는 특정 창을 닫거나, destroyAllWindows를 사용하여 모든 창을 닫을 수 있습니다.

1.5 창 위치 이동: `cv2.moveWindow`

moveWindow 함수를 사용하여 창을 원하는 위치(x, y 좌표)로 이동시킬 수 있습니다.

1.6 창 크기 변경: `cv2.resizeWindow`

resizeWindow 함수는 창의 크기를 조정하는 데 사용됩니다.

원하는 가로(width)와 세로(height)를 설정할 수 있습니다.

1.7 영상 출력하기: `cv2.imshow`

imshow 함수는 지정된 창에 이미지를 출력합니다.

변수로 저장된 이미지 데이터를 창에 표시할 수 있습니다.

1.8 키보드 입력 대기하기: `cv2.waitKey`

waitKey 함수는 키 입력을 대기합니다.

특정 키 입력에 반응하도록 설정할 수도 있습니다.

2. 사진 불러오기 예제

다음은 OpenCV를 사용하여 사진을 불러오는 간단한 예제입니다.

import cv2
import sys

# 이미지 파일 읽기
img = cv2.imread('example.jpg')

if img is None:
    print('Image load failed!')
    sys.exit()

# 창 생성 및 이미지 출력
cv2.namedWindow('image')
cv2.imshow('image', img)
cv2.waitKey()

# 모든 창 닫기
cv2.destroyAllWindows()

코드 설명

이미지 파일 불러오기:
- imread로 이미지를 읽어 변수 img에 저장.
- 파일 경로와 확장자명을 정확히 입력해야 함.
이미지 로드 실패 처리:
- 이미지가 제대로 로드되지 않을 경우 None을 반환.
- sys.exit()로 종료.
창 생성 및 출력:
- namedWindow로 창 생성 후, imshow로 이미지를 출력.
키 입력 대기 및 종료:
- waitKey로 키 입력을 대기.
- destroyAllWindows로 창을 닫음.

예제 결과

예제 코드를 실행하면 아래와 같이 image 창에 example.jpg 이미지가 출력됩니다.

결론

이번 포스팅에서는 OpenCV의 기본 함수와 사진 불러오기 예제를 다뤘습니다. OpenCV의 다양한 기능을 활용하여 컴퓨터 비전 프로젝트를 진행해보세요!

[OpenCV] Mac에서 Anaconda, Python, OpenCV 설치 가이드

Mon, 02 Mar 2020 00:00:00 +0900

개요

이 포스트에서는 Mac에서 Anaconda 가상환경을 설정하고, Python과 OpenCV를 설치하는 방법을 다룹니다.

Anaconda 설치: Python 기반의 가상환경 설정과 관리.
가상환경 구성: 특정 프로젝트에 필요한 Python 버전 및 라이브러리 설치.
OpenCV 설치 및 확인: 컴퓨터 비전 라이브러리(OpenCV) 설치와 동작 확인.

1. Anaconda 설치

Python과 OpenCV를 편리하게 사용하기 위해 Anaconda를 설치합니다. Anaconda는 가상환경을 설정하여 프로젝트별로 필요한 라이브러리를 관리하기 쉽게 해줍니다.

설치 과정

Anaconda 공식 웹사이트에서 MacOS Command Line Installer를 다운로드합니다.
- GUI Installer 대신 Command Line Installer를 사용하는 이유: 터미널(iTerm2)에서 Anaconda 환경을 바로 사용하기 위해.

터미널에서 다운로드된 파일로 이동하여 설치를 시작합니다.

cd ~/Downloads
bash Anaconda3-*.sh

설치 과정을 진행하며 “Yes”를 입력하여 사용 동의를 완료합니다.

설치 완료 후 환경 초기화를 진행합니다.
- 초기화 완료 시 .zshrc 파일이 자동으로 업데이트됩니다.

설치 확인

설치가 완료되면 터미널을 재시작한 후 다음 명령어를 실행하여 Anaconda와 Python이 정상 설치되었는지 확인합니다.

conda --version
python --version

2. Anaconda 가상환경 설정

가상환경을 생성하여 프로젝트별로 Python 버전과 라이브러리를 독립적으로 관리합니다.

가상환경 생성

터미널에서 다음 명령어를 입력하여 Python 3.8 기반의 새로운 가상환경을 생성합니다.

conda create -n tf python=3.8

생성된 가상환경을 활성화합니다.

conda activate tf

OpenCV 설치

가상환경 활성화 후, OpenCV를 설치합니다.

pip install opencv-python

설치가 완료되면 정상적으로 설치되었는지 확인합니다.

3. OpenCV 설치 확인

PyCharm 등의 IDE에서 가상환경을 연결한 뒤, OpenCV를 테스트합니다.

PyCharm에서 가상환경을 연결합니다.

다음 Python 코드를 실행하여 OpenCV 설치를 확인합니다.

import cv2

print("OpenCV Version:", cv2.__version__)

OpenCV 버전이 출력되면 설치가 성공적으로 완료된 것입니다.

결론

이번 포스트에서는 Mac에서 Anaconda를 사용하여 Python과 OpenCV를 설치하는 방법을 알아보았습니다. 가상환경을 활용하면 프로젝트별로 다양한 Python 버전과 라이브러리를 쉽게 관리할 수 있습니다. OpenCV 설치를 완료했다면 다양한 컴퓨터 비전 프로젝트를 시작해보세요! 😊

Meticulous Hyunni

[Paper Review] Improving Calibration for Long-Tailed Recognition (ICLR 2021) 논문 리뷰

1. Abstract

2. Introduction

1. Coventional learning branch

2. Re-balancing branch

1. classifier re-training(cRT)

2. Learnable weight scaling(LWS)

3. Related Work

3.1 Study of mixup Strategy

3.2. Label-aware smoothing

3.3. Shift Learning on Batch Normalization

4. Experiments

4.1.1 Datasets and Setup

4.1.2 Implementation Details

4.2 Ablation Study

4.2.1 Result

5 Conclusion

[Medical_AI] Finding and Measuring Lungs in CT Data (CT 데이터에서 폐 부분만 뽑아내기)

1. 데이터 전처리

1-1.필요한 패키지와 함수 변수 import 하기

1-2.list 형식으로 img_list와 mask_list 생성

1-3. Array 형태로 만들고 array 형태의 이미지 확인하기

2. lung data 추출하기

2-1. Model 구현

[OPencv] opencv를 이용한 python project(이미지 슬라이드쇼 만들기)

1. 이미지 슬라이드 쇼 개요

2. 관련 함수 패키지 및 함수에 대해 알아보기

3.코드 구현하기

[OpenCV] OpenCV를 이용한 Python Project (이미지 슬라이드쇼 만들기)

OpenCV를 이용한 Python Project (이미지 슬라이드쇼 만들기)

개요

1. 프로젝트 개요

구현 기능

2. 관련 패키지 및 함수

2.1 os.listdir()

2.2 glob.glob()

예시

3. 코드 구현

3.1 이미지 파일명 확인

실행 결과

3.2 전체 화면 출력 창 만들기

코드 설명

4. 결과

결론

[OpenCV] OpenCV를 이용한 실습 (Matplotlib을 사용하여 불러오기)

OpenCV를 이용한 실습 (Matplotlib을 사용하여 불러오기)

개요

1. Matplotlib 설치

2. 컬러 영상 출력하기

2-1. 컬러 영상 출력 코드

3. 그레이스케일 영상 출력하기

3-1. 그레이스케일 영상 출력 코드

4. 컬러와 그레이스케일 영상을 함께 출력하기

4-1. 컬러와 그레이스케일 영상 동시 출력 코드

5. 전체 코드

6. 결과

컬러 영상 출력 결과

그레이스케일 영상 출력 결과

컬러와 그레이스케일 영상을 함께 출력한 결과

결론

[OpenCV] OpenCV를 이용한 실습 (사진 불러오기)

개요

1. OpenCV 기본 함수 알아보기

1.1 영상 파일 불러오기: cv2.imread

1.2 영상 파일 저장하기: cv2.imwrite

1.3 새로운 창 띄우기: cv2.namedWindow

1.4 창 닫기: cv2.destroyWindow

1.5 창 위치 이동: cv2.moveWindow

1.6 창 크기 변경: cv2.resizeWindow

1.7 영상 출력하기: cv2.imshow

1.8 키보드 입력 대기하기: cv2.waitKey

2. 사진 불러오기 예제

코드 설명

예제 결과

결론

[OpenCV] Mac에서 Anaconda, Python, OpenCV 설치 가이드

개요

1. Anaconda 설치

설치 과정

2.1 `os.listdir()`

2.2 `glob.glob()`

1.1 영상 파일 불러오기: `cv2.imread`

1.2 영상 파일 저장하기: `cv2.imwrite`

1.3 새로운 창 띄우기: `cv2.namedWindow`

1.4 창 닫기: `cv2.destroyWindow`

1.5 창 위치 이동: `cv2.moveWindow`

1.6 창 크기 변경: `cv2.resizeWindow`

1.7 영상 출력하기: `cv2.imshow`

1.8 키보드 입력 대기하기: `cv2.waitKey`