Bone-Fracture Detection

전주 효사랑 가족 병원 방사선실에서 프로젝트 인턴으로 뼈 골절 감지 딥러닝 모델 개발
Developed a deep learning model for bone fracture detection as a project intern in the radiation room of Jeonju Hyosarang Family Hospital

Table of contents

1. Overview
2. Role
3. Skills & Process
4. Process
5. Reference

1️⃣ Overview

1-1. 개발 배경

WE-Meet을 통해 전주 효사랑 가족 병원 방사선실에서 프로젝트 인턴으로 함께했습니다. 주어진 문제는 전라북도 노인의 수 급증에 따른 노인 골절 환자 수가 증가하는 상황에서 X-ray를 통해 골절을 감지할 때 노인 뼈의 특성상 아래와 같은 감지에 어려움을 주는 문제가 있습니다.

• 골밀도 감소 : 나이가 들면서 뼈의 골밀도가 낮아져 X-ray, CT 이미지에서 뼈가 더 희미하게 보일 수 있습니다.
• 관절염 및 퇴행성 질환 : 노인들에게서 흔히 볼 수 있는 관절염, 퇴행성 질환은 뼈와 관절 주변의 변형을 초래하여 뼈 구조의 식별을 더 어렵게 만듭니다.

이런 문제들로 인해 골절을 발견하지 못하게 되면 통증과 불편함이 지속되고 2차 부상의 위험이 있습니다.

이를 해결하기 위해 여러 딥러닝 기술을 활용하여 Bone Fracture Detection 프로젝트를 진행하게 되었습니다.

WE-Meet

WE(Work Experience)-Meet 프로젝트는 산업계에서 문제해결 및 프로젝트 주제를 제시하고 대학생이 직접 프로젝트를 수행합니다. 기업과 대학은 학생에게 일경험 기회를 제공하여 우수인재를 발굴·검증하는 사회적 역할을 이행하고 대학생은 기업에 대한 이해와 적응력을 향상할 수 있습니다.

2️⃣ Role

Jeong GangHyeon @JUGAHY	Joseph Cho @Joseph-Ai-py	Bea JinWoo @pig0712

Jeong GangHyeon

• AI Technical Papers Review and Implementation
• Data from multiple hospitals, collecting published fracture data
• FracAtlas data preprocessing, visualization

Joseph Cho

• Segmentation Paper Review
• Collecting Fracture Data from Multiple Hospitals
• FracAtlas Data Preprocessing, Segmentation Learning

Bea JinWoo

• FCN & U-Net Papers Review

3️⃣ Skills

Project skills

1. Language & Tool

• Python 3.8
• Jupyter notebook

2. DeepLearning Model

• VGG-16
• Fast R-CNN
• YOLOv7
• Mask R-CNN
• U-net

3. Application deployment

• Streamlit

4️⃣ Process

4-1. Data Selection (1. 데이터 선정.ipynb)

• FracAtlas : A Dataset for Fracture Classification, Localization and Segmentation of Musculoskeletal Radiographs 논문 참고하여 FracAtlas 데이터 선정하게 되었습니다.
• 여러 부위의 골절 데이터와 Object Detection을 위한 라벨링이 되어있기 때문에 FracAtlas 데이터를 사용하기 가장 적합합니다.

4-2. Data Introduction (2. 데이터 소개.ipynb)

• FracAlas 데이터 폴더 안에 dataset이라는 csv가 있습니다. dataset은 아래와 같이 구성되어 있습니다.

  • 골절 부위

    • hand : (ex : IMG0000019.jpg)
    • leg : (ex : IMG0000092.jpg)
    • hip : (ex : IMG0002180.jpg)
    • shoulder : (ex : IMG0002302.jpg)
    • mixed : 여러 부위 골절

  • 특징

    • hardware : 뼈 고정 금속 여부
    • multiscan : X-ray, CT 스캔 등 여러 가지 스캔 방법을 사용하여 얻은 데이터
    • fracture : 골절 여부
    • fracture_count : 골절의 개수

  • 촬영방법

    • frontal : 정면 이미지
    • lateral : 측면 이미지
    • oblique : 사선 이미지

  • 각 부위 별 정상, 골절 데이터 수 시각화 / 골절 수 분포

• Label 데이터를 불러와 골절 데이터에 overlab 해보았습니다. (box, polygon 두 형태로 제공)

4-3. Data Preprocessing (3. 데이터 전처리.ipynb)

• 데이터를 통해 모델을 학습하기 위해서는 기본이 되는 모델에 데이터를 학습한 후 모델의 성능, loss, accuracy 등을 보고 모델이 데이터를 통해 학습하고 있는지 과적합은 일어나지 않는지 등을 관찰하며 모델 학습 과정에서 발생하는 문제들을 데이터 전처리를 통해 없애주는 과정을 거쳐야 합니다.
• 그렇기에 최신 Bone Fracture Classification 논문을 조사해보니 VGG-16을 사용했을 때 성능이 괜찮게 나오는 것을 알게되었고, 추가적으로 위 논문에서 Grid search를 통해 적절한 Hyperparameter를 찾아 놓아서 저희의 모델에도 적용했습니다.
• VGG-16 모델에 FracAtlas 데이터를 input으로 주어 학습을 진행하였습니다.

Ⅰ) 기본 학습

• VGG-16 모델에 아무 처리 없이 학습 진행하니 train_loss는 쭉 감소하고, Val_loss는 감소하다가 증가하는 것을 확인할 수 있습니다. Loss값이 변하니 모델이 데이터를 통해 학습이 진행되는 것을 알 수 있습니다.
• 하지만 train_accuracy와 val_accuracy가 거의 변하지 않는 것을 알 수 있습니다. 이는 과적합일 확률이 높습니다.

Ⅱ) 데이터 증강 후 학습

• 과적합의 원인을 정상 데이터가 골절 데이터에 비해 너무 많아, 전부 정상으로 인식하는 경우 accuracy가 고정될 수 있다고 생각하여 데이터 증강을 진행하였습니다.
• ImageDataGenerator를 사용하여 각 데이터에 랜덤으로 회전, 좌우 이동, 상하 이동, 전단 변환, 확대/축소, 수평 반전 등을 통해 데이터를 증강해주었습니다. (기존 : 정상(3366), 골절(717) -> 증강 : 정상(3366), 골절(3316))

Ⅲ) Augmentation한 데이터를 VGG16 + Dropout + Early Stopping 모델로 학습

• 증강 후 학습한 결과를 보면 loss가 증가하다가 급증하는 것을 확인할 수 있습니다. 그렇기 때문에 early stopping 하여 학습을 종료시켜 주었습니다.
• 과적합 방지를 위해 Dropout 진행

Ⅳ) Classification 결과 확인

5️⃣ Reference

• https://www.nature.com/articles/s41597-023-02432-4
• https://etasr.com/index.php/ETASR/article/view/8050
• https://arxiv.org/abs/1409.1556
• https://www.nature.com/articles/s41597-023-02432-4