소개
안전관리 예지보전시스템 위한 모델 테스트
진행 방법
0. 사전 참고 자료
pre-trained 모델 성능
80개 클래스로 학습된 COCO 2017 데이터셋 기준, YOLOv8n 모델의 'person' 클래스 [email protected]는 0.61287로 보고
1. 테스트 데이터셋 38개 클래스별 성능 결과
클래스 불균형 및 일부 부족한 클래스 많음
yolo_classes = [ '안전밸트 착용', '안전밸트 미착용', '안전고리 결착', '안전고리 미결착', '안전화 착용', '안전화 미착용', '안전모 착용', '안전모 미착용', '포크레인', '페이로다', '지게차', '덤프트럭', '레미콘', '펌프카', '항타기', '트럭', '고소작업대', '타워크레인', '스카이', '갱폼', '알폼', 'A형 사다리', '우마', '분전반', '개구부 덮게', '위험물보관소', 'ELEV.추락방지막', '호이스트', '잭서포트', '강관비계', '시스템 비계', '시멘트벽돌', '망치', '전동드릴', '레미탈', '치장블럭', '믹서기', 'H빔', '고속절단기', '바이브레이터', '소화기', '용접기', '핸드그라인더', '핸드카', '불티방지막' ]
성능 요약
클래스별로 데이터셋 편차가 큼
Precision: 약
0.48→ 모델이 예측한 결과 중 절반 가까이는 정확함.Recall: 약
0.38→ 전체 객체 중 38% 정도만 검출, 놓치는 객체가 많음.[email protected]: 약
32%
특정 클래스(예: 덤프트럭, 전동드릴 등)는 비교적 높은 정밀도를 보였으나, 항타기, 위험물 보관소, 소화기 등의 클래스에서는 데이터 수 부족 및 분포 불균형으로 인해 검출 성능이 낮았음.
모델 학습중 사진
2. 실제 공사장 현장 영상 테스트
- 파인튜닝 전후 비교
1) 파인튜닝 이전 모델 테스트 (COCO 데이터셋 기반)
감지 성능: 사람 및 트럭 등을 감지하긴 했으나, 원거리에서는 거의 인식하지 못하고 시간이 지나고 감지됨.
결과: 멀리 있는 객체 감지 성능이 낮고, 검출 속도도 아주 빠르지는 않음.
2) 파인튜닝 이후 모델 테스트 (안전 장비 클래스 추가 훈련)
감지 성능: 안전 장비 관련 학습 클래스를 감지하기는 했으나, 여전히 정확도가 크게 개선된 것 같지는 않음.
결과: 감지를 놓치는 경우가 있음.
개선 방향
기존 방식으로 가능한 것은 괜찮겠으나, 상황에 따라 특정 장소 및 구도에 맞춰 필요시에는 추가적인 파인튜닝 및 데이터 보강 필요.
비지도 학습 활용 가능성 검토
정상 데이터를 학 습하고, 이상 상황 감지를 통해 알림 기능 추가.
더 고성능의 모델 또는 다른 최신 Object Detection 모델 고려
결과와 배운 점
결론
YOLOv8n 모델은 가벼운 모델로, 원거리 및 복잡한 환경에서는 일부 한계 점도 발견되어 객체 감지 성능이 완전하지는 않을 수 있음.
추가적인 튜닝, 데이터 증강, 그리고 다른 학습 방식(비지도 학습 등) 도입이 필요할 가능성이 있음.