산업환경 안전관리 예지보전시스템 개발 (2/4) - 모델 테스트
2025.02.04

소개
안전관리 예지보전시스템 위한 모델 테스트
진행 방법
0. 사전 참고 자료
pre-trained 모델 성능
모델 | |
|---|---|
YOLOv8n | 68.7% |
YOLOv8x | 71.0% |
80개 클래스로 학습된 COCO 2017 데이터셋 기준, YOLOv8n 모델의 'person' 클래스 [email protected]는 0.61287로 보고
1. 테스트 데이터셋 38개 클래스별 성능 결과
클래스 불균형 및 일부 부족한 클래스 많음
yolo_classes = [ '안전밸트 착용', '안전밸트 미착용', '안전고리 결착', '안전고리 미결착', '안전화 착용', '안전화 미착용', '안전모 착용', '안전모 미착용', '포크레인', '페이로다', '지게차', '덤프트럭', '레미콘', '펌프카', '항타기', '트럭', '고소작업대', '타워크레인', '스카이', '갱폼', '알폼', 'A형 사다리', '우마', '분전반', '개구부 덮게', '위험물보관소', 'ELEV.추락방지막', '호이스트', '잭서포트', '강관비계', '시스템 비계', '시멘트벽돌', '망치', '전동드릴', '레미탈', '치장블럭', '믹서기', 'H빔', '고속절단기', '바이브레이터', '소화기', '용접기', '핸드그라인더', '핸드카', '불티방지막' ]
성능 요약
클래스별로 데이터셋 편차가 큼
Precision: 약
0.48→ 모델이 예측한 결과 중 절반 가까이는 정확함.Recall: 약
0.38→ 전체 객체 중 38% 정도만 검출, 놓치는 객체가 많음.[email protected]: 약
32%
특정 클래스(예: 덤프트럭, 전동드릴 등)는 비교적 높은 정밀도를 보였으나, 항타기, 위험물 보관소, 소화기 등의 클래스에서는 데이터 수 부족 및 분포 불균형으로 인해 검출 성능이 낮았음.
모델 학습중 사진

2. 실제 공사장 현장 영상 테스트
- 파인튜닝 전후 비교
1) 파인튜닝 이전 모델 테스트 (COCO 데이터셋 기반)
감지 성능: 사람 및 트럭 등을 감지하긴 했으나, 원거리에서는 거의 인식하지 못하고 시간이 지나고 감지됨.
결과: 멀리 있는 객체 감지 성능이 낮고, 검출 속도도 아주 빠르지는 않음.

2) 파인튜닝 이후 모델 테스트 (안전 장비 클래스 추가 훈련)
감지 성능: 안전 장비 관련 학습 클래스를 감지하기는 했으나, 여전히 정확도가 크게 개선된 것 같지는 않음.
결과: 감지를 놓치는 경우가 있음.

개선 방향
기존 방식으로 가능한 것은 괜찮겠으나, 상황에 따라 특정 장소 및 구도에 맞춰 필요시에는 추가적인 파인튜닝 및 데이터 보강 필요.
비지도 학습 활용 가능성 검토
정상 데이터를 학습하고, 이상 상황 감지를 통해 알림 기능 추가.
더 고성능의 모델 또는 다른 최신 Object Detection 모델 고려

결과와 배운 점
결론
YOLOv8n 모델은 가벼운 모델로, 원거리 및 복잡한 환경에서는 일부 한계 점도 발견되어 객체 감지 성능이 완전하지는 않을 수 있음.
추가적인 튜닝, 데이터 증강, 그리고 다른 학습 방식(비지도 학습 등) 도입이 필요할 가능성이 있음.
로그인하고 댓글을 남겨 주세요
YOLO 같은 모델의 성능이 궁금했었는데 생각보다는 좋지 못했나 보네요.
원거리가 어느 정도인지는 모르겠으나 모델 자체의 원거리 인식률을 높이는 것이 힘들다면 카메라의 배치나 개수 조절을 통해서도 성능을 높일 수 있지 않을까라고 막연한 생각을...;;
앞으로도 많은 공유 부탁드립니다.
카메라 테스트 할 때는 성능이 많이 좋다고 느꼈는데, 서비스 이전에 문제를 찾는다는 생각으로 여러 테스트를 하다보니, 모델에 학습된 데이터와 차이가 나는 데이터에 대해 아쉬운 점들도 발견된 것 같습니다. 의견 감사드립니다 :)




데이터 기반 실시간 모니터링으로 현장의 안전을 더욱 강화할 수 있을 것 같습니다. 제가 예전 사업 평가 갔을때 봤던 솔루션과 비슷한데요 AI 자동화 & 경고 시스템을 추가하면 사고 예방 효과도 극대화되지 않을까요?
앞으로 이 솔루션을 어떤 방향으로 확장해 나가실건지 궁금합니다!
예를 들어, 맞춤형 대시보드나 AI 기반 사고 예측 기능도 고려 중이신지 궁금합니다
관심 보여주셔서 감사합니다.
AI 기반 사고 예측 및 방지 알림 및 가동 중지 기능 등 준비중 입니다.
팀 프로젝트로 하고 있어서 다양한 분야에 확장 의견들 논의 되고 있습니다.
제 개인 의견으로는 어느 현장에서든 쉽게 설치 할 수 있는 저전력 가성비 제품이 강점이 되길 기대하고 있습니다. :)