[간단 자기소개]
커리어의 대부분을 개발직군으로 보냈으며, 작은 스타트업 2,3업 창업 경험이 있고 AI기반 재밌는 서비스들을 만들어보고 싶어 최근에 다시 집중적으로 공부하려고 합니다. 그래서 Gpters 11 기에 참여했습니다. 현재는 창업준비중입니다.
[Overview]
지난 OT시간에 파트너님의 소개 내용을 듣다가 예전에 메모해둔 아이디어 중에 이번 기간에 만들어보면 재밌을거 같은 아이디어가 떠올라 해당 프로젝트를 진행하며 허깅페이스 부분을 공부하며 활용하고 문제 발생시 해결해 가는 과정을 공유하려고 합니다. 많은 코멘트 부탁드립니다^^
[Goal]
11기 끝나기전에 프로토타입을 만들어보려고 합니다. 해결하려고 하는 문제점과 해결책, 그 중에 허깅페이스를 활용해 적절한 모델을 찾는 과정 및 서비스 연결하는 부분까지 해보려고 합니다.
[Progress Step]
👉 w1 - 문제 해결의 핵심 모델 탐색
w2 - 모델 적용방향 결정
w3 - 해당 모델 적용한 서비스 구조 설계 및 개발(Prototype)
w4 - Prototype 개발 완료
[Problem]
러닝(로드 or 트레일) 틀 대회 장비와 복장 중 중요한것을 가끔 놓치는 경우가 있다.
[Solution]
대회 준비물 사진 한장으로 품목 리스트 체크
(add-on) 이쁘게 가공된 사진으로 인스타(SNS 등) 등록할수 있게
[Reference]
레디샷이라고 인스타에서는 유행처럼 대회전 장착전 물품 및 복장 사진을 많이 찍어 올린다.
샘플이미지
[진행상황 - HuggingFace 모델 리서치 중…]
핵심 기술 목표: 이미지에서 각각의 Object들을 잘 선별하고 이름까지 알아내야 함
현재는 huggingface. 여러 종류의 모델들을 deploy 해서 간단히 돌려보는 중…
Model : Computer Vision > Image Classification
대부분 Deploy 성공
다만 결과가 부족하거나 fit 이 맞지 않음
Model : Computer Vision > Zero-Shot Object Detection, Zero-Shot Image Classification
계속 Deploy 중 서버 에러 로그 중 정상 실행 안됨
또는 바로 실행할수 없고 Amazon SageMaker에서만 가능한 상태(아직 미실행 중)
Model : Computer Vision > Zero-Shot Image Classification
HuggingFace의 가장 장점 중 하나! 바로 손쉽게 해당 모델 Deploy 쉽게 가능!!
facebook/detr-resent-50
nfw_image_detection
google/vit-base-patch16-224
Deploy 이후 실행 시 에러 발생하는 모델들
https://huggingface.co/spaces/Gaejoon/openai-clip-vit-base-patch32?logs=container
Pro Subscription 결재 후 다시 시도
무료 계정이라 deploy 제한이 있나 싶어 » 유료 결재
ㅎㅎ 똑같이 에러나는거 같음
[Q&A] » 정정민 파트너
해당하는 기술이 vision 쪽에서, “image classification or Zero-Shot Object Detection or Zero-Shot Image Classification”로 예상되어 찾아보고 있는데요.
적절한 방향성이나 가이드 요청
» 해당하는 기술이 vision 쪽에서, “image classification or Zero-Shot Object Detection or Zero-Shot Image Classification”로 예상되어 찾아보고 있는데요.
-> 네, 크게 보면 Classification과 Detection 계열에 속합니다. Classification은 이미지에 있는 가장 큰 객체 하나의 종류를 찾는 과제이구요, Detection은 이미지 안에 특정 객체(들)의 위치와 종류를 찾는 문제입니다. Classification은 딱 하나의 범주로 나누기에 Detection이 계준님 상황에서는 더 적절해보이네요. 신발, 양말, 옷 등등 찾아야 할 객체가 여럿으로 보여서요!
일단 Image Detection 분야로 확인해보시면 좋을 것 같습니다. 다만, 이 문제에 딱 fit 하게 학습된 모델은 없어보입니다. 그래서 추가 학습을 진행하실 예정인지 아닌지가 중요해보여요. 만약 추가 학습을 하신다면 데이터 수집 및 정제에 대한 고민이 필요합니다. 추가 학습을 하지 않는다면, 여러 모델을 통합해서 사용하면 어떨까 싶어요. 뭐, 신발을 찾는 모델 따로 돌리고, 선글라스를 찾는 모델을 따로 돌리고 이런 방식으로요. 하지만 이렇게 된다면 찾고자 하는 모델이 없을 경우 문제가 있을 수 있겠죠 ㅠㅠ 이런 문제를 일부 해결할 수 있는 모델이 Zero-Shot 류의 모델인데 아무래도 정확도 부분에서 떨어지는 모습을 보일 수 있습니다 ㅠㅠ
huggingface에 무료로 deploy 가능해서 몇개 모델 확인해 봤는데, 이상하게 몇개째 이후로는 서버 실행시 에러나는게 혹시, 무료 계정이라 deploy 서버 제한 같은게 있나요?
» HF는 무료로 돌아가는 플랫폼입니다. 진행이 되다가 중간에 멈추는 상황은 저도 처음 보는 현상이네요 ㅠㅠ 혹시 실행하는 Space를 알려주시면 저도 살펴보겠습니다!
[To do List]
적절한 모델 검색 및 선정(1차)
모델 적용하는 방법을 선택
w1 - 문제 해결의 핵심 모델 탐색
👉 w2 - 모델 적용방향 결정
w3 - 해당 모델 적용한 서비스 구조 설계 및 개발(Prototype)
w4 - Prototype 개발 완료
향후에도 1주 동안 진행하며 실패하고 배운 내용들 공유하도록 하겠습니다.
고맙습니다.
아이디어나 코멘트 달아주세요~
#11기HuggingFace #11기허깅페이스