🤖ViT(Visual transformer) Finetuning을 이용한 피부나이 예측 모델 제작

안녕하세요. 신약개발 스터디장 강성준입니다.

제가 지난번에 "피부 노화"와 관련한 콜라겐 알파폴드 내용으로 사례글 진행을 했는데, 그러다 보니 자연히 서비스화쪽에 생각이 미쳐, 피부 노화를 Visual Transformer (LLM이 Text의 transformer이듯이, image의 transformer라고 생각하시면 편합니다.) 모델로 측정하면 어떨까 하는 생각이 들었습니다.

그래서 제가 기존에 만들어두었던 허깅페이스 모델을 파인튜닝했습니다.

ALT

아기의 얼굴이 웹 사이트에 표시됩니다

사실 제가 하고 싶었던 것은 좀 더 잘 작동하는 ViT 모델이었습니다만...

갑자기 제가 쓰던 Bing Image search API가 뻗어버리는 바람에, Google image Search API로 변경했더니만 품질이 오히려 확 안좋아졌습니다ㅜㅜㅜㅜㅜ

Bing Image search API는 한번에 150개까지 스크래핑이 가능한데 비해, 구글은 자동으로 10장 밖에 안되서ㅜㅜ 이미지 갯수가 딥러닝에 필요한 숫자에 비해 너무 적어서인 것으로 추정됩니다.

ALT

노인과 아이를 보여주는 웹 사이트 스크린 샷

그래서 처참하게 실패하며 마무리하였습니다.ㅎㅎㅎㅎㅎ