< 소개 >
안냐세룡?
지피터스 측에서 사례 게시글 gpts 와 사례글 skills을 제공하는데도
비효율적으로 하나하나 일일이 쓰는
하이호라고 합니당~!!
이번에 저는 20기 안드로이드 앱 만들기 스터디를 하고 있습니다!
(버디 완장 찼습니다 -_-^)
그래서 무슨 앱을 만들까 고민고민 하 다가
예전에 가구 요정 앱 만들고 싶엇던 거를 하기로 했습니다!
그래서 만드는 건 바로!!
식물요정과 소통하는 앱!!
카메라로 식물 비추고
식물과 대화하고 (채팅)
식물의 표정이 바뀌는 걸 관찰합니다.
< 진행 방법 >
소재 선택 이유
딱히 만들고 싶은 명확한 앱 아이디어가 없는 상태로 스터디에 냅다 들어간 하이호!
게다가 버디까지 맡게 되는데...
버디가 되었다는 건 즉... 대충 흘러갈 수 없다는 뜻!
그리하여 하상(하이호씨라는 뜻)은 많은 아이디어 중에 뭐를 구현해야 효율적인지 고민하였어요.
혹시나 싶어 클로드에게 구현 가능성을 질문하였고
테스트로 웹 버전을 구현해본 결과... 생각보다 쉽게 되었습니다!
카메라 켜고 손바닥 보여주면 로봇이 나오는데, 손바닥을 휙 빠르게 빼내고 카메라를 끄면
바보 로봇과 대화를 할 수 있었습니다.
그렇다면 생각보다 앱도 나름 만들 수 있는 거 아닐까? 🤔
라고 생각하여...
안드로이드 스튜디오랑 플러터랑 클로드코드 이용해서 만들 거니까 모바일용 식물요정 프롬프팅 청크 만들어주라.
처음은 전반적인 안내랑 청크로 나눠서 작업할 거라는 지시, 그 다음 1단계씩 지시.
AR로 식물을 인식하면 표정(눈과 입 정도면 ㅇㅋ)이 뜨고...
이거 가능하려나?
클로드로 프롬프팅 청크를 짜고
스터디 ot 수업 때 배운대로 vs코드에서 클로드코드 켜고 작업을 지시하였습니다!
+) 청크 외에 추가로 간단하게 기획하여 메인화면과 기본 기능들 개선하였습니다.
한도... 또 한도... 또 한도
구현하는 와중에 한도 끝나고 오류 테스트 하는데 한도 끝나고의 반복.
찔끔찔끔 구현하는 과정...
그래도 결국 모든 프롬프트 청크를 작업시킬 수 있었습니다.
그럼 이제 테스트를 해야져.
테스트 해보는 거 쉽지 않다!!
보통의 앱이라면 크롬, 엣지 이런 웹 브라우저로도 테스트 할 수 있는 것 같습니다.
그런데 저는 휴대폰 카메라만 인식할 수 있는 패키지를 사용해서 휴대폰으로만 해야 했었습니다...
한국사이트 스크린샷
ai한테 물어물어 겨우 테스트 실행!!
처음에 개발자 도구 바로 못찾아서 헤맸는데, 알고 보니 제가 검색으로 안나와서 없는 거라고 생각했던 거였어요.
아무튼 성공적으로 usb 연결하고
flutter run했더니 폰에 깔리면서 잘되기 시작.
인?식?이? 안된다?
한국어 웹사이트 스크린샷
처음에 연결 완료하자마자 '아맞다 우리 집에 식물 없는데 어떻게 테스트하지'
그랬더니 식물 사진 띄워보래요. 말 잘 듣는 하이호는 바로 그렇게 했는데
안되는 겁니다!!
이 과정에서 엄청 난항을 겪었는데
계속 터미널 오류 주면서 안돼 우엥을 했어요.
flutter log를 해서, 로그를 던져줌
ai가 자기가 실수한 코드 오류를 고침
문제의 원인을 확인하기 위해 (실시간 처리가 잘 안되는 걸 수도 있어서) 카메라로 찍어서 결과 뜨게 하는 기능을 ai가 추가함
ml ki - 스크린샷
그랬더니 패션 굿즈랑 홈 굿즈 테마는 뜨는데, 객체 감지되었다고 뜨는데
식물은 안되었음.
ML Kit 기본 모델이 식물 학습 데이터 부족하다고 퍼플렉시티가 말해줌.
"식물 "있음/없음"만 필요하다면 Object Detection 대신 Image Labeling 추천 (더 가볍고 일반 객체 잘 잡음)." 이라고 퍼플렉시티가 추천하여, 클로드코드에게 전달함.
https://developers.google.com/ml-kit/vision/image-labeling/label-map 를 보고 기본적으로 식물에 여러 카테고리 있음을 확인
그랬더니 갑자기 인식이 잘 되네여??
한국어 채팅 메신저 - 스크린샷
원인을 몰라서 써달라 했더니:
....? 3시에 한도 리셋...? 지금 오후 3시 35분인데... 설마 내일 오후...? ㄷㄷㄷㄷㄷ
추가로 api 연결 난항
ai가 기본으로 1.5 플래시 모델로 세팅해놨는데
저는 웹 테스트 하면서 최근 모델이 2.5 플래시인 거 알았습니다.
그래서 바로 해결~!
응답 잘 되다 말았다 하기
조금 어려운 질문하면 바로 오류 뜨기 ㅋㅋ
이거 페르소나 설정이 순수하고 뭐 그런 걸로 되어서 그럴 수도 있고, 플래시 모델 자체의 연산량 제한일 수도 있고, 원인이 뭘까요? (오류메시지 영어라서 눈에 안보임)
아니 이거 무료플랜 때문이었네요 ㅠㅠ 마 제미니 무료라캐서 설렜다 안카나
한국어 채팅 메신저 - 스크린샷
< 결과 >
싫다고 하면 시무룩해하는 새싹이 보고 가세용.
<뿌듯한 점>
끼얏호 저도 앱을 설치하였답니다~~~ ^0^
끼얏호 ar + 카메라 인식 무료로 완료!!
api까지 연결해봤어요
< 배운 점 >
어렵고 모르는 스택 다룰 때, 잘 안되면, 퍼플렉시티한테 물어서 뜯어봐라.
조금이라도 그 기술 스택에 대해서 알면 도움된다. 클코는 기본적인 것만 아는 것 같다...
공식문서를 찾아서 주는 것도 방법 (알던 거였지만 새삼 깨달은...)
하쨩도 할 수 있는 거였구나
< 개선점 & 액션플랜 >
도움이 필요한 부분이 있나요? 그것은 바로 아래의 모든 것 >.<
- 핵심 기능 측면
인식 버벅.버벅.버버벅 문제 해결
카메라 객체 깔끔하게 안뜨는 문제
카메라 테스트 기능 우짤까의 문제
json 고쳤는데 또 이거로 응답하는 문제
응답 파싱 고쳐달라 했었는데 와이라노 사우루스.. ㅜ.ㅜ
- 앱 기본 구축 측면
메인화면 ui 고치기
스티치 mcp
프레임워크
구상과 다르게 된 부분 고치기
등록한 식물 관리하는 탭
식물 표정 디자인
스토리 보강하기 -> api 연결을 식물과 소통하는 마법의 어쩌고로 바꾼다거나...
로고와 앱 이름
대화 내역 저장 등, 정을 쌓게 하는 방법...
- 작업 효율 측면
클로드코드가 터미널을 읽게 하는 법
클로드코드 한도 넘 적은디 이거 우짜까욘
실시간으로 컴에서 보는 방법 없을까요? 발표할 때 시연하는 것도, 캡쳐하는 것도... 블루 스택 이런 거 깔아야 하나...
