🐶 루이가 루이 사진 골라줌 — 강아지 유치원 앨범 자동 필터링기 만든 이야기

# 🐶 루이가 루이 사진 골라줌 — 강아지 유치원 앨범 자동 필터링기 만든 이야기

## 📝 한줄 요약
강아지 유치원 앨범에서 우리 강아지 사진만 자동으로 골라 사진 앱에 저장해주는 AI를 만들었어요.

---

## 🎯 이런 분들께 도움돼요
- 어린이집·유치원 단체 앨범에서 우리 아이 사진 찾는 게 귀찮은 부모님
- 반복적인 수작업을 AI로 줄이고 싶은 분
- 코딩 몰라도 나만의 자동화 도구를 만들고 싶은 분

---

## 😫 문제 상황 (Before)

루이는 월·수·금 강아지 유치원에 다니고 있어요.
선생님이 매번 그날 찍은 사진을 앨범에 올려주시는데, 문제는 **반 강아지들 사진이 전부 섞여서 올라온다**는 거예요.

루이 사진을 받으려면 매번 수십 장을 하나하나 넘겨보면서 루이가 나온 것만 골라 저장해야 했어요.
월수금 세 번이 쌓이면 꽤 번거로운 작업이 되더라고요.

> "루이가 유치원 가는 날마다 선생님이 사진을 올려주시는데, 다른 강아지들 사진까지 전부 섞여 있어서 루이 것만 골라내는 게 매번 일이었어요."

---

## 🛠️ 사용한 도구
- **Claude Code** (claude-sonnet-4-6) — 전체 코드 설계 및 구현
- **헤르메스** (나만의 AI 에이전트) — 실행 및 자동화 연동
- **CLIP AI** — 루이 얼굴 학습 및 사진 분류

---

## 🔧 작업 과정

### "루이 사진 학습시켜줘"

Claude Code에게 루이 사진 몇 장을 보여주고 이렇게 생긴 강아지가 나온 사진만 골라달라고 했어요.
AI는 루이의 외형적 특징을 학습해서 새로운 사진이 들어올 때마다 "이게 루이인지 아닌지"를 판단하기 시작했어요.

처음엔 코딩을 짜는 느낌이 아니라 AI와 대화하듯 요구사항을 말하면 알아서 만들어주는 방식으로 진행됐어요.

### 처음엔 오류도 있었어요

첫 번째 결과물은 76장 중 73장을 루이로 분류했어요. 너무 관대한 기준이었죠.
그래서 **잘못 들어온 사진들을 직접 골라 "루이아님" 폴더에 넣었어요.**

그랬더니 AI가 그걸 보고 스스로 기준을 다시 잡더라고요.
반대로 너무 엄격해진 구간엔 "맞는 사진" 폴더를 만들어 다시 피드백을 줬어요.

> "처음엔 오류가 좀 있었지만, 루이인 것·루이 아닌 것을 다시 분류해서 재학습시켰을 때 정확도가 점차 올라가는 게 신기했어요."

이걸 몇 번 반복하다 보니 76장 중 **정확히 41장**만 골라내는 수준이 됐어요. 사람이 직접 고른 결과와 일치했고요.

### 그런데 웃긴 게 있어요

제 에이전트 이름이 **루이-휴먼버전**이에요. 루이의 인간형이라는 콘셉트인데,
루이(에이전트)가 루이(강아지) 사진을 골라주는 상황이 된 거예요. ㅋㅋ

### 헤르메스에 연결하면 끝

완성된 코드를 내 AI 에이전트 헤르메스에 연결했어요.
이제 유치원 다녀온 날 헤르메스한테 한 마디만 하면 돼요.

> "어제 유치원 가서 찍은 사진 앨범에 다운받아줄래?"

그러면 헤르메스가 알아서 키즈노트에 접속하고, 오늘 올라온 사진들을 가져와서, 루이가 나온 것만 골라 사진 앱에 저장해줘요.

![헤르메스 작업 처리 중](ss1.png)

![헤르메스 작업 완료 — 76장 중 41장 루이 사진 저장](ss2.png)

---

## ✅ 결과 (After)

![사진 앱에 자동 저장된 루이 사진들](ss3.png)

| | Before | After |
|---|---|---|
| 사진 확인 방법 | 앨범에서 직접 한 장씩 확인 | 헤르메스에게 채팅 한 줄 |
| 소요 시간 | 매번 수동 작업 | 자동 처리 |
| 결과 | 직접 저장 | 사진 앱에 자동 저장 |
| 오류 가능성 | 깜빡하거나 놓칠 수 있음 | 기준에 맞게 일관되게 처리 |

> "매번 사진을 일일이 확인하면서 앨범에 다운로드하는 게 번거로운 작업이었는데, 이제 수고를 덜 수 있게 됐어요."

---

## 💬 AI 활용 팁

**피드백을 줄수록 정확해져요**
AI가 처음부터 완벽하진 않아요. 근데 "이건 맞고 이건 아니야"라고 계속 알려주면 내 기준에 맞게 점점 정교해져요. 이 프로젝트도 루이인 것 / 루이 아닌 것을 몇 번 분류해주면서 정확도를 높였어요.

**반복 작업이 있다면 한번 맡겨보세요**
코딩을 몰라도 돼요. "이런 게 귀찮은데 자동화해줘"라고 말하는 것만으로도 시작할 수 있어요.

---

## 📋 재사용 가능한 프롬프트

> "루이가 월수금에 강아지 유치원을 가. 가면 항상 앨범에 사진과 동영상을 올려주는데, 나는 루이가 나온 사진과 동영상만 받고 싶거든. 일일이 모든 사진과 동영상을 다 봐야 하는 게 너무 번거롭고 피곤해. 대상 인식 방식을 사용해서 루이가 나온 것들만 내 앨범에 다운로드받을 수 있게 해볼 수 있을까?"

## 🐾 그리고 — 강아지에서 '아이'로, 도구에서 '서비스'로

사실 위 도구를 만들면서 생각했어요. "이거, 아이 사진에도 똑같이 되겠는데?"
어린이집·유치원 단체 사진에서 우리 아이만 골라내는 것도 완전히 같은 방식이거든요.

그래서 **진짜로 그렇게 해봤어요.** 그런데 막상 시작하니, "나 혼자 쓰는 도구"와 "남들도 쓰는 서비스" 사이엔 생각보다 큰 강이 있더라고요. 그 강을 건넌 이야기를 이어서 적어볼게요.

### 목표가 바뀌었어요: "내 도구" → "서비스"

1편의 도구는 솔직히 **나만 쓸 수 있는** 물건이었어요. 내 컴퓨터에서, 내 아이디로 로그인해서, 결과를 폴더에 받는 방식. 친구한테 "너도 써봐" 하기엔 너무 거칠었죠.

그런데 주변 부모들도 똑같이 겪고 있었어요. 키즈노트에 매일 사진이 올라오는데 **우리 아이만** 골라 저장하는 게 다들 일이었죠. 그래서 목표를 바꿨어요 — **키즈노트 아이디만 있으면 누구나 폰에서 바로 쓰는 서비스를 만들자.**

### 프로토타입은 헤르메스로, 디테일은 클로드코드로 직접

거창하게 시작하지 않았어요. 헤르메스랑 그냥 **말로** 골격부터 만들었어요. "로그인하면 최근 사진 100장을 가져오고, 내가 예/아니오로 골라주면 그걸 기준으로 삼자" — 이런 흐름을 대화로 정하고 동작하는 뼈대를 빠르게 세웠죠. 이 단계까진 헤르메스가 정말 수월했어요.

그런데 **기능이 디테일해질수록 작업 방식이 자연스럽게 바뀌더라고요.** 세밀하게 다듬는 단계에선 **클로드코드(Claude Code)를 직접 쓰는 게 훨씬 직관적이고 효율적**이었어요. 코드와 화면을 바로 보면서 "이 버튼은 이렇게, 이 조건은 저렇게" 곧장 고치는 흐름이, 한 단계 거쳐 전달하는 것보다 손에 더 잘 잡혔거든요. **빠른 골격은 에이전트(헤르메스)로, 정교한 마무리는 코딩 도구(클로드코드)로** — 단계에 따라 도구를 갈아탄 거예요.

![헤르메스와 대화하며 프로토타입을 잡아가는 화면](2-ss1.png)

### 디자인을 제대로 입혔어요

프로토타입은 굴러갔지만 **남에게 보여줄 얼굴**은 아니었어요. 그래서 Claude에게 디자인을 새로 요청했어요. "엄마들이 폰에서 3분 만에 끝낼 수 있는, 부드럽고 안심되는 톤으로." 카피 한 줄("내 아이 사진만, 알아서 모아드릴게요")부터 색감·버튼·여백까지 새로 잡았어요.

### '진짜 제품'이 되는 기능들

여기서부터가 길었어요. 시연용이 아니라 **실제로 동작해야** 하니까요. 하나씩 붙였어요.

- **로그인 & 온보딩** — 키즈노트 아이디로 로그인 → 최근 사진 불러오기
- **기준 만들기** — 최근 사진을 예/아니오로 골라 우리 아이 '얼굴 기준' 학습
- **얼굴 탭(tap)** — '예'인 사진에서 아이 얼굴을 한 번 톡 찍으면, 그 부분을 기준으로 더 정확히
- **자동 필터 + 저장** — 원하는 기간 사진을 AI가 골라 → 폰 사진 앱에 한 번에 저장(또는 ZIP)
- **자동 알림 예약** — 요일·시간을 정해두면, 그 시간에 '새로 받을 사진' 링크를 이메일로
- **공유 링크** — 준비된 사진을 링크로 받기

![실제 서비스 — 모바일 로그인/온보딩 화면](2-ss3.png)

![사진을 예/아니오로 고르고, '예' 사진에선 아이 얼굴을 톡 찍어 기준을 잡는 화면](2-ss4.png)

---

## 🎯 진짜 관문은 '인식률' — 그것도 *정해진 비용 안에서*

서비스의 심장은 결국 **"우리 아이를 정확히 골라내느냐"**였어요. 단체 사진엔 비슷한 또래(강아지면 같은 견종)가 5~15명씩 섞여 있거든요. 여기서 **정해진 비용 수준을 지키면서** 정확도를 올리려고 여러 시도를 했어요.

**① 모델을 바꿨어요 (CLIP → 비전 AI).**
1편의 CLIP은 "닮은꼴"엔 약했어요. 그래서 사진을 직접 '보고 설명'할 수 있는 **비전 AI**로 교체했어요. 비용·속도를 고려해 **Gemini 2.5 Flash**를 기본으로, 필요 시 **GPT-4o**를 백업으로 두는 구조로요.

**② 기준 사진의 '품질'을 올렸어요.**
아이 얼굴을 탭하면, 서버가 그 지점을 중심으로 **사진 크기에 맞춰 적응형으로 잘라(crop)** 또렷한 얼굴만 모델에 보여줘요. (작은 썸네일은 넓게, 큰 사진은 타이트하게.) 기준이 선명할수록 판별이 정확해지니까요.

**③ "닮은 오답"을 일부러 가르쳤어요.**
맞는 예시(긍정)만이 아니라, **"비슷하게 생겼지만 우리 아이가 아닌"** 예시를 같이 학습시켰어요. AI가 헷갈리기 가장 쉬운 게 바로 이 닮은꼴이라서요.

**④ 파라미터를 바꿔가며 실험했어요.**
통과 기준값(confidence), 한 번에 묶어 보는 사진 수(batch), 기준 예시 개수(긍정 30 / 부정 10 등)를 이리저리 바꿔봤어요.

**⑤ 그냥 '느낌'으로 안 하고, 측정했어요.**
제가 직접 고른 **정답지**를 만들어 두고, AI 결과와 자동으로 대조하는 **평가 도구**를 만들었어요. **정밀도(엉뚱한 게 안 섞였나) · 재현율(놓친 건 없나) · F1**을 숫자로 뽑고 설정별로 비교했죠. 심지어 **한 번 돌릴 때 드는 비용(원)까지** 같이 계산해서 "이 설정은 정확도는 좋은데 비용이 2배네" 같은 판단을 했어요.

![인식률·비용 비교 — 설정별 정밀도/재현율/F1과 회당 비용](2-ss5.png)

> 핵심 균형추: **놓침은 영영 못 받는 거라 치명적**이고, **오답은 보고 지우면 그만**이에요. 이 둘의 무게를 저울질하면서 기준값을 정했어요.

**⑦ 비용은 '구조'로 묶었어요.**
저렴한 비전 모델 + 전송 전 **이미지 축소** + 여러 장 **묶음 처리** + 무거운 작업은 **백그라운드 큐**로. 그래서 사진 한 장을 판단하는 비용이 **1원도 채 안 되는 수준**으로 유지됐어요.

---

## ✅ 지금은 여기까지 왔어요

![자동 알림으로 받은 '우리 아이 사진' 링크](2-ss7.png)

| | 처음 (로컬 도구) | 지금 (서비스) |
|---|---|---|
| 쓸 수 있는 사람 | 나 하나 | 키즈노트 쓰는 누구나 |
| 실행 방법 | 내 PC에서 스크립트 | 폰에서 웹 접속 |
| 인식 엔진 | CLIP | 비전 AI(Gemini 2.5 Flash, 백업 GPT-4o) |
| 정확도 관리 | 폴더로 수동 피드백 | 정답지 기반 **정밀도/재현율 측정 + 튜닝** |
| 비용 관점 | 거의 신경 안 씀 | **사진 1장당 1원 미만**으로 설계 |
| 자동화 | 채팅으로 1회 실행 | **요일·시간 예약 → 이메일 자동 발송** |

> "혼자 쓰려고 만든 걸 서비스로 키우면서, '정확도'와 '비용' 사이에서 균형을 잡는 게 진짜 일이었어요. 그런데 그걸 **측정해가며** 결정할 수 있다는 게 가장 큰 수확이었어요."

---

## 💡 서비스로 키우면서 배운 것

**큰 골격은 에이전트로, 디테일은 코딩 도구로 직접**
대화로 시키는 에이전트(헤르메스)는 **프로토타입을 빠르게 찍어내는 데** 최고였어요. 그런데 기능을 **세밀하게 다듬는 단계**에선 클로드코드를 직접 쓰는 게 더 직관적이고 효율적이었어요. 단계에 따라 도구를 갈아타는 것도 요령이에요.

**"정확도 올려줘"는 막연해요 — 측정 도구부터 만드세요**
"더 정확하게"는 AI도 못 알아들어요. 대신 **정답지 + 점수(정밀도/재현율)**를 만들어 두면, 어떤 설정이 진짜 더 나은지 *숫자로* 보여요. 비용까지 같이 재면 의사결정이 명확해져요.

**비용은 '모델 선택'보다 '구조'에서 더 줄어요**
이미지 축소·묶음 처리·백그라운드 큐 같은 구조적 선택이, 비싼 모델을 싼 모델로 바꾸는 것만큼이나 비용을 줄여줬어요.

---

## 🐾 마무리

강아지 사진 한 장 골라주던 작은 도구가, 어느새 **남들도 쓸 수 있는 서비스**가 됐어요.
가장 크게 배운 건, AI로 만드는 게 코드 짜기가 아니라 **결정의 연속**이라는 거예요 — 어떤 모델을, 어떤 기준으로, 얼마의 비용으로. 그리고 그 결정을 **감이 아니라 숫자로** 할 수 있게 도구를 만들어 두면, 비개발자도 꽤 멀리 갈 수 있더라고요.

귀찮은 반복이 있다면, "이거 자동화해줘" 한 마디로 시작해보세요. 의외로 멀리까지 갑니다.

엄마, 아빠들 화이팅! 🐶🍼