[호연지재] 현장 지식을 담아 "와이어 하네스 비전 검사 프로그램"을 만들었습니다

📝 한줄 요약

호연지재(hovision.co.kr) 의 주요 생산제품인 하네스비전검사기와 관련하여,
와이어 하네스의 불량을 구분하는 현장 지식을 AI에 전달해, 실제 산업용 카메라와 연결되는 Windows 검사 개발판을 만들었습니다. 사진으로 판단 기준을 맞추고, 직접 프로그램을 조작하며 오류를 고친 HVHarness_v2 개발 과정입니다.

바쁘시면 이것만 읽어도 돼요:

• 목표: 전선의 색상·순서와 단자의 삽입 상태를 확인하는 검사 프로그램을 만드는 것이었습니다.

• 시작 방법: 사지선다 질문표와 코멘트로 필요한 기능과 작업 순서를 구체화했습니다.

• 중요한 전환: 단자 사진에서 차이가 잘 보이지 않자, 현장 판단으로 관찰 부위를 바꿨습니다.

• 협업 방식: 저는 사진·정답·사용 중 증상을 전달하고, AI는 화면·검사 기능·시험·문서를 구현했습니다.

• 남긴 결과물: 실제 카메라가 연결되는 앱, 제품별 설정, 검사 기록, 매뉴얼과 복구 가능한 백업입니다.

• 배운 점: 사람이 판단 기준을 구체적으로 전달하고 실제 사용 과정으로 확인해야, 구현을 다음 단계로 발전시킬 수 있었습니다.

2026년 9월 20일까지의 작업 기록입니다. 현재는 현장 검증을 진행하는 개발판입니다.

🎯 이런 분들께 도움돼요

• 제조·품질 현장의 경험을 프로그램으로 옮기고 싶은 분

• AI 코딩 도구로 카메라나 장치가 연결되는 앱을 만들어 보고 싶은 분

• 여러 대화에 걸친 개발에서 작업 맥락을 이어가는 방법이 필요한 분

😫 문제 상황 (Before)

와이어 하네스는 여러 전선과 커넥터가 묶인 부품입니다. 이번에 찾으려던 문제는 전선의 색상이나 순서가 틀리는 오배선, 그리고 단자가 끝까지 들어가지 않는 설삽이었습니다.

개발 플랜에서는 비슷한 전선 색과 작은 단자 상태를 반복해서 눈으로 구분하는 일을 과제로 삼았습니다. 카메라 영상에서 검사할 위치를 지정하고, 결과와 문제 위치를 보여주며, 검사 이력까지 남기는 Windows 프로그램이 목표였습니다. HVHarness 개발 플랜

이미 만들어 둔 프로그램이 있었지만 필요한 기능과 완성도가 부족해 재작업을 요청했습니다. 그때 전달한 내용 중 일부입니다.

기존 프로그램이 만족스럽지 못하게 작업이 되어서 재작업을 하는 것이니 조금이라도 미심적한 부분이 있으면 언제든지 나한테 확인 질문을 해줘.

용평 워케이션 지원을 위해 세운 최초 계획은 카메라 1~2대와 최대 40개 연결 위치를 지원하는 앱을 3박 4일 동안 단계적으로 만드는 것이었습니다. 실제 재작업에서는 대표 제품과 카메라 한 대로 시작해, 동작을 확인하며 범위를 넓혔습니다. 이 글은 그 계획에서 실제로 진행한 내용을 정리한 개발기입니다.

🛠️ 사용한 도구

사용 모델: Codex 세션 기록상 GPT-6·GPT-5.6 계열을 작업별로 사용했습니다. TypeSafe의 Jev 1.13.0도 별도의 비교 실험에 사용했으며, 결과는 아래 활용 팁에 정리했습니다.

🔧 작업 과정

1. AI가 질문하고, 제가 선택하며 요구사항을 정했다

재작업을 시작하면서 먼저 요청한 것은 질문표였습니다. AI가 필요한 질문을 만들고, 제가 보기와 코멘트로 답한 뒤, 그 답을 다음 작업에 반영하도록 했습니다.

실제 요청 중 발췌:

질문을 HTML로 만들어 줘. 열 개 정도를 먼저 만들어서 열 개 정도는 사지선다의 질문과 추가로 내가 코멘트할 수 있게 각 질문을 만들어 주면 되고 내가 선택한 것들을 한번에 복사할 수 있게 복사하는 버튼을 마지막에 넣어 줘.

Codex는 브라우저에서 답할 수 있는 질문표를 만들었습니다. 여기에 답하면서 실제 카메라를 연결한 프로그램을 먼저 확인하고, 제품이 놓인 뒤 움직임이 멈추면 자동으로 검사하며, 판단하기 어려운 결과는 작업자 확인을 기다리도록 정했습니다.

‘프로그램을 만들어 달라’는 요청이 구체적인 동작으로 바뀌었습니다. 사람이 정해야 할 선택을 질문으로 꺼내고, 받은 답을 구현에 연결하는 방식이었습니다.

2. 카메라 영상이 앱에 들어오자, 다음 확인 대상이 보였다

초기 앱에는 제품과 전선 색상을 등록하고 검사할 위치를 지정하는 화면을 만들었습니다. 제품별 설정을 저장해 다시 불러오는 기능도 넣었습니다. 이 설정 묶음을 프로그램에서는 ‘레시피’라고 부릅니다.

실제 카메라가 준비된 뒤에는 이렇게 요청했습니다.

실제 카메라가 연결되었으니 카메라를 연결해서 테스트해 보자.

카메라 영상이 Windows 앱에 표시됐고, 초기 시험에서 영상 400장을 받아 확인했습니다. 연결을 끊었다가 다시 여는 동작도 점검했습니다.

화면이 나오자 촬영 조건의 문제도 드러났습니다. 영상이 너무 밝고 초점이 흐려, 작은 부위의 차이를 보기 어려웠습니다. 검사 기능을 개발하려면 조명·초점·촬영 설정도 함께 맞춰야 했습니다.

ALT

케이크 사진이 포함된 한국 웹사이트의 스크린샷

처음 카메라를 연결했을 때의 화면입니다. 영상 수신은 됐지만 밝기와 초점 조정이 필요했습니다.

이 단계에서 확인한 성과는 실제 장치의 영상이 앱으로 들어온다는 것이었습니다. 이제 그 영상의 어느 부분을 보고 어떤 차이를 찾을지 구체적으로 시험할 수 있었습니다.

3. “어디를 봐야 하는가”는 현장 지식으로 바꿨다

촬영한 제품 사진을 보며 검사 기준을 정리했습니다. 사진별로 정상·불량을 선택하고, 어느 연결 위치가 문제인지 표시하는 확인표도 만들었습니다. 확인표가 복잡할 때는 보기와 사진 배치를 다시 수정했습니다.

불량 여부를 내가 직접 판단할 수 있도록 체크박스와 커맨트 창을 만들어 다시 질문해줘

이 과정에서 단자 자체를 바라보는 사진만으로는 삽입 상태의 차이가 명확하지 않은 경우가 있었습니다. 그래서 관찰 부위를 바꾸자고 제안했습니다.

설삽 검사에서 단자를 바라보고는 부분이 명확히 구분이 안 된다. 그래서 응용해서 단자보다는 터미널 란스를 이미지로 해서 불량을 잡는 게 좋겠다고 생각한다. 첨부한 이미지와 액샐 자료를 판단해서 수정해 줘.

‘란스’는 단자를 고정하는 걸림 구조입니다. 이 부위가 들렸을 때 생기는 그림자나 밝은 틈을 살펴보자는 방향이었습니다.

처음에는 AI가 이해한 부위와 제가 가리킨 부위가 달랐습니다. 확대 사진을 추가하고, 기존 사진·새로 촬영한 사진·확대 사진의 이름과 대응 관계를 정리했습니다. 이어서 각 위치의 정답을 직접 확인했습니다.

그 결과 실물 10개에 있는 총 40개 위치를 정상 31개·불량 9개로 정리했습니다. Codex는 사진에서 기준 위치를 찾고, 그 아래 란스 네 곳을 확대해 관찰값을 보여주는 기능을 구현했습니다.

ALT

기기 사진을 보여주는 웹사이트의 스크린샷

개발 중 저장한 란스 비교 화면입니다. 원본·확대·관찰값을 함께 보여줍니다. HOLD는 판단을 보류한다는 뜻입니다.

이 전환에서 제가 맡은 일은 불량을 관찰할 부위와 정답을 구체적으로 전달하는 것이었습니다. AI는 그 기준을 사진 분석과 화면 기능으로 옮겼습니다. 사진을 많이 주는 것에 더해, 각 사진이 무엇을 뜻하는지 설명하는 일이 필요했습니다.

4. 작업을 나누고, 다음 대화에 검증 결과까지 넘겼다

자료와 기능이 늘어나면서 작업을 여러 대화로 나눠 이어가도록 요청했습니다.

전체 플랜을 몇 개로 나누어서 효율적으로 작업하자 세션을 A, B, C, D 형태로 구분해서 작업을 해줬으면 좋겠어 세션이 바뀌더라도 이어서 작업을 하게 해줘.

이 단계는 최초 계획의 날짜와 별개입니다. 각 단계의 완료 작업, 남은 문제, 다음 시작점을 파일로 남겼고, 새 대화에서 먼저 읽을 문서도 지정했습니다.

B에서는 촬영 설정과 자동 검사 흐름을 연결했습니다. 5분 동안 영상 6,956장을 수신하는 시험을 했고, 카메라를 물리적으로 분리했다 연결하는 시험도 했습니다. 재연결하면 촬영 설정이 초기화되는 현상을 발견해, 저장한 설정을 다시 적용하도록 보완했습니다.

C에서는 별도로 준비한 실물 3개를 세 번씩 촬영한 9장으로 결과를 확인했습니다. 같은 제품을 반복 촬영한 것이므로 제품 9개로 세지 않았습니다. 이 평가에서 놓친 불량이 발견됐고, 해당 결과와 추가로 확인해야 할 항목을 다음 단계에 그대로 넘겼습니다.

코드와 함께 사진·정답·제품 설정·검사 기록도 보존했습니다. 백업 과정에서 긴 파일 경로 때문에 실패한 문제를 수정한 뒤, Drive에 올린 자료를 다시 내려받아 새 위치에서 복구되는지 확인했습니다.

다음 대화를 위한 인계에는 완료한 기능과 남아 있는 문제, 다시 확인할 근거를 함께 담았습니다.

5. 직접 등록하고 저장해 보니, 고쳐야 할 오류가 드러났다

D에서는 프로그램을 열어 실제로 제품을 등록하고 검사 시작까지 조작했습니다. 이때 핀별로 있어야 할 색상이 잘못 저장되는 문제가 드러났습니다.

기대 색상이 오류가 난다

AI가 확인한 원인은 화면을 갱신할 때 선택한 색상이 첫 번째 항목으로 돌아가는 것이었습니다. 선택을 유지하도록 수정한 뒤에도, 이미 잘못 저장된 설정과 등록 순서를 다시 확인해야 했습니다.

이후에는 한 위치를 등록하면 다음 색상으로 이동하도록 바꾸고, 색상 목록 순서대로 값을 지정하는 기능을 추가했습니다. 시험용 제품 설정도 검정·빨강·초록·주황 순서로 복구했습니다.

다음에는 빈 배경을 등록했는데도 검사 시작이 막혔습니다. 빈 배경은 제품이 없는 상태를 촬영해, 제품이 들어왔는지 비교하는 기준입니다.

빈 배경을 등록을 하고 레시피를 저장했는데도 검사를 시작하려면 이 메시지가 반복해서 뜬다 수정을 해 줘.

확인해 보니 일부 검사 위치의 배경은 저장됐지만 제품 유무를 판단하는 배경값이 빠져 있었습니다. 기존 설정을 읽을 때 이를 복구하고, 검사 영역이 실제로 바뀐 경우에만 배경을 다시 등록하도록 수정했습니다. 등록 완료 여부도 버튼에서 확인할 수 있게 했습니다.

수정 뒤에는 자동 시험을 돌리고, 실제 앱을 다시 열어 카메라 영상이 들어오는 것을 확인했습니다. 연결·등록·검사·문제 해결 절차는 사용자 매뉴얼에도 반영했습니다.

선택 → 등록 → 저장 → 다시 불러오기 → 검사 시작을 직접 따라가면서, 증상을 구체적으로 알려줄 수 있었습니다. 그 피드백이 화면과 저장 기능의 수정으로 이어졌습니다.

✅ 결과 (After)

Before vs After

이제 실제 카메라 영상을 보며 제품의 검사 위치를 등록하고, 설정을 저장하고 다시 불러오는 흐름을 시험할 수 있습니다. 사진별 판단 근거와 검사 기록을 확인하고, 다음 작업에서 이어갈 자료도 갖췄습니다. 작업시간 절감이나 생산 불량률 개선은 아직 측정하지 않았습니다.

생산 적용 전에는 검증이 더 필요합니다. 독립 평가의 첫 촬영 결과에서, 정답이 확정된 4개 위치 중 불량을 정상 후보로 분류한 경우가 1건, 판단 보류가 1건 있었습니다. 정상인 위치를 불량 후보로 분류한 경우는 없었습니다. 정답이 미확정인 나머지 4개 위치는 이 집계에서 제외했습니다. 이후 수정한 프로그램의 성능은 새 자료로 다시 확인해야 하므로, 단자 검사의 생산 자동판정은 보류하고 있습니다.

결과물

ALT

TV 화면의 스크린샷

[Plan 상 UI 화면]

ALT

바코드 스캐너를 보여주는 컴퓨터 화면의 스크린샷

[OK 화면 갭쳐]

ALT

카메라 사진이 포함된 컴퓨터 화면의 스크린샷

[NG 화면 캡처]

개발 완료 후 저장한 4핀 검사 화면입니다. 색상 뒤바뀜을 표시하는 동작 예시이며 실제 제품의 검사 정확도를 보여주고 있습니다.

• HVHarness 공개 개발 플랜

• 실제·가상 카메라로 시험할 수 있는 Windows 개발판

• 제품별 설정과 샘플 검토·평가 보고서

• 사용자 매뉴얼, A–D 인계 문서, 백업·복구 자료

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

1. 사진에 판단 기준을 붙이기. 어느 부위의 어떤 차이를 보려는지 설명하고, 정상·불량 정답을 함께 전달했습니다.

2. 답하기 쉬운 질문을 요청하기. 선택형 질문과 코멘트를 사용하니 결정한 내용이 기록으로 남고 구현에 연결됐습니다.

3. 실제 조작 순서와 증상을 알려주기. ‘오류가 있다’에서 출발해 선택·저장·불러오기 중 어디서 문제가 생기는지 확인했습니다.

4. 다음 대화에 미완료 항목도 넘기기. 아직 틀리는 사례와 확인하지 못한 조건까지 남겨, 후속 작업의 시작점을 정했습니다.

이렇게 하면 안 돼요

1. 답하지 않은 항목을 정상으로 채우면 안 됩니다. 이번 작업에서는 미확정 상태를 따로 보존했습니다.

2. 개발에 쓴 사진의 결과만으로 현장 정확도를 확정하면 안 됩니다. 다른 실물과 촬영 조건을 대상으로 확인해야 합니다.

3. 새 AI 모델을 붙였다는 이유로 개선됐다고 보면 안 됩니다. 이번 TypeSafe 실험에서는 기존 수치 규칙을 전달했더니, 그 규칙이 놓친 불량도 똑같이 놓쳤습니다. 해당 조건에서 개선이 확인되지 않아 생산 앱에는 적용하지 않았습니다.

🌍 다른 업무에 적용한다면?

제품 외관검사나 조립 상태 확인에서도, 사람이 보는 판단 부위를 사진에 표시하고 정상·불량 사례를 정리하는 방식으로 시작할 수 있습니다. 문서 검수라면 확인할 항목과 실제 오류 사례를 먼저 모으는 방식으로 바꿔 볼 수 있습니다.

여러 대화에 걸친 프로젝트에는 현재 상태·결정·남은 문제·다음 작업을 정리한 인계 문서를 적용할 수 있습니다. 이번에 사용한 질문표와 실제 조작 피드백도 다른 업무의 요구사항을 구체화하는 데 활용할 수 있습니다.

🚀 앞으로의 계획

우선 실제 사용 절차와 오류 대응을 정리하고, 다른 PC에서 실행할 수 있는 설치·운영 준비를 이어갈 계획입니다.

검사 성능은 새로운 제품 자료가 준비되면 추가로 확인해야 합니다. 아직 정답을 확정하지 못한 위치, 제품 자세와 촬영 조건이 달라졌을 때의 결과도 남은 과제입니다. 최초 계획에 포함된 카메라 두 대의 전체 현장 운용, 최대 40핀의 현장 성능, 줄무늬 전선 검사까지 완료한 상태는 아닙니다.

이 검증을 거쳐 실제 장비 시험, 고객사 시험 적용, 표준 제품화로 이어가는 것이 개발 플랜의 후속 방향입니다. HVHarness 후속 계획

📋 재사용 가능한 프롬프트

프롬프트 1: 요구사항을 정하는 질문표

[업무명]을 지원하는 프로그램을 만들려고 해. 제공한 사진과 업무 설명을 읽고, 먼저 결정해야 할 질문을 만들어 줘. 질문마다 보기 네 개와 코멘트 입력란을 넣고, 마지막에 답변 전체 복사 버튼을 만들어 줘. 선택하지 않은 항목은 확정하지 말고, 받은 답변을 바탕으로 다음 질문을 좁혀줘.

프롬프트 2: 사진으로 판단 기준 전달하기

이 사진의 [부위]를 보고 [확인하려는 상태]를 판단하고 싶어. 원본과 확대 사진이 어떻게 연결되는지 먼저 정리해 줘. 내가 위치별로 정상·불량·판단 어려움을 선택할 수 있는 확인표를 만들어 줘. 답하지 않은 위치는 미확정으로 남겨줘.

프롬프트 3: 다음 대화로 작업 인계하기

[프로젝트명]의 현재 상태, 완료한 기능, 이미 결정한 내용, 남은 오류와 미검증 항목을 문서로 정리해 줘. 각 결과의 근거 파일과 다음에 시작할 작업을 적고, 새 대화에서 먼저 읽을 문서를 지정해 줘.

프롬프트 4: 실제 사용 중 발견한 오류 수정하기

[선택 → 등록 → 저장 → 불러오기 → 실행] 순서로 사용했더니 [증상]이 발생했어. 화면에 보이는 값과 저장된 값이 어디에서 달라지는지 확인하고 수정해 줘. 기존에 잘못 저장된 자료의 처리 방법과 재시작 필요 여부를 알려줘. 확인한 시험과 아직 확인하지 못한 부분도 구분해 줘.