경매의 기본적인 절차는 다음과 같습니다
물건선정 → 권리분석 → 물건분석 → 현장분석 → 입찰가설정 → 입찰 → 명도
첫단계인 물건선정에서 저는 경매site에서 진행중인 물건중에서 정비사업대상 물건을 찾아내는 것을 목표로 했습니다. (물론 지도를 보면서 찾을 수있지만 일일이 찾는데 시간이 많이 듬) .
지난 토요일 모임에서 Listly를 이용하면 수동으로 크롤링할 수있을 거라는 케빈님의 조언을 듣고 실행을 해보았습니다.
아래의 4단계로 진행을 하였고, 물론 저도 다른 분들처럼 수많은 에러코드를 보면서 해결했습니다.
Listly로 경매물건 리스트를 추출
정비몽땅에서 재건축리스트 추출
GPT4에 비교하여 동일주소지 비교하는 파이썬 코드요청
파이썬 코드실행 : 동일주소지 추출하여 저장
1단계, Listly 로 경매물건리스트를 엑셀로 다운로드 받음. ( https://www.listl.io )
2단계는 정비몽땅에 정비지역목록을 다운로드 받음 (정보공개현황 > 사업장검색 (seoul.go.kr))
자치구, 사업구분, 시행방식, 사업진행단계별로 검색할수 있으나 전체대상목록을 엑셀로 다운로드함.
3단계는 GPT4에 비교하여 동일주소지 비교하는 파이썬 코드요청
여기서 부터가 문제인데, 결론적으로 지피티와 많은 대화와 시행착오를 거치며 해결을 해야 했음.
우선 지피티에 두파일을 비교해서 동일한 항목을 추출하라고 함.
엑셀파일형식을 지원하지 않아 다운로드 받은 2개 엑셀파일을 csv 형식으로 저장하고, label-3를 adress로 이름변경하고, 경매주소지를 단순화하도록 하고 다시 비교를 요청함.
주소비교에 문제가 있음을 알고 작업한 결과를 확인함.
작성한 결과물을 봐야 판단이 될 것 같아 테이블형식으로 보여달라고 요구함.
테이블을 보니 잘 나오는것을 확인하고 csv파일로 저장하는 코딩을 요청함
코딩은 예상대로 한번에 성공하지 못하고 수차례 재시도함..…. 에러수정과정(오타, 경로설정, 한글깨짐) 은 많아서 생략했습니다.
문제중 하나는 주소를 단순화하는 경우, 서울특별시와 서울시를 다른것으로 처리해서, 다시 아래와 같이 요청함
공백처리가 다시 발생되는데 이번에는 주소지에서 ‘xx동’으로 끝나지 않고 ‘~로’ 나 ‘xx동xx가’로 끝나는것도 공백처리되어서 아래와 같이 요청함
드디어 처리가 잘되어서 마무리하려고 했는데, 지피티가 다음과 같은 내가 원하지 않는 답변을 해주네요
뭔지 몰라서 SKip함
우여곡절끝에 csv 파일을 열어보니, 전용면적과 대지면적이 하나의 셀에 들어가 있어서 기왕하는 김에 분리해달라고 지피티에 요청함. (나중에 평형별로 최적낙찰가순으로 sorting하려고 생각함)
물론 한번에 될리가 없죠. 갑자기 영어를 하며, 답변은 한글깨진 외계어로 합니다.
또한번의 우여곡절을 거쳐 마침내 셀에 있는 두개 데이터를 분리해내는데 성공함.
이제 주소지를 비교할 준비가 되어서 수정된 경매목록과 정비목록을 비교하도록 함.
또 에러가 났습니다. 사업장목록을 보면 자치구가 별도로 있고, 대표지번에는 자치구가 표기안되어서 비교가 안됩니다.
잘동작하는지 주소지를 일부러 일치하도록 변경시켜서 확인해봄
결과물
일단 이상 없음을 확인하고, 다른경매물건지를 지도로 확인하여 검증해보았습니다.
이물건지 주소가 ‘원효로4’라는 주소지인데 어떻게 되나 해보았는데 잘 찾아지네요.
[ insight ]
Listly에서 크롤링한 데이터를 정비몽땅에서 받은 대표주소지와 비교할 수 있도록 지피티를 이용해서 코딩을 하였고, 경매물건와 정비지역 물건을 비교하는데 성공한 것 같습니다.
이과정에서 보완할 점이 2가지 있습니다
주소지비교의 경우 정확하게 text를 비교하여야 하기에 오류가 있을 수 있을 것 입니다. 현재의 주소지 비교의 코딩방식보다는 좌표를 API로 불러와서 하는 방식이 정확하겠다는 케빈님의 조언대로 다음주에 도전을 해볼 예정입니다.
경매Site에 직접 매뉴얼로 로그인하여 최대 100개 물건만 크롤링되다보니 불편한데, 자동로그인하여 자동으로 Listly로 크롤링하고, 여러개의 엑셀을 합치는 것도 필요함.
내집마련 파트너 케빈님과 문과생 AI를 박정기님 청강 덕분에, coding 생초보가 얼떨결에 만들게 되었습니다. 향후 물건분석, 입지분석, 입찰가선정에 대해서도 접근해 볼수 있을 것 같습니다