대법원 파산자공매 매각정보 자동분석 및 분류하기(2)

배경 및 목적

1회에 이에, 코딩으로 커버 할 수 있는 부분과 LLM 모델을 통해 PDF 분석을 자동화 할 액션을 분류하였습니다.

1. 코딩으로 구현

   • 대법원 파산자공매 게시판 크롤링 및 DB 저장(MySQL)

     • Parent-child 구조의 테이블

   • 첨부파일인 PDF 파일은 대법원 URL 링크로 직접 접근방법 고려

   • 해당 백엔드 모듈은 1일 1회 스케쥴러로 작동

2. Make 로 자동화 구현

   • PDF 파일링크를 통해 파일을 다운로드 후 LLM 모듈을 통해 PDF 분석

   • 결과값을 JSON object 로 받아 MySQL 의 테이블 각 항목에 Update

   • 해당 시나리오는 스케쥴러로 작동

3. 서비스 페이지에서 사용자 검색

   • 사용자가 지역/물건종류/입찰일 을 기준으로 검색

   • MySQL 에 저장된 DB 데이터 검색 후 list-up

활용 툴

• 백엔드 개발

• PDF.co (검토중)

• OpenAI Upload

실행 과정

• PDF 파일링크를 통해 파일을 다운로드 문제 봉착

• Postman 을 통해 Make 및 각 모듈의 이슈인지 확인

  • Make 에서는 Client 인증 설정 외 detail 한 설정이 불가능 함을 확인

1. HTTP 모듈에 OpenSSL 인증서 Set 을 설정하였으나 다운로드 오류 발생

   • HTTP module 을 통해 다운로드를 시도하였으나, HTTPS 인증문제로 불가능함을 확인

     

     ALT

     화면을 보여주는 화면의 스크린샷 화면을 보여주는 화면 화면을 보여주는 화면

2. Postman 을 통해 다운로드 가능 확인 (브라우저 다운로드 역시 가능)

   • Postman 은 설정이 정교하여 HTTPS 인증 우회 옵션이 가능 (별도의 client 인증서 설정 없이 다운로드 가능)

   

   ALT

   코드 편집기를 보여주는 웹 브라우저의 스크린샷

3. 기타 URL 을 통한 File 다운로드 모듈 검토

   • Uploadcare 의 Upload API 를 통해 PDF 링크 업로드 후 다운로드 시도

     • 그러나 이 또한 Postman 에서는 가능했으나 Upload API 에서는 페이지를 찾지 못함

       

       ALT

       노란색 버튼이 있는 웹페이지의 스크린샷

       

       ALT

       휴대폰의 Updatecare 앱 스크린샷

     

     ALT

     웹 브라우저의 코드 편집기 스크린샷

   • filestage 등 파일관련 모듈 모두 테스트 해보았으나 해결 못함

4. 구현한 백엔드 API 에서 파일 다운로드 후 Google drive 에 업로드 검토중

   • 코드로 구현한 백엔드 API 에서 파일 URL 링크 다운로드 후 google drive 에 업로드까지 추가, DB 에는 구글 drive 링크 저장

   • Make 에서는 구글 drive 링크에서 다운로드 후 LLM 분석

ALT

오픈소스 프로젝트를 만드는 과정을 보여주는 다이어그램

결과 및 인사이트

• 파일관련 다양한 모듈을 짧은 시간 안에 경험할 수 있는 좋은 계기가 됨

1. Make 를 사용한 경험이 없던 나에게 짧은 시간에 다양한 모듈을 찾아보고 경험하는 계기가 되었습니다.

2. 모듈들을 탐색하고 사용하면서 새로운 아이디어도 생각하는 계기가 되었습니다.