대법원 파산자공매 매각정보 자동분석 및 분류하기(2)
2024.10.15

배경 및 목적
1회에 이에, 코딩으로 커버 할 수 있는 부분과 LLM 모델을 통해 PDF 분석을 자동화 할 액션을 분류하였습니다.
코딩으로 구현
대법원 파산자공매 게시판 크롤링 및 DB 저장(MySQL)
Parent-child 구조의 테이블
첨부파일인 PDF 파일은 대법원 URL 링크로 직접 접근방법 고려
해당 백엔드 모듈은 1일 1회 스케쥴러로 작동
Make 로 자동화 구현
PDF 파일링크를 통해 파일을 다운로드 후 LLM 모듈을 통해 PDF 분석
결과값을 JSON object 로 받아 MySQL 의 테이블 각 항목에 Update
해당 시나리오는 스케쥴러로 작동
서비스 페이지에서 사용자 검색
사용자가 지역/물건종류/입찰일 을 기준으로 검색
MySQL 에 저장된 DB 데이터 검색 후 list-up
활용 툴
백엔드 개발
PDF.co (검토중)
OpenAI Upload
실행 과정
PDF 파일링크를 통해 파일을 다운로드 문제 봉착
Postman 을 통해 Make 및 각 모듈의 이슈인지 확인
Make 에서는 Client 인증 설정 외 detail 한 설정이 불가능 함을 확인
HTTP 모듈에 OpenSSL 인증서 Set 을 설정하였으나 다운로드 오류 발생
HTTP module 을 통해 다운로드를 시도하였으나, HTTPS 인증문제로 불가능함을 확인
Postman 을 통해 다운로드 가능 확인 (브라우저 다운로드 역시 가능)
Postman 은 설정이 정교하여 HTTPS 인증 우회 옵션이 가능 (별도의 client 인증서 설정 없이 다운로드 가능)

기타 URL 을 통한 File 다운로드 모듈 검토
Uploadcare 의 Upload API 를 통해 PDF 링크 업로드 후 다운로드 시도
그러나 이 또한 Postman 에서는 가능했으나 Upload API 에서는 페이지를 찾지 못함



filestage 등 파일관련 모듈 모두 테스트 해보았으나 해결 못함
구현한 백엔드 API 에서 파일 다운로드 후 Google drive 에 업로드 검토중
코드로 구현한 백엔드 API 에서 파일 URL 링크 다운로드 후 google drive 에 업로드까지 추가, DB 에는 구글 drive 링크 저장
Make 에서는 구글 drive 링크에서 다운로드 후 LLM 분석

결과 및 인사이트
파일관련 다양한 모듈을 짧은 시간 안에 경험할 수 있는 좋은 계기가 됨
Make 를 사용한 경험이 없던 나에게 짧은 시간에 다양한 모듈을 찾아보고 경험하는 계기가 되었습니다.
모듈들을 탐색하고 사용하면서 새로운 아이디어도 생각하는 계기가 되었습니다.
로그인하고 댓글을 남겨 주세요




아름_
파일 다운로드 하는데에서 문제가 있었나보네요 :)
아래 Make 커뮤니티에서 보면, 알려진 issue 같은데 아직 해결되지 않았나봅니다!!
https://community.make.com/t/write-eproto-error/12695
Postman에서는 동작되는 부분을 확인했으니, 중간에 간단한 프록시 서버를 두시면 해결될 것 같네요! 👍
푸르공님. 같이 고민해 주시고 정성스럽게 답글 달아주셔서 진심으로 감사드려요.
지금도 회사에서 일하면서 틈틈히 게시글 작성하느라 두서없이 글을 작성하고 답글도 늦었습니다ㅠㅠ
프록시 서버를 두는 방법에 대해 오늘 아이디어를 부탁드립니다^^
@아름_
아름_
https://file.scourt.go.kr/ 파일서버가 TLS 1.2을 정상적으로 지원하고 있지 않아서, 클라이언트 쪽에서 에러가 발생하는 문제같네요!
Make에서는 클라이언트 쪽 설정에 제한이 있어서, 아래와 같은 방식으로 접근하면 파일을 Make로 다운받을 수 있을 것 같네요!
Make -> Proxy Server (TLS 설정 우회) -> https://file.scourt.go.kr/
임시프록시서버 정보
Make에서 구글드라이브 이슈가 참.. 많습니다 ㅜㅠㅜ
@샘호트만
어제 스터디 정말 엄지척이었습니다.
말씀하신대로, 마지막 주차에 내가 목표하던 것을 만들어 내고 졸업해 볼게요^^
@아름_
졸업생을 배출하는 것은 쉽지 않지만, 기대하고 있겠습니다 😄