대법원 파산자공매 매각정보 자동분석 및 분류하기(2)
2024.10.15

배경 및 목적
1회에 이에, 코딩으로 커버 할 수 있는 부분과 LLM 모델을 통해 PDF 분석을 자동화 할 액션을 분류하였습니다.
코딩으로 구현
대법원 파산자공매 게시판 크롤링 및 DB 저장(MySQL)
Parent-child 구조의 테이블
첨부파일인 PDF 파일은 대법원 URL 링크로 직접 접근방법 고려
해당 백엔드 모듈은 1일 1회 스케쥴러로 작동
Make 로 자동화 구현
PDF 파일링크를 통해 파일을 다운로드 후 LLM 모듈을 통해 PDF 분석
결과값을 JSON object 로 받아 MySQL 의 테이블 각 항목에 Update
해당 시나리오는 스케쥴러로 작동
서비스 페이지에서 사용자 검색
사용자가 지역/물건종류/입찰일 을 기준으로 검색
MySQL 에 저장된 DB 데이터 검색 후 list-up
활용 툴
백엔드 개발
PDF.co (검토중)
OpenAI Upload
실행 과정
PDF 파일링크를 통해 파일을 다운로드 문제 봉착
Postman 을 통해 Make 및 각 모듈의 이슈인지 확인
Make 에서는 Client 인증 설정 외 detail 한 설정이 불가능 함을 확인
HTTP 모듈에 OpenSSL 인증서 Set 을 설정하였으나 다운로드 오류 발생
HTTP module 을 통해 다운로드를 시도하였으나, HTTPS 인증문제로 불가능함을 확인
Postman 을 통해 다운로드 가능 확인 (브라우저 다운로드 역시 가능)
Postman 은 설정이 정교하여 HTTPS 인증 우회 옵션이 가능 (별도의 client 인증서 설정 없이 다운로드 가능)

기타 URL 을 통한 File 다운로드 모듈 검토
Uploadcare 의 Upload API 를 통해 PDF 링크 업로드 후 다운로드 시도
그러나 이 또한 Postman 에서는 가능했으나 Upload API 에서는 페이지를 찾지 못함



filestage 등 파일관련 모듈 모두 테스트 해보았으나 해결 못함
구현한 백엔드 API 에서 파일 다운로드 후 Google drive 에 업로드 검토중
코드로 구현한 백엔드 API 에서 파일 URL 링크 다운로드 후 google drive 에 업로드까지 추가, DB 에는 구글 drive 링크 저장
Make 에서는 구글 drive 링크에서 다운로드 후 LLM 분석

결과 및 인사이트
파일관련 다양한 모듈을 짧은 시간 안에 경험할 수 있는 좋은 계기가 됨
Make 를 사용한 경험이 없던 나에게 짧은 시간에 다양한 모듈을 찾아보고 경험하는 계기가 되었습니다.
모듈들을 탐색하고 사용하면서 새로운 아이디어도 생각하는 계기가 되었습니다.
로그인하고 댓글을 남겨 주세요
파일 다운로드 하는데에서 문제가 있었나보네요 :)
아래 Make 커뮤니티에서 보면, 알려진 issue 같은데 아직 해결되지 않았나봅니다!!
https://community.make.com/t/write-eproto-error/12695
Postman에서는 동작되는 부분을 확인했으니, 중간에 간단한 프록시 서버를 두시면 해결될 것 같네요! 👍
푸르공님. 같이 고민해 주시고 정성스럽게 답글 달아주셔서 진심으로 감사드려요.
지금도 회사에서 일하면서 틈틈히 게시글 작성하느라 두서없이 글을 작성하고 답글도 늦었습니다ㅠㅠ
프록시 서버를 두는 방법에 대해 오늘 아이디어를 부탁드립니다^^
@아름_
아름_
https://file.scourt.go.kr/ 파일서버가 TLS 1.2을 정상적으로 지원하고 있지 않아서, 클라이언트 쪽에서 에러가 발생하는 문제같네요!
Make에서는 클라이언트 쪽 설정에 제한이 있어서, 아래와 같은 방식으로 접근하면 파일을 Make로 다운받을 수 있을 것 같네요!
Make -> Proxy Server (TLS 설정 우회) -> https://file.scourt.go.kr/
임시프록시서버 정보
Proxy server (GET method)
https://43ud5gzobxqcnigw6naondkwy40fvlga.lambda-url.ap-northeast-1.on.aws
Parameters
- file=xxxx
- downFile=xxxx
(파일명을 한글이라서 URL 인코딩 처리해서 설정)Make에서 구글드라이브 이슈가 참.. 많습니다 ㅜㅠㅜ




고생많으셨습니다. 요즘 올라오는 Make 자동화 사례를 보고 있으면, n8n, Gumloop, SmythOS 등의 다른 AI 자동화 툴도 한번 제대로 다뤄야 하지 않나 하는 생각이 드네요. 이쪽 니즈가 많은 느낌도 받고요.
생소한 툴이지만 사례 찾아보며 접해보겠습니다.
감사합니다^^
확실히 AI 발전이 automation rpa tool 같이 수혜를 받는 것 같습니다 ㅎㅎ