본문으로 건너뛰기

대법원 파산자공매 매각정보 자동분석 및 분류하기(2)

아름_

2024.10.15

대법원 파산자공매 매각정보 자동분석 및 분류하기(2) 본문 이미지

배경 및 목적

1회에 이에, 코딩으로 커버 할 수 있는 부분과 LLM 모델을 통해 PDF 분석을 자동화 할 액션을 분류하였습니다.

  1. 코딩으로 구현

    • 대법원 파산자공매 게시판 크롤링 및 DB 저장(MySQL)

      • Parent-child 구조의 테이블

    • 첨부파일인 PDF 파일은 대법원 URL 링크로 직접 접근방법 고려

    • 해당 백엔드 모듈은 1일 1회 스케쥴러로 작동

  2. Make 로 자동화 구현

    • PDF 파일링크를 통해 파일을 다운로드 후 LLM 모듈을 통해 PDF 분석

    • 결과값을 JSON object 로 받아 MySQL 의 테이블 각 항목에 Update

    • 해당 시나리오는 스케쥴러로 작동

  1. 서비스 페이지에서 사용자 검색

    • 사용자가 지역/물건종류/입찰일 을 기준으로 검색

    • MySQL 에 저장된 DB 데이터 검색 후 list-up

활용 툴

  • 백엔드 개발

  • PDF.co (검토중)

  • OpenAI Upload

실행 과정

  • PDF 파일링크를 통해 파일을 다운로드 문제 봉착

  • Postman 을 통해 Make 및 각 모듈의 이슈인지 확인

    • Make 에서는 Client 인증 설정 외 detail 한 설정이 불가능 함을 확인

  1. HTTP 모듈에 OpenSSL 인증서 Set 을 설정하였으나 다운로드 오류 발생

    • HTTP module 을 통해 다운로드를 시도하였으나, HTTPS 인증문제로 불가능함을 확인

  2. Postman 을 통해 다운로드 가능 확인 (브라우저 다운로드 역시 가능)

    • Postman 은 설정이 정교하여 HTTPS 인증 우회 옵션이 가능 (별도의 client 인증서 설정 없이 다운로드 가능)

    코드 편집기를 보여주는 웹 브라우저의 스크린샷
  3. 기타 URL 을 통한 File 다운로드 모듈 검토

    • Uploadcare 의 Upload API 를 통해 PDF 링크 업로드 후 다운로드 시도

      • 그러나 이 또한 Postman 에서는 가능했으나 Upload API 에서는 페이지를 찾지 못함

        노란색 버튼이 있는 웹페이지의 스크린샷
        휴대폰의 Updatecare 앱 스크린샷
      웹 브라우저의 코드 편집기 스크린샷

    • filestage 등 파일관련 모듈 모두 테스트 해보았으나 해결 못함

  4. 구현한 백엔드 API 에서 파일 다운로드 후 Google drive 에 업로드 검토중

    • 코드로 구현한 백엔드 API 에서 파일 URL 링크 다운로드 후 google drive 에 업로드까지 추가, DB 에는 구글 drive 링크 저장

    • Make 에서는 구글 drive 링크에서 다운로드 후 LLM 분석

오픈소스 프로젝트를 만드는 과정을 보여주는 다이어그램

결과 및 인사이트

  • 파일관련 다양한 모듈을 짧은 시간 안에 경험할 수 있는 좋은 계기가 됨

  1. Make 를 사용한 경험이 없던 나에게 짧은 시간에 다양한 모듈을 찾아보고 경험하는 계기가 되었습니다.

  2. 모듈들을 탐색하고 사용하면서 새로운 아이디어도 생각하는 계기가 되었습니다.

9

함께 이야기해요 9

로그인하고 댓글을 남겨 주세요

김태현 프로필 이미지
김태현2024.10.16

고생많으셨습니다. 요즘 올라오는 Make 자동화 사례를 보고 있으면, n8n, Gumloop, SmythOS 등의 다른 AI 자동화 툴도 한번 제대로 다뤄야 하지 않나 하는 생각이 드네요. 이쪽 니즈가 많은 느낌도 받고요.

아
아름_2024.10.16

생소한 툴이지만 사례 찾아보며 접해보겠습니다.

감사합니다^^

샘호트만 프로필 이미지
샘호트만2024.10.16

확실히 AI 발전이 automation rpa tool 같이 수혜를 받는 것 같습니다 ㅎㅎ

푸르공 프로필 이미지
푸르공2024.10.15

아름_

파일 다운로드 하는데에서 문제가 있었나보네요 :)

아래 Make 커뮤니티에서 보면, 알려진 issue 같은데 아직 해결되지 않았나봅니다!!

https://community.make.com/t/write-eproto-error/12695

Postman에서는 동작되는 부분을 확인했으니, 중간에 간단한 프록시 서버를 두시면 해결될 것 같네요! 👍

아
아름_2024.10.15

푸르공님. 같이 고민해 주시고 정성스럽게 답글 달아주셔서 진심으로 감사드려요.

지금도 회사에서 일하면서 틈틈히 게시글 작성하느라 두서없이 글을 작성하고 답글도 늦었습니다ㅠㅠ

프록시 서버를 두는 방법에 대해 오늘 아이디어를 부탁드립니다^^

푸르공 프로필 이미지
푸르공2024.10.15

@아름_

아름_
https://file.scourt.go.kr/ 파일서버가 TLS 1.2을 정상적으로 지원하고 있지 않아서, 클라이언트 쪽에서 에러가 발생하는 문제같네요!

Make에서는 클라이언트 쪽 설정에 제한이 있어서, 아래와 같은 방식으로 접근하면 파일을 Make로 다운받을 수 있을 것 같네요!

Make -> Proxy Server (TLS 설정 우회) -> https://file.scourt.go.kr/

임시프록시서버 정보

Proxy server (GET method)
https://43ud5gzobxqcnigw6naondkwy40fvlga.lambda-url.ap-northeast-1.on.aws

Parameters
- file=xxxx
- downFile=xxxx 
(파일명을 한글이라서 URL 인코딩 처리해서 설정)

샘호트만 프로필 이미지
샘호트만2024.10.15

Make에서 구글드라이브 이슈가 참.. 많습니다 ㅜㅠㅜ

아
아름_2024.10.16

@샘호트만

어제 스터디 정말 엄지척이었습니다.

말씀하신대로, 마지막 주차에 내가 목표하던 것을 만들어 내고 졸업해 볼게요^^

샘호트만 프로필 이미지
샘호트만2024.10.16

@아름_

졸업생을 배출하는 것은 쉽지 않지만, 기대하고 있겠습니다 😄

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기