자동화 구축전 데이터 사전 탐색

소개

안녕하세요. 19기 N대리비서봇에 참여하고 있는 디디 입니다.
뭔가 개인적으로 쓸모 있는 것을 만들고 싶긴 한데, 아직 구체화할만한게 없고 현생도 너무 바쁜 시즌입니다.😂

자동화전 데이터를 확보하고 품질을 확인하는 “사전 탐색 단계(Discovery + Data Scouting)” 뭐 이것저것 찍먹해 보기로 합니다.

n8n의 http request 노드를 통해 웹, API에 접근해 수집하고, 필요하면 데이터를 알아볼 수 있는 형태로 자르고 가공합니다.

https://twelvedata.com/ 의 API를 통해서 해외주식 주가 정보를 가져와 보기로 합니다. 무료 플랜에서 일 800회 요청이 가능한것 같습니다.

가입후 API키를 확보하고, http request 노드에서 Generic Auth Type 을 Query Auth로 세팅하고, 새로운 Credential을 만들어 연결합니다.

Query Parameters 에 symbol을 TSLA를 설정하고, interval 과 outputsize도 설정합니다.

일자별 TSLA의 주가정보가 잘 가져와 집니다. JSON포맷으로 잘 수집되어, 아직 별도의 전처리는 필요하지 않습니다.

이번에는 네이버에서 해외주식 정보를 수집해 보기로 하는데요, https://api.stock.naver.com/stock/TSLA.O/basic 주소는 이런 형식이고, 티커뒤에 .O가 붙어야 하는 경우가 있는 것 같은데 나중에 알아 보기로 합니다.

상당히 많은 정보를 보내주는데, 차트이미지 링크를 알려주는 부분이 있습니다. 이게 쓸만해 보입니다.
해당 주소로 접속하면 바로 차트 이미지가 보이네요.

해외주식 정보를 가져와 봤으니, 이제 국내 주식 정보를 수집해 봅니다.
접근할 URL은 https://m.stock.naver.com/front-api/external/chart/domestic/info 입니다.

쿼리파라미터로, 심볼에 종목코드를 그리고 주가 데이터를 가져올 시작,종료 날짜 등을 추가하고 옵션의 reponse format은 text로 선택해줘야 합니다.

데이터는 잘 가져와 지는데, 통으로 한 덩어리라 정제가 필요합니다.

CODE노드를 사용해서 JSON 형태로 변환합니다. 삼성전자의 11월 주가 정보가 수집되었습니다. 어디 쓸모 있곘죠......

이번에 접근할 URL은 https://finance.naver.com/item/frgn.naver?code=005930&page=1 입니다.
저기 중간에 종목코드가 들어 있는데, 나중에는 변수로 치환해야 모듈로서 활용 할 수 있습니다.

우선 가져와 봅니다. html 전체가 가져와졌고 필요한 부분은 아래 표 부분입니다.

다시 CODE 노드를 사용해 JSON 변환을 진행합니다.

알아 볼 수 있게 잘 추출 됩니다.

https://www.newsola.com/#/kr/b 구글 뉴스를 기초로 이미 주요 뉴스를 시각화 해서 보여주는 사이트인데요. 여기서 제목과 링크를 가져오기로 합니다.

이것도 통채로 들어온 데이터를 JSON으로 변환시키고 필요한 부분인, 타이틀과 링크를 다시 한 번 뽑아 냅니다.

마지막으로 메뉴얼 트리거를 붙이고 한 방에 돌려 봅니다. ㅎㅎㅎ

자동화 워크플로우 개발이든, 바이브코딩이든 아무래도 아이디어와 기획이 중요한 부분인 것 같습니다.
쓸모있는 데이터를 좀 더 모아보고, 더 고민해 봐야 할 것 같습니다.

19기 n8n 스터디원 여러분 모두 화이팅입니다~!

감사합니다.