배경 및 목적
저는 맛집 블로그를 운영하면서 체험단과 기자단을 진행하고 있습니다. 맛집 블로거를 운영하는 만큼 맛집 사진을 많이 찍기에 인스타그램도 운영해볼까 생각중이었죠.
그런데 각 SNS 매체마다의 특징이 다르기에 블로그의 내용을 적절히 인스타그램 캡션에 맞게 작성해야하는데, 그게 너무 귀찮습니다..
그래서 한번 블로그에 올린 사진과 글 내용을 바탕으로 인스타그램 피드를 업로드해보고 싶었어요.
활용 툴
RSS
HTTP
openAI
실행 과정
아직 미완성이라 루트가 가다가 끊겼습니다. (캡션 생성까지는 했는데 이미지 추출을 아직 못했어요..!)
RSS를 이용하여 블로그가 업로드 되는 시점 Trigger로 잡기
네이버 블로그는 RSS를 찾아오는게 아주 쉽습니다. 블로그 어딘가에 위와 같은 아이콘이 보인다면, 그 아이콘을 누르면 RSS코드를 가져올 수 있습니다.
RSS에 제 블로그 주소를 삽입하여 제 블로그에서 새로운 업로드가 일어나면 트리거로 잡을 수 있게 해줍니다.
HTTP 로 모바일경로를 이용해서 블로그 글 크롤링하기
진짜 무슨 짓을 해도 일반 웹 형태의 링크로는 데이터를 불러오기가 쉽지 않더라구요. 그래서 챗지피티에 웹파일럿이 모바일 링크만 제대로 이해하는 이유가 있지 않을까 하는 호기심에 시도했는데...성공했습니다..!!!
크롤링으로 몇날며칠을 보냈는데 너무 감격이었어요 ㅋㅋㅋ API 키 받느니 모바일 버전으로 url 바꿔서 성공!!
Text parser로 HTML 정제하기
텍스트 파서를 이용해 텍스트 값을 불러옵니다. 위에 신고하기 위부분은 정제하기 어렵지만(귀찮지만) 그 아래 텍스트는 잘 불러와지는 걸 확인했습니다.
여기서 [https:// ~~.png?type=...] 이 값은 사진입니다. 이걸 따로 복사해서 브라우저에 입력해보면 이미지가 출력되더라구요. 나중에 이 이미지를 따로 추출해서 인스타그램 업로드용 이미지로 사용할 계획입니다.
OpenAI로 캡션 뽑아내기
이전에 OSMU 하려고 만들었던 GPTs의 시스템 프롬프트를 긁어와서 조금 바꿨습니다. User Prompt에는 크롤링한 텍스트 값을 별도 정제 없이 그대로 넣었구요.(알아서 GPT가 내용 이 해할거라 믿었습니다.ㅋㅋ)
api 비용을 줄이고 싶으시다면, chatGPT로 미리 몇번 테스트 하신 후에 괜찮은 퀄리티를 확인하시고 돌려보시길 바랍니다. (우리의 돈은 소중하니까요 ^_^)
나쁘지 않은 캡션을 뽑아내고 마무리했습니다.
결과 및 인사이트
가장 크게 뿌듯함을 얻었던 건 모바일로 링크를 불러와 크롤링하니 별도의 인증 과정이 없어도 간단하게 크롤링이 가능하다는 점이었습니다. 네이버는 유난히 저작권 이슈로 크롤링이나 자동화 등을 차단하거나 복잡하게 하는 경우가 많은데, 모바일로 우회하는 방법이 있다 생각하니 상당히 인상적이었습니다.
다음에는 인스타그램에 올릴 사진을 캔바로 생산해서 올리고싶은데.. 이번에는 아쉽게도 성공하지 못했네요. 다음 포스팅에는 성공하길 바래봅니다...
#make2408