지난 사례에서 수집해야 할 데이터에 대해 대략적으로 알아보았고, 해당 데이터의 시각화에 앞서 지난 강의에서 배운 내용을 실습해 보았습니다.
10기 내집마련 부트캠프 세번째 사례입니다.
2-5. 시각화 연습하기: Elastic & Kibana (진행중)
시각화 하기: 나만의 투자정보 앱 구축
실습은 #정경석 파트너님께서 상세하게 정리해주셔서 그대로 따라해 보았습니다.
짠!
우여곡절* 끝에 서울시 아파트 정보 일부를 시각화하는데 성공했습니다.
과정에서 이슈가 좀 있었는데요,
(참고)
*우여곡절 첫번째. 코랩에서 데이터 가져올 때 아래와 같은 에러가 간헐적으로 발생
{'name': 'instance-0000000001', 'cluster_name': 'a007686efd144a5f8bb44cd2d75ccef4', 'cluster_uuid': 'XJGcso2SQZqAudPWxRZeGQ', 'version': {'number': '8.13.2', 'build_flavor': 'default', 'build_type': 'docker', 'build_hash': '16cc90cd2d08a3147ce02b07e50894bc060a4cbf', 'build_date': '2024-04-05T14:45:26.420424304Z', 'build_snapshot': False, 'lucene_version': '9.10.0', 'minimum_wire_compatibility_version': '7.17.0', 'minimum_index_compatibility_version': '7.0.0'}, 'tagline': 'You Know, for Search'}
https://m.land.naver.com/cluster/ajax/articleList?rletTpCd=APT&tradTpCd=A1&cortarNo=1111000000&sort=rank&page=1
—————————————————————————————————————
JSONDecodeError Traceback (most recent call last)
/usr/local/lib/python3.10/dist-packages/requests/models.py in json(self, **kwargs)
970 try:
—————————————————————————————————————> 971 return complexjson.loads(self.text, **kwargs)
972 except JSONDecodeError as e:
4 frames
JSONDecodeError: Expecting value: line 1 column 1 (char 0)
During handling of the above exception, another exception occurred:
JSONDecodeError Traceback (most recent call last)
/usr/local/lib/python3.10/dist-packages/requests/models.py in json(self, **kwargs)
973 # Catch JSON-related errors and raise as requests.JSONDecodeError
974 # This aliases json.JSONDecodeError and simplejson.JSONDecodeError
—————————————————————————————————————> 975 raise RequestsJSONDecodeError(e.msg, e.doc, e.pos)
976
977 @property
JSONDecodeError: Expecting value: line 1 column 1 (char 0)
될 때까지 계속 시도 또는 다시 새로 복사해서 데이터를 가져오긴 했지만, 문제를 해결한 것은 아니라서 조금 찝찝합니다. (민동호님 - time.sleep 안전장치 설계해보기 (실패))
*우여곡절 두번째. 가져온 데이터가 확인이 되지 않음
분명 상태 양호하고, Docs count가 1000개가 넘는데도 확인이 안되는 겁니다.
중간에 뭔가 잘못되었나 싶어 다 삭제하고 다시 했는데, 파트너님께 여쭤보고 바로 해결했습니다.
문제는 바로... 날짜의 범위였습니다.
`Last 15 minutes` → `Last 30 days`
(교훈) 파트너님께 도움 받으세요.
이번 사례는 실습 위주로 진행했으므로, 관련하여 문의사항과 앞으로 공부가 필요한 내용들 간단하게 정리하고 마무리 하겠습니다.
실습과정에서 궁금한 점
3-2. elastic cloud id와 elastic api key를 넣고 런타임의 모두실행을 선택합니다. - Colab
프로그램 동작 끝까지 총 3시간 정도 걸린다고 하셨는데, 끝까지 할 수 있는 요령 알고 싶습니다.
코드에 명시된 네이버 url 정보는 어떻게 알 수 있나요? 예를들어, 다른 사이트에서 데이터를 가져온다면 어떤 url을 사용해야 할까요?
3-4. 아파트 등록일 필드를 추가해봅니다.
날짜정보를 날짜형태로 변환해주는 파이프라인을 만들기 위해 GPT에 문의할 때 질문을 어떻게 해야 하나요? (제 경우에는 날짜정보가 어떤 형태인지부터 알아야 할 것 같습니다.)
4-4. 아래 정보로 다시 수정합니다.
확인해보니 naver_apt와 naver_apt_3 내용이 동일한 것 같은데, naver_apt_dashboard는 naver_apt_3에 연결되어 있어 인덱스 패턴을 바꿔야 한다는 것이 무슨 의미인지 이해가 잘 안 갑니다. (대체적으로 다 잘 모르겠지만, 이 부분은 정말 모르겠습니다.)
앞으로 공부해야 할 것
기본적인 개념 및 전체 프로세스 이해하기
인덱스 파악하기 (필요하면 새로운 인덱스 만들어서 새로운 타입으로 파싱해서 넣어보기)
파트너님 대시보드 분석 후, 나만의 대시보드 만들기
오늘도 이렇게 한 발자국 나아갑니다. 내집마련까지 화이팅! 감사합니다.
#10기내집마련