각 홈페이지에 있는 내용들을 평가하고 싶어요(크롤링)

비슷한 홈페이지가 있잖아요 학교, 지역 청사 등

각 홈페이지마다 특정 자료가 있는지, 메뉴는 어디에 저장되어 있는지, 자료 공개 방식은 어떤지, 깊이는 어떤지를 기록해서 평가하고 싶은데요

방법을 몰라서 일일이 하는 중입니다.. 크롤링 알못인데, ai나 뭐 그런 걸로 효율적이게 하는 방법 없을까요?