AI 산업을 고려한 Robots.txt 개선 방향

AI시대에 대비한 웹 크롤링은 어떻게 바뀌어야 할까요? 구글 검색 팀이 주도하고 있는 논의들은 어떤 것이 있는지 살펴봤습니다! 🤓

https://open.substack.com/pub/shalomeir/p/ai-next-robotstxt?r=8lmam&utm_campaign=post&utm_medium=web