내 싸이트 '검색로봇 메타태그'를 처음 공부하고 알았다, AI는 알고 시켜야 한다

저는 챗GPT 활용 강사 정옥선입니다. 저는 개발자가 아닙니다.

지난 글 "챗GPT가 내 사이트를 못 찾았다"에 이은 두 번째 글이에요.

📝 한줄 요약

GPTers 24기 GEO 실험실 스터디장 체크님이 만드신 도구로 제 사이트 okssam.kr을 검사했더니, 제가 본 화면 기준 7개 항목 중 검색로봇 메타태그 하나만 "개선 필요" 였어요. 지금까지 고민해 본 적 없던 부분이라 구글 공식 문서까지 찾아 읽으며 제대로 공부했어요. AI는 알고 시켜야지, 그냥 두면 안 되는 일이었습니다.

바쁘시면 이것만 읽어도 돼요:

• 체크 결과: 6개는 "정상", 검색로봇 메타태그만 "개선 필요"

• 검색로봇 메타태그는 페이지 머리말에 적는 "검색로봇에게 주는 안내 쪽지" 예요

• 안 적어도 기본값은 허용이에요. 막힌 게 아니라 27개 페이지에 쪽지가 없었던 것

• 공통 머리말에 한 줄 넣어 27/27 페이지 적용, 중복 0, noindex 0. 약 10분

• 메타태그는 내 사이트에 넣고, 서치콘솔은 확인하고 색인을 요청하는 곳. 요청한 소개 페이지는 같은 날 밤 "URL이 Google에 등록되어 있음"으로 바뀌었어요

• 깨달음: AI는 알고 시켜야 해요. 모르는 한 줄은 넘기지 말고 뜻부터 묻기

🎯 이런 분들께 도움돼요

• 사이트 점검 도구에서 "개선 필요"가 떴는데 무슨 말인지 몰라 넘긴 분

• index, follow, noindex 같은 말을 처음 듣는 분

• AI로 사이트를 만들고 "알아서 다 넣어 줬겠지" 하고 계신 분

😫 문제 상황 (Before)

체크님이 만드신 도구에 okssam.kr을 넣어 봤어요. 제가 본 화면에는 OG 제목, OG 설명, OG 이미지, 모바일 viewport, 검색로봇 메타태그, 사이트맵, robots.txt 이렇게 7개 항목이 있었고, 6개는 "정상"이었습니다. 한 줄만 달랐어요.

솔직히 배신감이 들었어요. 사이트를 만들 때 AI가 알아서 넣어 줬을 거라고 생각했거든요. 저는 이름만 들어 본 터라 "메타태그를 넣어라"고 시키기까지 했는데, 안 들어가 있었다니요.

나중에 확인해 보니 title, description, OG 같은 다른 메타태그는 들어가 있었고 검색로봇 메타태그만 빠져 있었어요. 처음엔 이렇게만 말했습니다.

이거 개선해줘

그런데 뜻도 모르고 고치면 다음에 또 모를 것 같았어요. 그래서 다시 물었습니다.
(아래 프롬프트는 GEO 실험실 스티디장님 체크님이 알려주신 프롬프트입니다)

검색로봇 메타태그 follow, index가 개선 필요하로 하는데 이게 뭔지 설명해주고 어떻게 개선할 수 있는지 알려줘. 일단내가 알아야하니 설명과 방법까지 step by step 으로 알려줘.

🛠️ 사용한 도구

• Claude Code(클로드) — 팀장. 실제 수정은 팀원(하위 에이전트)에게 맡겨요

• 구글 검색 센터 공식 문서, 구글 서치콘솔, 버셀 — 근거 확인, 색인 요청, 배포

📚 공부한 것

1. 검색로봇 메타태그가 뭔가요 - 로봇에게 주는 안내 쪽지

구글 문서는 페이지의 head(머리말)에 넣어 그 페이지가 검색에 등록되고 보이는 방식을 정하는 것이라고 설명해요. 저는 이렇게 이해했어요. 가게 문 앞에 붙여 두는 안내 쪽지인데, 손님이 아니라 검색로봇이 읽는 쪽지.

• index — "영업 중" 팻말. 이 페이지를 검색 결과에 올려도 돼요

• follow — "안쪽 방도 둘러보세요". 이 페이지에 걸린 링크를 따라가도 돼요

▲ 검색로봇 메타태그는 로봇에게 주는 안내 쪽지

2. 안 적으면 어떻게 되나요 - 없다고 막힌 건 아니었어요

문서에는 기본값이 all, 곧 "색인 생성이나 게재 제한이 없음"이라고 적혀 있어요. 쪽지가 없으면 로봇은 "올려도 되고 링크도 따라가도 된다"로 받아들입니다. 클로드가 점검한 결과도 27개 페이지 모두 정상 응답, noindex 0건, robots.txt 전체 허용이었어요.

"개선 필요"는 "막혀 있다"가 아니라 "분명하게 적어 두라" 는 뜻이었어요. 구글 문서의 규칙 표에는 noindex와 nofollow만 있고 index와 follow는 따로 없어요. 기본값이라 적어도 구글에서는 달라지는 게 없대요.

3. 쪽지에 적을 수 있는 말

이 밖에 none(noindex와 nofollow를 합친 것), nosnippet(설명글을 안 보여 줌)도 있어요. noarchive는 구글이 이제 쓰지 않고 무시한다고 문서에 적혀 있습니다.

4. robots.txt와는 뭐가 다른가요 - 대문과 쪽지

• robots.txt — 대문에 붙이는 출입 안내. 로봇이 어느 주소를 읽으러 와도 되는지 알려 줘요

• 메타태그 — 페이지마다 붙이는 쪽지. 이 페이지를 검색에 올려도 되는지 알려 줘요

문서에 따르면 robots.txt로 막아 둔 페이지는 로봇이 들어오지 못하니 쪽지를 읽지 못하고, 쪽지 내용은 무시돼요. 그래서 noindex를 쓸 때는 robots.txt로 막으면 안 됩니다.

▲ 대문 안내(robots.txt)와 페이지 쪽지(메타태그)는 다른 일을 해요

5. 흔한 실수

• 공개 전에 임시로 넣은 noindex를 잊고 그대로 둠

• 템플릿이나 견본에 들어 있던 noindex가 남아 있음

• 페이지마다 값이 제각각이거나 같은 태그가 두 번 들어감

값이 서로 부딪히면 더 제한하는 쪽이 적용된다고 문서에 있어요.

6. 메타태그는 서치콘솔에 넣는 게 아니에요 - 제가 헷갈린 지점

같은 날 구글에 site:okssam.kr 을 검색하니 27개 중 2개만 나왔어요(네이버에서는 6개 이상).

▲ 구글에 site:okssam.kr 을 검색하니 2개만 나왔어요

메타태그가 없어서 그런 줄 알았는데 아니었어요. 서치콘솔 URL 검사에 나온 상태는 "발견됨 - 현재 색인이 생성되지 않음". 구글이 주소는 알지만 아직 읽으러 오지 않았다는 뜻이에요.

ALT

한국어로 된 Google 계정의 스크린샷

▲ 서치콘솔 URL 검사 — "발견됨 - 현재 색인이 생성되지 않음"

그런데 여기서 제가 헷갈렸어요.

검색로봇 메타태그를 27개 페이지 모두에 넣어 배포 이건 뭐지? 너가 구글큰솔에 한거 말이야.

메타태그를 서치콘솔에 넣은 줄 알았던 거예요. 나누고 나서야 구분이 됐습니다. 메타태그 넣기는 내 사이트 파일을 고쳐 배포한 일이고, 서치콘솔은 넣은 것이 구글에 어떻게 보이는지 확인하고 색인을 신청하는 곳이에요.

ALT

한국어 한국어 한국어 한국어 한국어 한국어 한국어 한국어

▲ 고치는 일과 신청하는 일은 다릅니다

색인 요청은 소개·교육 신청·강의 후기·자주 묻는 질문·연락처 5개가 접수됐고, 프로그램 페이지는 이미 등록돼 있었어요. 메타태그는 허락이지 재촉이 아니라서, 빨리 읽어 달라는 신청은 이렇게 따로 해야 했습니다.

▲ 색인 생성 요청이 접수된 화면

💡 기본값이 허용인데 왜 필요한가요

1. 로봇에게 분명히 알려 줘요. 추측에 맡기지 않고 "영업 중"이라고 써 붙이는 거예요

2. 검색 결과에 큰 사진을 써도 된다고 허락해요. 적지 않으면 미리보기 이미지는 기본 크기예요

3. noindex 사고를 스스로 점검하게 돼요

4. 사이트가 여러 개일 때 기준이 하나로 맞춰져요

🔧 내 사이트에 넣기 (따라 하기)

Step 1. 지금 있는지 확인

내 사이트(저는 https://okssam.kr )를 열고 마우스 오른쪽 → 페이지 소스 보기 → Ctrl+F로 robots 를 찾아요. 아무것도 안 나오면 저처럼 쪽지가 없는 거예요. noindex 가 보이면 일부러 넣은 건지부터 확인하세요.

Step 2. 넣을 한 줄 정하기

제가 넣은 설정값이에요.

<meta name="robots" content="index, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1">

구글 문서: https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag?hl=ko

Step 3. 넣는 곳

• 직접 만든 사이트: 모든 페이지가 같이 쓰는 공통 머리말. AI에게 "모든 페이지 머리말에 한 번만 넣어 줘"라고 하면 돼요

• 아임웹( https://imweb.me ): 관리자 → 설정 → SEO → Header Code (메뉴 이름은 개편에 따라 다를 수 있어요)

Step 4. 저장·배포

아임웹은 저장하면 끝이에요. 저는 클로드가 팀원에게 맡겨 공통 머리말에 한 번 넣고, 27/27 페이지 적용·중복 0·noindex 0 을 확인한 뒤 버셀( https://vercel.com )로 배포했어요.

Step 5. 다시 확인

1. 페이지 소스 보기에서 다시 robots 찾기. 클로드는 실제 사이트 5개 페이지에서 확인했어요

2. 체크 도구로 다시 검사

3. 서치콘솔( https://search.google.com/search-console ) 맨 위 검색창에 주소를 넣어 URL 검사. "색인 생성 허용 여부: 예" 가 보이면 메타태그나 robots.txt가 막고 있지 않다는 뜻이에요

▲ "색인 생성 허용 여부: 예" — 막고 있는 것이 없다는 뜻

주의: robots.txt로 막아 둔 페이지에는 메타태그가 통하지 않아요. robots.txt 설명: https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ko

✅ 결과 (After)

Before vs After

색인 요청을 넣은 소개 페이지는 같은 날 밤 "URL이 Google에 등록되어 있음" 으로 바뀌었어요. 요청 전에는 "발견됨 - 현재 색인이 생성되지 않음"이던 페이지예요. 최근 크롤링 2026. 10. 1. 오후 10:17, 로봇은 Googlebot 스마트폰, 페이지 가져오기 성공. 나머지 페이지는 아직 확인하지 않았어요.

기▲ 같은 날 밤, "URL이 Google에 등록되어 있음"으로 바뀌었어요

체크 도구는 다시 검사해 볼 예정이에요.

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

1. AI는 알고 시키기. 그냥 두면 안 되는 일이었어요. "일단 내가 알아야 하니"라고 물었더니 설명과 방법이 같이 나왔어요.

2. 헷갈리면 그 자리에서 다시 묻기. "이건 뭐지?" 한마디로 내 사이트를 고치는 일과 검색엔진에 신청하는 일이 나뉘었어요.

3. 공식 문서로 확인하기. max-snippet:-1은 "제한 없음"이 아니라 "구글이 알맞은 길이를 고른다"였어요.

이렇게 하면 안 돼요 ⭐⭐⭐

1. "AI가 알아서 넣어 줬겠지" 하고 믿기. 저는 무엇이 들어갔는지 확인하지 않았어요.

2. "개선 필요"를 "막혔다"로 읽기. 제 경우는 적어 두지 않은 것이었어요.

3. 메타태그를 넣으면 바로 검색에 나온다고 기대하기.

🌍 다른 분들께 — 체크 도구에서 "개선 필요"가 뜨면

1. 그 한 줄을 캡처해서 AI에게 뜻과 고치는 방법을 물어요

2. 내 사이트 상태부터 점검해 달라고 해요. "없었다"와 "막혔다"는 달라요

3. 고친 뒤 내 눈으로 확인할 방법도 물어보세요

🚀 앞으로의 계획

• 체크 도구로 다시 검사하기

• 이번 주 스터디 과제 중 남은 다음(Daum) 등록 하기

📋 재사용 가능한 프롬프트

프롬프트 1: 모르는 항목을 만났을 때 (체크님이 알려 주신 프롬프트)

내가 하려고 하는 것: [하려는 일]
내 상황: [지금 상태]
내 고민: [막힌 점]
위 내용을 토대로 내가 그대로 따라 할 수 있도록 Step by Step으로 알려줘.

1. 각 Step마다 바로 갈 수 있는 링크

2. 최신 화면 기준 쉽게

3. 어려운 용어는 초보자도 이해하게

4. 필요한 정보는 시작 전에 먼저 물어봐줘

출처: 체크님(GEO 실험실 스터디장). 저는 모르는 항목을 만났을 때 이 틀로 물었어요.

프롬프트 2: "개선 필요" 한 줄 물어보기

[점검 도구 캡처 첨부] 여기서 [항목 이름]이 개선 필요라고 나와. 이게 뭔지 쉬운 말로 설명해 주고, 안 고치면 어떻게 되는지, 어떻게 고치는지 순서대로 알려 줘. 근거가 되는 공식 문서 주소도 같이 알려 줘.

프롬프트 3: 넣고 확인까지

내 사이트는 [아임웹 / 직접 만든 사이트]야. 먼저 모든 페이지에 검색로봇 메타태그가 있는지, noindex가 남아 있는지 점검해 줘. 그다음 모든 페이지에 한 번만 넣고, 전체에 들어갔는지·중복은 없는지 숫자로 알려 줘. 내가 직접 확인하는 방법도 알려 줘.

이번에 얻은 건 설정값 한 줄보다 이 세 가지예요. 내 사이트를 고치는 일과 검색엔진에 신청하는 일은 서로 다른 일이다. 모르는 한 줄이 나오면 넘기지 말고 뜻부터 물어본다. 모르면 공부하고, 내가 먼저 알아야 한다.

AI는 알고 시켜야지, 그냥 두면 안 되는 일이었어요. 체크님 덕분에 인사이트를 많이 얻는 시간이었고, 이번에 제대로 작정하고 제 사이트를 미치도록 검색에 노출되게 만들고 있습니다. 너무 감사하고, 저 스스로도 너무 뿌듯해요. 함께 점검하고 있는 GEO 실험실 24기 동료분들께도 감사드립니다.