KO | EN
소개
WooaHouse Services
🔗 WooaHouse📄 WooaPDF🖼️ WooaImage🎨 WooaColor✏️ WooaText📱 WooaQR🧮 WooaCalc🔤 WooaFont🍎 WooaMac🖥️ WooaPC💻 WooaVS🎵 WooaAudio🔍 WooaViewer🛠️ WooaDev🔍 WooaOCR📊 WooaSheet🔎 WooaSEO
🏠 홈›Robots.txt 생성기
🤖

Robots.txt 생성기 — 크롤링 규칙 자동 생성 및 다운로드

User-agent별 허용/차단 경로를 설정하고 sitemap URL을 추가하면 robots.txt 파일을 즉시 생성합니다. 다운로드 후 사이트 루트에 업로드하세요.

기본 설정
규칙 편집
Sitemap URL

💡 Robots.txt 작성 팁

  • robots.txt는 반드시 사이트 루트에 위치해야 합니다. (예: https://example.com/robots.txt)
  • Disallow: /는 해당 User-agent의 모든 크롤링을 차단합니다. 실수로 전체 사이트를 막지 않도록 주의하세요.
  • Allow: 지시어는 Disallow보다 구체적인 경로에 허용 예외를 만들 때 사용합니다.
  • Sitemap URL을 포함하면 크롤러가 사이트 구조를 더 빠르게 파악할 수 있습니다.
  • robots.txt는 보안 도구가 아닙니다. 비공개 페이지는 반드시 인증/비밀번호로 보호하세요.

자주 묻는 질문

robots.txt로 페이지를 차단하면 검색결과에서 완전히 사라지나요? ▾
아닙니다. Disallow로 차단해도 다른 사이트에서 링크가 있으면 URL 자체는 검색결과에 표시될 수 있습니다. 완전히 색인을 막으려면 <meta name="robots" content="noindex">를 함께 사용하세요.
User-agent: * 는 무엇을 의미하나요? ▾
*는 모든 크롤러에 적용되는 와일드카드입니다. Googlebot, Bingbot 등 특정 크롤러에만 다른 규칙을 적용하려면 별도의 User-agent 블록을 추가하세요.
AI 크롤러를 차단해야 하나요? ▾
콘텐츠의 AI 학습 데이터 활용을 원하지 않는다면 GPTBot, CCBot, anthropic-ai 등을 차단할 수 있습니다. 단, 검색 순위에는 영향을 주지 않으며 모든 AI 크롤러가 robots.txt를 준수하지는 않습니다.
robots.txt 변경 후 얼마나 걸려야 반영되나요? ▾
Google은 보통 robots.txt를 하루에 여러 번 재확인합니다. Google Search Console의 robots.txt 테스터로 즉시 유효성을 확인할 수 있습니다.