크롤러빌리티 & 인덱서빌리티: 그것들은 무엇이며 SEO에 어떻게 영향을 미치는가
크롤러빌리티란 무엇인가?
웹페이지의 크롤러빌리티는 검색 엔진(예: Google)이 페이지를 얼마나 쉽게 발견할 수 있는지를 가리킵니다.
Google은 크롤링이라는 과정을 통해 웹페이지를 발견합니다. 컴퓨터 프로그램인 웹 크롤러(봇 또는 스파이더라고도 함)를 사용합니다. 이러한 프로그램은 페이지 간 링크를 따라가서 새롭거나 업데이트된 페이지를 발견합니다.
인덱싱은 일반적으로 크롤링 후에 발생합니다.
인덱서빌리티란 무엇인가?
웹페이지의 인덱서빌리티는 검색 엔진(예: Google)이 페이지를 인덱스에 추가할 수 있는지를 의미합니다.
웹페이지를 인덱스에 추가하는 과정은 인덱싱이라고 합니다. 이는 Google이 페이지를 분석하고 내용을 검토한 후 수십억 개의 페이지 데이터베이스(Google 인덱스라고 함)에 추가하는 것을 의미합니다.
크롤러빌리티와 인덱서빌리티가 SEO에 어떻게 영향을 미치는가?
크롤러빌리티와 인덱서빌리티는 둘 다 SEO에 필수적입니다.
Google이 작동하는 방식을 보여주는 간단한 일러스트레이션은 다음과 같습니다:
먼저, Google은 페이지를 크롤링합니다. 그 다음 인덱싱합니다. 그제야 관련 검색 쿼리에 대해 페이지를 랭킹할 수 있습니다.
다시 말해: 먼저 크롤링되고 인덱싱되지 않으면 Google에 의해 페이지가 랭킹되지 않습니다. 랭킹이 없으면 검색 트래픽이 없습니다.
Google의 전 웹 스팸 책임자였던 Matt Cutts가 이 비디오에서 과정을 설명합니다:
SEO의 중요한 부분이 웹사이트 페이지가 크롤러빌리티와 인덱서빌리티를 가지는지 확인하는 것은 놀랄 일이 아닙니다.
하지만 어떻게 하는가?
웹사이트의 기술 SEO 감사를 수행하는 것으로 시작하세요.
Semrush의 Site Audit 도구를 사용하여 크롤러빌리티와 인덱서빌리티 문제를 발견하세요. (이 포스트 후반부에서 자세히 다루겠습니다.)
크롤러빌리티와 인덱서빌리티 문제를 감지하세요
Site Audit 도구로
크롤러빌리티와 인덱서빌리티에 영향을 미치는 것
내부 링크
내부 링크는 웹사이트의 크롤러빌리티와 인덱서빌리티에 직접적인 영향을 미칩니다.
기억하세요—검색 엔진은 봇을 사용하여 웹페이지를 크롤링하고 발견합니다. 내부 링크는 로드맵 역할을 하여 봇이 웹사이트 내에서 한 페이지에서 다른 페이지로 안내하도록 합니다.
잘 배치된 내부 링크는 검색 엔진 봇이 웹사이트의 모든 페이지를 더 쉽게 찾도록 합니다.
따라서 사이트의 모든 페이지가 웹사이트 내 다른 곳에서 링크되어 있는지 확인하세요.
네비게이션 메뉴, 푸터 링크, 콘텐츠 내 맥락 링크를 포함하는 것으로 시작하세요.
웹사이트 개발 초기 단계에 있다면 논리적인 사이트 구조를 만드는 것도 강력한 내부 링킹 기반을 설정하는 데 도움이 됩니다.
논리적인 사이트 구조는 웹사이트를 카테고리로 구성합니다. 그런 다음 해당 카테고리가 사이트의 개별 페이지로 링크됩니다.
이와 같이:
홈페이지는 각 카테고리 페이지로 연결됩니다. 그런 다음 각 카테고리 페이지는 사이트의 특정 하위 페이지로 연결됩니다.
이 구조를 채택하면 검색 엔진이 콘텐츠를 쉽게 탐색하고 인덱싱할 수 있는 견고한 기반을 구축할 수 있습니다.
Robots.txt
Robots.txt는 파티 입구의 경비원과 같습니다.
웹사이트에 있는 파일로, 검색 엔진 봇이 어떤 페이지를 액세스할 수 있는지 알려줍니다.
다음은 샘플 robots.txt 파일입니다:
User-agent: *
Allow:/blog/
Disallow:/blog/admin/
이 파일의 각 구성 요소를 이해해 보겠습니다.
- User-agent: *: 이 줄은 규칙이 모든 검색 엔진 봇에 적용된다는 것을 지정합니다
- Allow: /blog/: 이 지시어는 검색 엔진 봇이 “/blog/” 디렉토리 내 페이지를 크롤링할 수 있도록 허용합니다. 즉, 모든 블로그 포스트가 크롤링될 수 있습니다
- Disallow: /blog/admin/: 이 지시어는 검색 엔진 봇이 블로그의 관리 영역을 크롤링하지 않도록 합니다
검색 엔진이 봇을 보내 웹사이트를 탐색할 때, 먼저 robots.txt 파일을 확인하여 제한 사항을 검사합니다.
검색 엔진이 발견해야 할 중요한 페이지(예: 블로그 포스트 및 일반 웹사이트 페이지)를 실수로 차단하지 않도록 주의하세요.
또한, robots.txt는 크롤 액세스를 제어하지만 웹사이트의 인덱서빌리티에 직접적인 영향을 미치지 않습니다.
검색 엔진은 robots.txt 파일에서 차단된 페이지라도 다른 웹사이트에서 링크된 페이지를 발견하고 인덱싱할 수 있습니다.
PPC 랜딩 페이지나 “감사합니다” 페이지와 같은 특정 페이지를 인덱싱하지 않도록 하려면 “noindex” 태그를 구현하세요.
이 태그와 구현 방법에 대해 자세히 알아보려면 메타 로봇 태그 가이드를 참조하세요.
XML Sitemap
XML 사이트맵은 웹사이트의 크롤러빌리티와 인덱서빌리티를 개선하는 데 중요한 역할을 합니다.
검색 엔진 봇에게 크롤링하고 인덱싱되기를 원하는 웹사이트의 모든 중요한 페이지를 보여줍니다.
콘텐츠를 더 쉽게 발견할 수 있도록 보물 지도를 주는 것과 같습니다.
따라서 사이트맵에 모든 필수 페이지를 포함하세요. 일반 네비게이션을 통해 찾기 어려운 페이지도 포함합니다.
이렇게 하면 검색 엔진 봇이 사이트를 효율적으로 크롤링하고 인덱싱할 수 있습니다.
콘텐츠 품질
콘텐츠 품질은 검색 엔진이 웹사이트를 크롤링하고 인덱싱하는 방식에 영향을 미칩니다.
검색 엔진 봇은 고품질 콘텐츠를 좋아합니다. 콘텐츠가 잘 작성되고, 유익하며, 사용자에게 관련성이 있으면 검색 엔진의 더 많은 주의를 끌 수 있습니다.
검색 엔진은 사용자에게 최고의 결과를 제공하고자 합니다. 따라서 최상급 콘텐츠가 있는 페이지를 크롤링하고 인덱싱하는 것을 우선시합니다.
독창적이고 가치 있으며 잘 작성된 콘텐츠를 만드는 데 집중하세요.
적절한 포맷팅, 명확한 제목, 체계적인 구조를 사용하여 검색 엔진 봇이 콘텐츠를 쉽게 크롤링하고 이해할 수 있도록 하세요.
최상급 콘텐츠를 만드는 방법에 대한 더 많은 조언은 품질 콘텐츠 가이드를 확인하세요.
기술적 문제
기술적 문제는 검색 엔진 봇이 웹사이트를 효과적으로 크롤링하고 인덱싱하는 것을 방해할 수 있습니다.
웹사이트에 페이지 로드 시간이 느리거나 깨진 링크, 리디렉션 루프가 있으면 봇의 웹사이트 탐색 능력을 저해할 수 있습니다.
기술적 문제는 검색 엔진이 웹페이지를 제대로 인덱싱하는 것을 방해할 수도 있습니다.
예를 들어, 웹사이트에 중복 콘텐츠 문제나 캐노니컬 태그를 부적절하게 사용하면 검색 엔진이 어떤 페이지 버전을 인덱싱하고 랭킹할지 이해하기 어려워할 수 있습니다.
이러한 문제는 웹사이트의 검색 엔진 가시성에 해롭습니다. 가능한 한 빨리 이러한 문제를 식별하고 수정하세요.
크롤러빌리티와 인덱서빌리티 문제를 찾는 방법
Semrush의 Site Audit 도구를 사용하여 웹사이트의 크롤러빌리티와 인덱서빌리티에 영향을 미치는 기술적 문제를 찾으세요.
이 도구는 다음과 같은 문제를 찾고 수정하는 데 도움이 됩니다:
- 중복 콘텐츠
- 리디렉션 루프
- 깨진 내부 링크
- 서버 측 오류
그리고 더 많은 문제.
시작하려면 웹사이트 URL을 입력하고 “감사 시작”을 클릭하세요.
다음으로, 감사 설정을 구성하세요. 완료되면 “사이트 감사 시작”을 클릭하세요.
도구는 웹사이트를 기술적 문제로 감사하기 시작합니다. 완료 후, “Site Health” 지표와 함께 웹사이트의 기술 건강 개요를 보여줍니다.
