티스토리 블로그의 애드센스 광고 크롤러 오류와 실제 광고 노출에 대하여

애드센스 광고 크롤러 오류와 실제 광고 노출에 대하여

 

애드센스 광고 노출 확인

애드센스 승인 이후 즐거운 마음으로 작성했던 글들을 열어보며 광고가 잘 노출되고 있는지 종종 확인을 해보았습니다.

 

물론 기존 사용 중인 브라우저를 그대로 사용하면 사용 기록 등의 영향으로 간혹 노출이 안되고 있는 페이지에도 특정 광고가 표시될 때가 있고 (저에게만) 누적된 저만의 관심사 등이 반영된 광고가 표시되므로 객관적인 확인이 어렵습니다.

 

따라서 광고 노출 확인은 항상 크롬 브라우저의 우측 상단의 메뉴 아이콘을 클릭하여 나오는 '새 시크릿 창'을 이용하여 확인을 해야 합니다.

새 시크릿 창을 이용하여 광고 노출 확인

 

이렇게 해야 본인의 사용 기록, 관심사, 쿠키 등의 영향을 받지 않고 확인이 가능합니다.

시크릿 모드

 

모든 게시물에 대해 확인을 해보진 않았지만 블로그 홈과 최근 포스팅 일부를 확인해봤더니 정상적으로 광고가 잘 표시되는 것을 확인할 수 있었습니다.

 

애드센스 광고 크롤러 오류

하루에 0.5달러 정도로 매우 낮은 수준의 수익이었지만 그래도 광고 노출이 되고 몇 번의 광고 클릭까지 있었다는 통계를 보니 뿌듯했습니다.

 

그러나 어느 날부터 광고 크롤러 오류가 있다는 문구가 애드센스 관리 페이지 상단에 계속 표시가 되었습니다.

캡처한 것은 최근이라 처음 해당 오류를 봤을 때의 내용(광고 게재 수 등)과는 차이가 있지만 여기서 중요한 것은 '문제' 항목의 내용과 신고된 날짜로 생각됩니다.

광고 크롤러 오류, 캡쳐는 1월 3일인데 신고된 날짜는 1월 1일이었음.

 

크롤러 오류의 이유는 여러 가지가 있겠지만 정책 위반 등의 문제는 표시된 사유를 보고 직접 조치를 할 수 있는 경우입니다.

그러나 위와 같이 "해결해야 하는 문제"가 0이며 '문제' 항목의 내용이 "호스팅 서버에 연결할 수 없음" 등과 같이 블로거의 실수나 정책 위반이 아닌 경우에는 사실상 조치할 수 있는 것이 거의 없다고 봐야 합니다.

 

크롤러 오류로 확인된 게시물들의 광고 노출 상태

일단 크롤러 오류가 표시된 경우 확인된 URL을 시크릿 모드를 사용하여 접속해보면 광고가 노출되지 않는 경우가 대부분입니다.

크롤러 오류 시 광고가 나와야 할 공간에 마치 승인 거절 상태인 것처럼 애드센스 로고만 보이거나 빈 칸만 보인다.

 

그런데 며칠이 지나도 크롤러 오류가 사라지지 않았으나 일부 URL은 정상적으로 광고가 노출되기 시작하는 것을 발견하였습니다.

 

크롤러 오류 상태이나 광고 노출이 정상인 경우

위의 크롤러 오류 URL 표시는 1월 1일 발생 이후 1월 4일 현재까지도 계속 오류 상태를 유지하고 있습니다.

그러나 1월 3일 오전까지는 광고 노출이 되지 않았는데 1월 3일 오후부터는 갑자기 광고가 정상적으로 노출되고 있는 것을 확인할 수 있었습니다.

크롤러 오류 상태가 지속 중인 URL이지만 2~3일 이후부터 광고가 노출되기 시작했다.

 

크롤러 오류 상태에서 광고 노출이 안 되는 경우

위의 경우만 본다면 아무런 조치를 취하지 않더라도 며칠이 지나면 자동으로 광고 표시가 되는 것처럼 생각할 수 있겠으나 

그렇지 않은 경우도 상당히 많았습니다.

 

현재 연속으로 크롤러 오류가 발생된 상태라 여러 가지 조치를 하나씩 적용하여 어느 정도 결과 비교를 할 수 있었습니다.

1월 1일에 2건, 1월 2일에 3건의 크롤러 오류가 발생하였다.

 

크롤러 오류를 해결하기 위해 시도해본 것들

크롤러 오류 해결을 위한 많은 포스팅에서 대표적으로 다음과 같은 두 가지 조치 방법을 설명하고 있습니다.

 

결론부터 말씀드리자면 워낙 변수가 많기 때문에 저의 판단이 정확하지 않을 수 있으나 현재로서는 두 가지 조치 방법 모두 크롤러 오류를 해결하거나 광고를 나오게 해주는 근본적인 해결책이 아니라고 생각합니다.

 

구글 서치 콘솔 색인 상태 확인 및 색인 요청

구글 봇이 자동으로 사이트맵과 RSS 정보 등을 수집하여 새로 생성되는 URL들을 크롤링하는 방식일 것이므로 색인이 안되어있는 상태로 넘어간 경우 수동으로 색인 요청을 하는 방법입니다.

 

가장 일리가 있어 보였으나 아래의 케이스를 경험하고 확인하였으므로 해결 방법이 아니라고 판단하였습니다.

 

1. 크롤러 오류 발생 URL의 색인 상태를 구글 서치 콘솔에서 확인

 1) 색인이 안되어있어야 크롤러 오류가 발생할 것으로 예상하였으나 색인이 이미 된 URL도 상당수 존재하는 것을 확인함

이미 색인 생성이 정상적으로 되어있으나 크롤링 오류는 장기간 사라지지 않는 경우가 있음

 

 2) 색인이 안되었다고 확인되는 URL에 대해서는 일단 색인 요청을 함

언젠가는 자동으로 되겠지만 수동으로 색인 생성을 요청하면 더 빨리 색인이 된다.

 

2. 색인이 안되어 색인 생성 요청을 한 URL에 대해 몇 시간 ~ 며칠 뒤 색인 상태 재확인

 1) 색인 생성이 된 것을 확인

../55 문서의 색인 생성이 완료되었다.

 

 2) 애드센스 정책 센터에서 크롤러 오류 URL을 확인

1월 1일에 감지된 ../55 문서의 크롤러 오류는 여전히 문제 상태가 지속되고 있음 (1월 4일 기준)

 

물론 정책 센터의 크롤러 오류 URL 리스트의 재확인의 주기가 느린 것일 수 있습니다.

그러나 색인이 되고 내부적으로 (리스트는 아직 갱신 전이지만) 크롤러 오류가 해결되었다면 광고 노출이 정상적으로 이루어져야 하지만 여전히 광고 노출은 되지 않았습니다.

 

이와 반대로 색인 생성이 안된 많은 문서들의 URL도 크롤러 오류가 발생되지 않고 있으며 광고 노출도 정상적이었습니다.

 

또한, 위에 언급한 '../55' 문서의 경우 색인 생성이 된 상태로 크롤러 오류 상태는 지속되고 광고가 노출되지 않았으나 시간이 조금 더 지나자 갑자기 광고가 정상적으로 노출되기 시작하였습니다.

물론 지금까지도 다른 상태는 모두 그대로인 상태입니다 (색인 생성됨, 크롤러 오류 리스트에 표시 중)

 

따라서 색인 상태와 크롤러 오류, 광고 노출과의 상관관계는 거의 없는 것으로 생각됩니다.

 

크롤러 액세스 로그인 정보 추가

크롤링 문제가 발생한 문서의 URL이 블로그 관리 페이지가 아닌 이상 티스토리 또는 카카오 계정의 로그인 정보가 필요하다는 것은 쉽게 이해가 되지 않는 부분입니다.

 

'크롤러 액세스의 로그인 정보 추가' 기능은 문제가 발생한 URL의 접근을 위해 로그인 등의 인증 절차가 필요한 경우라면 당연히 로그인 정보를 모르는 구글의 크롤러가 접근을 할 수 없으므로 이런 상황을 해결하기 위해서 미리 특정 URL에 인증 정보를 설정해주는 것입니다.

사이트의 로그인 정보 추가

 

그러나 일반적인 티스토리 블로그의 포스팅된 글들은 로그인 정보가 필요 없습니다.

'../manage'와 같은 블로그 관리 페이지의 경우만 로그인이 필요한데 블로그 주인만 접근이 가능한 관리 페이지에 광고를 게재할 이유도 없을뿐더러 애초에 '../manage'와 같은 URL은 robots.txt 등에 의해 크롤링에서 제외가 됩니다.

 

그래도 혹시 몰라 연속된 최근 크롤러 오류 발생 URL 5개 중 임의의 2개의 URL에 카카오 계정 (저는 티스토리 로그인이 아닌 카카오 계정 로그인을 통해 개설을 하였습니다) 정보를 입력하여 로그인 정보를 추가해 주었습니다.

 

며칠 뒤 확인을 해봤을 때 일부 URL에서 광고 노출이 정상적으로 시작되었으나 로그인 정보를 추가한 URL과는 상관관계가 전혀 없는 것으로 보였습니다.

 

• 로그인 정보를 추가한 URL 중 1개도 정상화되었으나 그렇지 않은 URL 3개도 정상화가 되었습니다.
• 5개 URL 모두 크롤러 오류 상태는 계속 유지되고 있는 중입니다.

 

아무 조치 없이 기다림

아무 것도 하지 않고 기다려보자

 

2022년 12월에 몇 차례 발생했던 크롤러 오류는 모두 아무 조치 없이 기다리기만 했는데 며칠 뒤에 사라져 있었습니다.

 

이때 조금 혼동이 있었던 이유가, 며칠 기다리다가 없어지지 않아서 구글 서치 콘솔의 색인 생성 요청을 했었고 그다음 날 크롤러 오류가 사라진 적이 있었기 때문입니다.

 

그러나 이후 새로운 URL에 대해 크롤러 오류가 발생하였을 때, 색인 요청으로 사라지지 않는 경우를 계속 경험했고 오히려 색인 요청을 하지 않았던 URL의 오류가 자동으로 사라지는 케이스들을 더 많이 보다 보니 점점 더 색인 생성과는 큰 관계가 없다는 생각이 들었습니다.

 

또한 그냥 기다릴 경우 최초로 오류가 신고된 날짜로부터 며칠이 지나야 사라지는지는 완전히 랜덤인 것 같습니다.

저의 경우 2022년 12월 달에는 길어야 1~2일 내에 사라지던 오류들이 2023년 1월 1일에 감지된 2건의 크롤러 오류는 색인 생성, 로그인 정보 추가 등등을 모두 시도해보고 이후 계속 기다리며 틈틈이 확인 중에 있으나 아직까지도 사라지지 않고 있습니다.

 

다른 블로거님들의 사례를 보면 몇 달이 지나도 사라지지 않는 경우가 있다고 하며 특히 기존에 광고 노출이 잘 이루어지던 조회수 높은 글들에서도 갑자기 발생한다고 합니다.

 

저는 아직 그런 경우는 없었으나 위에서 언급했듯이 크롤러 오류는 계속 유지 중이나 실제로 정상적인 광고 게재가 하나둘 시작되었고 현재 5건의 크롤러 오류 중 1건을 제외하고 모두 시크릿 모드에서 확인 시 정상이 되었습니다.

2~3일 정도 시간이 지나자 아무 조치도 하지 않은 2개의 URL을 포함하여 5개 중 4개의 크롤러 오류 URL에서 정상 광고 게재가 되었다.

 

사실 이 글을 작성하기 전까지만 해도 가장 아래에 있는 '전체 글 보기 4페이지'를 가리키는 URL에도 광고 게재가 되지 않고 있었는데 작성하는 중 '전체 글 보기 1페이지'를 가리키는 URL만 제외하고 모두 정상이 되었습니다.

 

크롤러 오류와 관계없는 광고 노출 여부

위의 내용들을 정리해보면 결국 크롤러 오류를 통해 광고 노출이 안되고 있음을 알 수 있는 것은 분명하지만, 이후 크롤러 오류 표시가 지속되는 상황에서도 불규칙하지만 시간이 지나면 광고 노출이 정상화된다는 것을 알 수 있었습니다.

 

반대로 크롤러 오류가 한 번도 발생하지 않았던 URL에서 광고 노출이 안되고 있는 경우가 있는지 확인을 위해 이전에 발행했던 모든 글들을 시크릿 모드로 하나씩 열어봤습니다.

 

그 결과 아래와 같은 '애드고시 기록' 시리즈 중 2개가 현재까지 한 번도 크롤러 오류가 없었음에도 불구하고 지금까지도 광고 노출이 되고 있지 않은 글들로 확인되었습니다.

 

2022.12.02 - [정보/블로그 관련] - 티스토리 블로그 개설 후기 및 애드고시 기록#1 (구글 애드센스 승인) - 블로그 개설 ~ +15일

티스토리 블로그 개설 후기 및 애드고시 기록#1 (구글 애드센스 승인) - 블로그 개설 ~ +15일

2022.12.14 - [정보/블로그 관련] - 애드고시 기록#3 (구글 애드센스 승인) - 블로그 개설 ~ +27일

애드고시 기록#3 (구글 애드센스 승인) - 블로그 개설 ~ +27일

 

위 두 개의 포스팅 날짜를 보면 각각 2022년 12월 2일과 12월 14일로 한 달이 넘은 글도 있습니다.

 

결국 크롤러 오류가 두려운 것은 광고 노출이 안 되는 포스팅의 존재인데 크롤러 오류 이후 계속 정상화가 안되는 글이라면 확인이 쉽겠지만 위와 같이 크롤러 오류가 한 번도 발생하지 않았는데 광고가 계속 나오지 않고 있었던 글은 찾아내기가 매우 어려울 것입니다.

 

실제 광고 게재 기준은 누적 조회수와 관련이 있을까?

현재 크롤러 오류 + 광고 노출이 되지 않는 '전체 글 보기 1페이지'는 누적 조회수를 확인할 수 없으므로 일단 위의 두 포스팅의 누적 조회수를 확인해보면 현재 기준으로 각각 14회, 16회입니다.

누적 조회수 14

 

누적 조회수 16

 

그렇다면 광고 노출이 정상적으로 되고 있는 '애드고시 기록#2'의 누적 조회수는 얼마일까?

누적 조회수 18인데 광고 노출이 정상적이다.

 

단순하기 그지없는 예상이지만 지금까지 확인했던 다른 많은 것들이 실제 광고 노출에 영향을 주지 않았고 현재 누적 조회수의 차이로 광고 노출 여부가 결정되는 것이 맞는 것으로 기대해볼 수 있는 상황입니다.

 

기존 14~16회의 누적 조회수를 가진 글들의 조회수가 18이 넘어간 이후에 광고가 보이기 시작한다면 이러한 예상에 조금 더 가능성이 실릴 것입니다.

 

그러나 만약 누적 조회수 17 이하의 기존 글에서 광고가 나오고 있는 것을 발견한다면 이러한 예상도 맞지 않는 것이 될 것입니다.

 

그리고 바로 전체 글에 대한 누적 조회수를 확인해보기 시작했습니다.

누적 조회수 17의 글을 찾았다.

 

광고가 아주 잘 나오고 있다.

 

누적 조회수가 매우 낮아도 광고 노출이 잘 이루어지는 것을 확인할 수 있었습니다.

 

[업데이트#1] 누적 조회수 17회가 광고 게재의 기준?

비교 대상의 모수가 너무 적기 때문에 단정 짓기에는 너무 이르지만, 불과 1~2시간 전에 위의 내용을 작성하고 발행할 때까지만 해도 광고 노출이 되지 않던 2개의 '애드고시' 관련 글들이 지금 확인해보니 누적 조회수 14회, 16회에서 17회, 17회로 늘어났고 정말 절묘한 타이밍인지는 모르겠으나 두 게시물 모두 광고 노출이 정상적으로 이루어지기 시작한 것을 확인하였습니다.

누적 조회수 14일 때까지만 해도 광고가 나오지 않았는데 17부터 나오기 시작한다.

 

누적 조회수 16일 때까지만 해도 광고가 나오지 않았는데 17부터 나오기 시작한다.

 

[업데이트#2] 누적 조회수 3에서도 광고가 나오는 것을 확인

누적 조회수가 광고 게재 여부의 핵심 기준이라는 가설의 증명에 조금 더 가까워지나 싶었지만, 현재 이 포스팅의 누적 조회수는 3인데 발행 후 몇 분만에 광고가 노출되기 시작하였습니다.

알다가도 모르겠다.

 

오히려 이것이 광고 게재 여부는 누적 조회수와도 큰 관련이 없다는 반증이 된 것 같습니다.

 

---

 

많은 분들께서 티스토리 블로그의 크롤러 오류로 인한 광고 노출이 안 되는 문제로 수익에 문제를 겪고 있다고 합니다.

그리고 여러 가지 크롤러 오류 해결 방법들을 제시해주는 글들도 다양하게 찾아볼 수 있습니다.

 

그러나 모두에게 적용되는 확실한 것은 아직 없는 것 같으며, 만약 어떤 조치 방법에 의해 해결된 것처럼 보였다고 하더라도 시간이 지남에 따라 자동으로 오류가 사라진 타이밍과 우연히 맞았을 수도 있다는 생각이 듭니다.

 

현재로서는 그 주기가 불규칙할 뿐 아무 조치 없이 기다리기만 해도 대부분 해결이 되는 것으로 같으므로 비슷한 경험을 하고 계신 분들이 계시다면 댓글로 공유해주시면 다른 분들께도 참고가 될 것입니다.

 

시간이 지나서 위에 언급한 현재 광고 노출이 안 되는 글들에 변화가 있거나 광고 노출이 정상적이었는데 갑자기 광고 노출이 안 되는 경우가 발생된다면 그에 대해 업데이트를 하도록 하겠습니다 (업데이트#1과 업데이트#2를 본문에 추가하였습니다)