Deepcrawlilla autoin debug tuhansia teknisiä SEO-ongelmia vuosittain joillakin maailman suurimmista yrityssivustoista.

loin Googlebot-simulaattorin Chromessa kopioidakseni ja debugatakseni nopeasti monimutkaisia teknisiä SEO-ongelmia. Kutsuin sitä Chromebot-tekniikaksi.

tässä oppaassa aion selittää, miten tehdä oma Googlebot-simulaattori Google Chromessa monimutkaisten teknisten SEO-ongelmien debugiksi.

mikä on Chromebotin tekniikka?

Chromebot-tekniikka on yksinkertainen ei-koodiratkaisu, joka mahdollistaa ihmisen konfiguroimaan Chromen asetuksia, joten ne toimivat kuten Googlebot crawler (ei renderöinti). Se voi auttaa SEO asiantuntijoita tunnistamaan ainutlaatuinen indeksointi ja indeksointi kysymyksiä verkkosivuilla.

Miksi käyttää tätä tekniikkaa?

olen käyttänyt tätä tekniikkaa paljon Deepcrawlissa, kun olen vianetsinyt lukemattomia client crawling – ja indeksointiongelmia.

se on melko yksinkertainen mutta tehokas ei-koodi tekniikka auttaa teknisiä SEOs ajatella enemmän kuin hakukone crawler ja vähemmän kuin ihminen.

monet sivustot voivat tehdä hassuja asioita, kun Googlebotin käyttäjät pyytävät sivuja.

Mistä tiedät Googlebot crawlerin asetukset?

kaikki asetukset perustuvat aikaan, jonka vietin keskustellen insinöörien kanssa, tutkimalla Googlebotin ympärillä olevaa dokumentaatiota ja päivittämällä Deepcrawlin sivun Renderointipalvelun dokumentaatiota.

olen listannut alkuperäiset dokumentit, joihin olen perustanut asetukset:

• Korjaa hakuun liittyvät JavaScript-ongelmat
• ymmärrä renderöinti Google-haussa
• JavaScript ja SEO: Ero indeksoinnin ja indeksoinnin välillä

mitä tarvitset tähän tekniikkaan?

tarvitset vain Google Chrome Canaryn ja virtuaalisen yksityisverkon (VPN).

miksi simuloida Googlebotia Google Chromessa?

tämän tekniikan käytössä on neljä keskeistä hyötyä, jotka selitän lyhyesti.

virheenkorjaus Google Chromessa

olen debuggannut satoja sivustoja aikanani Deepcrawlissa. Kolmannen osapuolen web indeksointi työkalut ovat uskomattomia, mutta olen aina huomannut, että heillä on rajoja.

yrittäessäni tulkita näiden työkalujen tuloksia käännyn aina Chromen puoleen ymmärtääkseni ja debugatakseni monimutkaisia ongelmia.

Google Chrome on edelleen suosikkini ei-SEO työkalu debug ongelmia ja kun määritetty se voi jopa simuloida Googlebot validoida mitä indeksointi työkalut ovat poimien.

Googlebot käyttää kromia

Gary selvensi, että Googlebot käyttää omaa räätälöityä ratkaisuaan sisällön hakemiseen ja lataamiseen verkosta. Joka sitten siirretään indeksointijärjestelmiin.

ei ole näyttöä siitä, että Googlebot crawler käyttää kromia tai Chromea, kuitenkin Joshua Giardino ipullrankissa tekee suuren argumentin siitä, että Google käyttää kromia luomaan selainpohjaisen web crawlerin.

Google Chrome perustuu myös avoimen lähdekoodin Chromium-projektiin, kuten monet muutkin selaimet.

on järkevää käyttää Chromium-selainta Googlebot web-indeksoinnin simulointiin, jotta voit paremmin ymmärtää verkkosivustoasi.

Unique SEO insights

Google Chromen käyttäminen Googlebotin kaltaisten verkkosivujen nopeaan tulkintaan voi auttaa ymmärtämään paremmin, miksi indeksointiongelmia on minuuteissa.

sen sijaan, että viettäisin aikaa odottaen web crawleria viimeistelyyn, voin käyttää tätä tekniikkaa nopeasti debug potentiaalisen indeksoinnin ja indeksoinnin.

käytän sitten indeksointitietoja nähdäkseni ongelman laajuuden.

Googlebot isn ’ t human

verkko on muuttumassa monimutkaisemmaksi ja dynaamisemmaksi.

on tärkeää muistaa, että kun virheenkorjaus indeksointi ja indeksointi kysymyksiä olet ihminen ja Googlebot on kone. Monet nykyaikaiset sivustot kohtelevat näitä kahta käyttäjää eri tavalla.

Google Chrome, joka suunniteltiin auttamaan ihmisiä navigoimaan verkossa, voi nyt auttaa ihmistä katsomaan sivustoa kuin botti.

miten Googlebot simulator

oikein, tarpeeksi miksi. Selitän, miten luoda oma Googlebot simulaattori.

Lataa Google Chrome

suosittelen lataamaan Chrome Canaryn ja olemaan käyttämättä omaa Google Chrome-selainta (tai jos olet vaihtanut Firefoxiin, käytä Google Chromea).

suurin syy tähän on se, että muutat selaimen asetuksia, mikä voi olla tuskaa, jos unohdat nollata ne tai sinulla on miljoona välilehteä auki. Säästä aikaa ja käytä Canarya Googlebot-simulaattorinasi.

lataa tai käytä VPN: ää

jos olet Yhdysvaltojen ulkopuolella, varmista, että sinulla on pääsy virtuaaliseen Yksityisverkkoon (VPN), jotta voit vaihtaa IP-osoitteesi Yhdysvaltoihin.

tämä johtuu siitä, että oletuksena Googlebot ryömii Yhdysvalloista, ja todella simuloidakseen ryömintäkäyttäytymistä sinun täytyy teeskennellä pääseväsi sivustolle Yhdysvalloista.

Chromen asetukset

kun nämä on ladattu ja asennettu, on aika määrittää Chromen asetukset.

olen antanut selityksen siihen, miksi sinun täytyy määrittää jokainen asetus, mutta alkuperäinen ajatus Chromebotin käytöstä tuli minulle, kun kirjoitin sivun Renderointipalvelun oppaan uudelleen.

Web Dev Tools

Web Developer Tools UI on tärkeä osa sivustosi katselua Googlebotin tapaan. Varmista, että voit navigoida ympäri konsolia sinun täytyy siirtää Web Dev Työkalut erilliseen ikkunaan.

muista, että DevTools-ikkunasi on linkitetty välilehteen, jossa avasit sen. Jos suljet kyseisen välilehden Google Chromessa, myös asetukset ja DevTools-ikkuna sulkeutuu.

tämä on hyvin yksinkertaista, sinun tarvitsee vain:

1. Napsauta WWW-sivua hiiren kakkospainikkeella ja valitse tarkasta elementti (tai CTRL+SHIFT+I)
2. Siirry oikealle puolelle, Napsauta 3 pystysuuntaista pistettä ja valitse laiturin vasemmalla puolella oleva vaihtoehto.

Web Dev-Työkalukonsoli on nyt erillisessä ikkunassa.

User-agent token

käyttäjäagenttijono-tai tekstirivi – on sovellusten tapa tunnistautua palvelimiin tai verkkoihin. Simuloidaksemme Googlebotia meidän on päivitettävä selaimen käyttäjäagentti, jotta verkkosivusto saa tietää, että olemme Googlen web crawler.

Komentovalikko

käytä Komentovalikkoa (CTRL + Shift + P) ja kirjoita ”näytä verkkoehdot” avataksesi DevTools-välilehden ja päivittääksesi käyttäjäagentin.

manuaalinen

voit tehdä tämän navigoimalla erilliseen Web Dev Tools-ikkunaan ja painamalla Esc-painiketta. Tämä avaa konsolin.

Napsauta konsoli-välilehden vasemmalla puolella olevia kolmea pientä painiketta.

valitse vaihtoehtojen luettelosta verkkoehdot. Tämä avaa konsoli-välilehden vieressä olevan verkkoehdot-välilehden.

verkkoehdot-välilehdessä selaa alaspäin ja Poista ’käyttäjä-agentti Valitse automaattisesti’ vaihtoehto.

Google Chromen avulla voit nyt muuttaa selaimesi käyttäjä-agentti-merkkijonon Googlebotiksi tai Googlebot Mobileksi.

olen yleensä asettaa sen Googlebot Mobile mobile-indeksointi oletuksena. Vaikka suosittelen tarkistaa Google Search Console nähdä, mikä Googlebot indeksoi sivustosi useimmiten.

Googlebotin käyttäjäagentti käyttää automaattisesti dev beta Chrome-versiota, ei vakaata versiota. Tämä ei yleensä ole ongelma 99%: lle verkkosivustoista, mutta jos tarvitset, voit syöttää mukautetun UA: n vakaasta Chromesta.

nyt olet vaihtanut käyttäjäagenttia, sulje konsoli (paina ESC uudelleen).

Ota käyttöön valtioton ryömintä

Googlebot ryömii verkkosivuja valtiottomina yli sivukuormien.

Google Search developer documentationin mukaan tämä tarkoittaa, että jokainen uusi sivu, joka on ryömitty, käyttää tuoretta selainta eikä käytä välimuistia, evästeitä tai sijaintia verkkosivujen etsimiseen ja ryömimiseen.

Googlebot-simulaattorimme on myös toistettava valtiottomuus (niin paljon kuin se voi) jokaisella ladatulla uudella sivulla. Voit tehdä tämän sinun täytyy poistaa välimuisti, evästeet, ja sijainti Chromessa.

Poista välimuisti

Komentovalikko

käytä Komentovalikkoa (CTRL + Shift + P) ja kirjoita ”Poista välimuisti” poistaaksesi välimuistin, kun DevTools on auki.

manuaalinen

välimuistin poistaminen käytöstä menee Devtoolsin verkkopaneeliin ja tarkistaa ”poista välimuisti”.

Poista evästeet käytöstä

Komentovalikko

käytä Komentovalikkoa (CTRL + Shift + P) ja kirjoita ”Disable Cache” poistaaksesi välimuistin, kun DevTools on auki.

käsikirja

Chromessa navigoi Chromeen:/ / settings / cookies. Evästeasetuksissa voit valita vaihtoehdon ”estää kolmannen osapuolen evästeet”.

poistaminen käytöstä sijainti

Chromessa siirry selaimesi chromeenhttps://settings/content/location. Vaihda ”Kysy ennen käyttöä (suositeltava)” – kohtaan ”estetty”.

Poista käytöstä palvelutyöntekijät

Googlebot poistaa rajapinnat käytöstä Palvelutyöntekijän määrittelyyn vedoten. Tämä tarkoittaa sitä, että se ohittaa Palvelutyöntekijän, joka saattaa kätkeä tietoja ja hakea URL-osoitteita palvelimelta.

jos haluat tehdä tämän, siirry DevTools-sovelluksen Sovelluspaneeliin, siirry Palvelutyöntekijöille ja valitse ”Ohita verkko” – vaihtoehto.

kun selain on poistettu käytöstä, se joutuu aina pyytämään resurssia verkosta eikä käyttämään Palvelutyöntekijää.

Poista JavaScript käytöstä

Googlebot crawler ei suorita mitään JavaScriptiä ryömittäessä.

indeksoinnin ja renderöinnin alajärjestelmistä kerrotaan tarkemmin Understand the JavaScript SEO basics Guidessa ja Googlebot & JavaScript: a Closer Look at the WRS at TechSEO Boost 2019.

Googlebot on hyvin monimutkainen järjestelmä ja tämäkin yllä oleva kaavio on yliyksinkertaistava. Kuitenkin; Googlebot crawler on ensin hakea, ladata, ja tarkastaa web-sivun riippumatta renderöinti.

on tärkeää varmistaa, että voimme tarkastaa palvelinpuolen HTML -, http-tilakoodit ja resurssit ilman javascriptiä Googlebot-simulaattorissamme.

komentorivi

käytä Komentovalikkoa (CTRL + Shift + P) ja kirjoita ”Disable JavaScript” poistaaksesi JavaScriptin nopeasti käytöstä.

käsikirja

jos haluat poistaa JavaScriptin käytöstä Chromessa, siirry Devtoolsiin ja napsauta Asetukset-ratasta.

valitse sitten’ Poista JavaScript ’ – ruutu.

nyt kun käytät Googlebot-simulaattoria, tarkastat vain alkuperäisen palvelinpuolen HTML: n. Tämä auttaa ymmärtämään paremmin, jos jokin linkki, sisältö tai HTTP-tilakoodi aiheuttaa crawler ongelmia.

verkkopaneeli

vihdoin on aika määrittää verkkopaneeli. Se on tällä alalla DevTools jossa viettää paljon aikaa Googlebot.

Verkkopaneelia käytetään varmistamaan, että resursseja haetaan ja Ladataan. Tässä paneelissa voit tarkastaa jokaisen yksittäisen URL-osoitteen metatiedot, http-otsikot, sisällön jne., Kun pyydät sivua.

kuitenkin; ennen kuin voimme tarkastaa palvelimelta ladatut resurssit (HTML, CSS, IMG) kuten Googlebot, meidän on päivitettävä otsakkeet näyttääksemme tärkeimmät tiedot paneelissa.

Siirry Devtoolsin verkkopaneeliin (nyt erillinen ikkuna). Napsauta hiiren oikealla painikkeella sarakkeen otsikoita ja valitse alla luetellut otsikot, jotka lisätään sarakkeina verkkopaneelissa (poista kaikki muut, joita ei ole lueteltu).

olen myös antanut lyhyen selityksen kustakin otsakkeesta ja siitä, miksi ne olisi lisättävä.

Status

palvelimelta ladattavan URL-osoitteen https-tilakoodi. Googlebot muuttaa käyttäytymistään indeksoinnin riippuen http-tilakoodin tyypistä – yksi kriittisimmistä tiedoista ymmärtää, kun tarkistetaan URL-osoitteita.

Scheme

näyttää ladattavan resurssin suojaamattoman https:// – tai suojatun https:// – järjestelmän. Googlebot haluaa indeksoida HTTPS-URL-osoitteita, joten on tärkeää saada hyvä käsitys sivun resurssien käyttämästä järjestelmästä.

toimialue

näyttää toimialueen, josta resurssit ladattiin. On tärkeää ymmärtää, onko tärkeä sisältö riippuvainen ulkoisesta CDN: stä, API: sta tai aliverkkotunnuksesta, sillä Googlebotilla saattaa olla vaikeuksia hakea sisältöä.

etäosoite

Google Chrome listaa sen isännän IP-osoitteen, josta resursseja Ladataan. Koska verkkosivuston indeksointibudjetti perustuu isännän IP-osoitteeseen eikä verkkotunnukseen, on tärkeää ottaa huomioon myös kunkin haetun URL-osoitteen IP-osoite.

Tyyppi

pyydetyn resurssin MIME-tyyppi. On tärkeää varmistaa, että tärkeät URL-osoitteet on merkitty oikealla MIME-tyypillä, koska erityyppiset Googlebot ovat kiinnostuneita erityyppisestä sisällöstä (HTML, css, IMG).

Koko

palvelimen toimittamien vastausotsikoiden yhteenlaskettu koko ja vastausrunko. On tärkeää parantaa sivuston nopeutta, koska tämä voi auttaa sekä käyttäjiä että Googlebot käyttää sivustoasi nopeammin.

aika

kokonaiskesto pyynnön alusta lopullisen tavun vastaanottamiseen vastauksessa. Palvelimen vastaus voi vaikuttaa Googlebotin ryömintänopeusrajaan. Jos palvelin hidastaa sitten web crawler indeksoida sivuston vähemmän.

prioriteetti

paras arvaus selaimesta, jonka resurssit ladata ensin. Näin Googlebot ei priorisoi URL-osoitteita ryömimään, mutta voi olla hyödyllistä nähdä, mitkä resurssit selain priorisoi (käyttäen omaa heuristiikkaansa).

Viimeksi muokattu

Viimeksi muokattu HTTP-vastausotsikko sisältää päivämäärän ja kellonajan, jolloin origin-palvelin uskoo resurssin Viimeksi muokatun. Googlebot voi käyttää tätä vastausta yhdessä muiden signaalien kanssa auttaakseen priorisoimaan ryömimistä sivustolla.

Yhdysvaltain IP-osoite

kun olet päivittänyt Verkkopaneelien otsikot Chrome Devtoolsissa, Googlebot-simulaattorisi on melkein valmis.

jos haluat käyttää sitä heti, sinun on vaihdettava yhdysvaltalaiseen IP-osoitteeseen.

Googlebot ryömii Yhdysvalloista. Tästä syystä suosittelisin aina vaihtamaan IP-osoitteesi Yhdysvaltoihin, kun käytät Googlebot-simulaattoria.

se on paras tapa ymmärtää, miten sivustosi käyttäytyy Googlebotin vieraillessa. Esimerkiksi, jos sivusto estää kävijöitä yhdysvaltalaisilla IP-osoitteilla tai geo-ohjaa kävijöitä heidän sijaintinsa perusteella, tämä saattaa aiheuttaa ongelmia Googlen indeksoinnissa ja verkkosivuston indeksoinnissa.

I, Googlebot Chrome

kun IP-osoitteesi on vaihdettu, olet valmis lähtemään ja sinulla on oma Googlebot-simulaattori.

jos haluat testata toimiiko se, mene angular.io tai eventbrite.com. Nämä sivustot vaativat JavaScript ladata sisältöä ja linkkejä – JavaScript käytöstä nämä sivustot eivät lataa sisältöä kunnolla käyttöliittymä.

Usein kysyttyjä kysymyksiä

toimiiko simulaattori vain yhdelle välilehdelle?

Kyllä. Google DevTool-asetukset ovat vain sillä välilehdellä, jonka olet tällä hetkellä avannut. Uuden välilehden avaaminen aiheuttaa JavaScript-ja User-agent-asetusten poistamisen käytöstä.

muut Chrome-pohjaiset asetukset (evästeet, palvelutyöntekijät) asetetaan edelleen.

auttaako tämä JavaScript SEO-ongelmien vianetsinnässä?

Kyllä tätä tekniikkaa voidaan käyttää JavaScript SEO-ongelmien vianetsintään verkkosivustolla, Kun verrataan view-source-versiota renderöityyn HTML-muotoon. Vaikka voisi olla parempia laajennuksia ja työkaluja tehdä tämän mittakaavassa.

pitääkö asetukset päivittää joka kerta?

kun välilehtesi on suljettu, sinun on päivitettävä seuraavat asetukset:

• Poista JavaScript käytöstä
• Päivitä User-agent token

selain on tallentanut kaikki muut asetukset.

miksi minun täytyy käyttää Chrome Canarya?

ehdotan vain, että käytät tätä estääksesi sinua sotkemasta Chrome-selaimesi ja viettämästä aikaa edestakaisin asetusten välillä.

jos käytät Firefoxia tai Safaria, lataa tavallinen Google Chrome.

olenko jo rakentanut tämän päättömään kromiin vai jonkun muun automaation kautta?

First off, well done! Jos olet kuin minä ja ei (tällä hetkellä) on aikaa/kapasiteettia oppia uusia koodauskieliä niin tämä ei-koodi menetelmä on hyvä aloittaa.