På DeepCrawl hjalp Jeg med å feilsøke tusenvis av tekniske SEO-problemer hvert år på noen av de største bedriftsnettstedene i verden.

jeg opprettet En Googlebot-simulator I Chrome for raskt å replikere og feilsøke komplekse tekniske SEO-problemer. Jeg kalte Det Chromebot-teknikken.

I denne veiledningen skal jeg forklare hvordan du lager Din Egen Googlebot-simulator I Google Chrome for å feilsøke komplekse tekniske SEO-problemer.

Hva er Chromebot-teknikken?

Chromebot-teknikken er en enkel ikke-kodeløsning som gjør det mulig for et menneske å konfigurere chrome-innstillinger slik at De fungerer Som Googlebot crawler (ikke gjengivelse). DET kan hjelpe SEO spesialister identifisere unike kravlesøk og indeksering problemer på et nettsted.

hvorfor bruke denne teknikken?

jeg har brukt denne teknikken mye På DeepCrawl når feilsøking utallige klient gjennomgang og indeksering problemer.

det er en ganske enkel, men effektiv ikke-kode teknikk for å hjelpe tekniske Seo tenke mer som en søkemotor crawler og mindre som et menneske.

mange nettsteder kan gjøre morsomme ting når Googlebot-brukere ber om sider.

Hvordan kjenner Du Innstillingene Til Googlebot crawler?

alle innstillingene er basert på tiden jeg brukte til å chatte med ingeniører, studere dokumentasjonen rundt Googlebot og oppdatere Deepcrawls sidegjengivelsestjenestedokumentasjon.

jeg har oppført originaldokumentene som jeg har basert innstillingene på:

• Løs søkrelaterte JavaScript-problemer
• Forstå gjengivelse på Google-Søk
• JavaScript og SEO: Forskjellen Mellom Gjennomgang Og Indeksering

hva trenger du For denne teknikken?

Alt Du trenger Er Google Chrome Canary og Et Virtuelt Privat Nettverk (VPN).

hvorfor simulere Googlebot I Google Chrome?

det er fire kjernefordeler ved å bruke denne teknikken som jeg kort vil forklare.

Feilsøking I Google Chrome

jeg har feilsøkt hundrevis av nettsteder i Min tid På DeepCrawl. Tredjeparts web crawling verktøy er fantastisk, men jeg har alltid funnet ut at de har grenser.

når jeg prøver å tolke resultater fra disse verktøyene, går Jeg alltid Til Chrome for å forstå og feilsøke komplekse problemer.

Google Chrome er fortsatt mitt favoritt ikke-SEO-verktøy for å feilsøke problemer, og når det er konfigurert, kan det til og med simulere Googlebot for å validere hvilke krypteringsverktøy som plukker opp.

Googlebot bruker Chromium

Gary clarified at Googlebot bruker sin egen skreddersydde løsning for å hente og laste ned innhold fra nettet. Som deretter sendes inn på indekseringssystemene.

Det er ingen bevis som tyder på At Googlebot crawler bruker Chromium Eller Chrome, Men Joshua Giardino på IPullRank gjør et godt argument Om At Google bruker Chromium til å lage en nettleserbasert web crawler.

Google Chrome er også basert på Åpen Kildekode Chromium-prosjektet, så vel som mange andre nettlesere.

det er fornuftig å bruke En Chromium-nettleser for å simulere Googlebot-webkryping for bedre å forstå nettstedet ditt.

Unik SEO innsikt

Ved Hjelp Av Google Chrome til raskt å tolke nettsider som Googlebot kan bidra til å bedre forstå nøyaktig hvorfor det er kravlesøk eller indeksering problemer i løpet av minutter.

I Stedet for å bruke tid på å vente på at en web crawler skal fullføre, kan jeg bruke denne teknikken til raskt å feilsøke potensiell gjennomsøking og indeksering.

jeg bruker deretter krypteringsdataene til å se omfanget av et problem.

Googlebot er ikke menneskelig

nettet blir mer komplekst og dynamisk.

det er viktig å huske at når du feilsøker kravlesøk og indeksering problemer du er et menneske Og Googlebot er en maskin. Mange moderne nettsteder behandler disse to brukerne annerledes.

Google Chrome som ble utviklet For å hjelpe mennesker med å navigere på nettet, kan nå hjelpe et menneske til å se et nettsted som en bot.

hvordan sette Opp Googlebot simulator

Høyre, nok av hvorfor. La meg forklare hvordan du lager Din Egen Googlebot simulator.

Last Ned Google Chrome

jeg vil anbefale å laste Ned Chrome Canary og ikke bruke Din Egen google Chrome-nettleser(eller hvis Du har byttet Til Firefox, bruk Google Chrome).

hovedårsaken til dette er fordi du vil endre nettleserinnstillingene som kan være en smerte hvis du glemmer å tilbakestille dem eller har en million faner åpne. Spar deg litt tid og bare bruke Canary som din dedikerte Googlebot simulator.

Last ned ELLER bruk ET VPN

hvis du er utenfor Usa, må du sørge for at du har tilgang til Et Virtuelt Privat Nettverk (VPN), slik at DU kan bytte IP-adressen DIN TIL USA.

Dette skyldes at Googlebot som standard kryper fra USA, og for å virkelig simulere krypteringsadferd må du late som å få tilgang til et nettsted FRA USA.

Chrome-Innstillinger

når du har lastet ned og konfigurert Disse, er Det på tide å konfigurere Chrome-innstillinger.

jeg har gitt en forklaring på hvorfor du må konfigurere hver innstilling, men den opprinnelige ideen om Å bruke Chromebot kom til meg da Jeg omskrev Sidegjengivelsestjenesten.

Web Dev Tools

Brukergrensesnittet For Webutviklerverktøy er en viktig del av å se på nettstedet ditt som Googlebot. For å sikre at du kan navigere rundt konsollen må du flytte Web Dev Verktøy i et eget vindu.

Husk At DevTools-vinduet ditt er koblet til fanen du åpnet den i. Hvis du lukker den kategorien I Google Chrome, lukkes vinduet innstillinger og DevTools også.

det er veldig enkelt å gjøre dette, alt du trenger å gjøre er:

1. Høyreklikk på en nettside og klikk inspiser element (ELLER CTRL+SHIFT+I)
2. Naviger til høyre, klikk på de 3 vertikale prikkene,og velg alternativet helt til venstre.

web Dev Tool console er nå i et eget vindu.

user-agent token

en brukeragentstreng – eller tekstlinje – er en måte for programmer å identifisere seg for servere eller nettverk. For å simulere Googlebot må vi oppdatere nettleserens brukeragent for å la et nettsted vite at Vi Er Googles web crawler.

Kommandomeny

Bruk Kommandomenyen (CTRL + Shift + P) og skriv «Vis nettverksforhold» for å åpne fanen nettverksbetingelser I DevTools og oppdatere brukeragenten.

Manuell

for å gjøre dette, naviger til det separate Web Dev Tools-vinduet og trykk På Esc-knappen. Dette vil åpne konsollen.

Klikk på de tre små knappene til venstre på konsollfanen.

i listen over alternativer klikker du på nettverksforholdene. Dette åpner fanen nettverksforhold ved siden av konsollfanen.

i kategorien nettverksforhold rull ned og fjern merket for ‘brukeragent velg automatisk’.

Google Chrome vil nå tillate deg å endre brukeragentstrengen i nettleseren din Til Googlebot Eller Googlebot Mobile.

jeg setter vanligvis Den Til Googlebot Mobile med mobilindeksering som standard. Selv om Jeg vil anbefale å sjekke Inn Google Search Console for å se hvilke Googlebot gjennomsøker nettstedet ditt oftest.

Googlebot-brukeragenten bruker dev beta Chrome-versjonen, ikke den stabile versjonen, automatisk. Dette er vanligvis ikke et problem for 99% av nettstedene, men hvis du trenger det, kan du legge inn den tilpassede UA fra stabil Chrome.

nå har du endret brukeragenten, lukk konsollen(trykk ESC igjen).

Aktiver tilstandsløs gjennomsøking

Googlebot gjennomsøker nettsider som er statsløse på tvers av sidelastinger.

dokumentasjonen For google Search developer sier at dette betyr at hver nye side som gjennomsøkes, bruker en ny nettleser og ikke bruker hurtigbufferen, informasjonskapslene eller plasseringen til å oppdage og gjennomsøke nettsider.

Vår Googlebot-simulator må også replikere å være statsløs (så mye som mulig) over hver ny side lastet. For å gjøre dette må du deaktivere hurtigbufferen, informasjonskapslene og plasseringen i Chrome.

Deaktiver hurtigbufferen

Kommandomeny

Bruk Kommandomenyen (CTRL + Shift + P) og skriv «Deaktiver Hurtigbufferen» for å deaktivere hurtigbufferen når DevTools er åpen.

Manuell

for å deaktivere hurtigbufferen, gå til Nettverkspanelet I DevTools og sjekk ‘Deaktiver cache’.

Deaktiver informasjonskapsler

Kommandomeny

Bruk Kommandomenyen (CTRL + Shift + P) og skriv «Deaktiver Cache» for å deaktivere hurtigbufferen når DevTools er åpen.

Manuell

i Chrome naviger til chrome: / / innstillinger / informasjonskapsler. I innstillingene for informasjonskapsler velger du alternativet «Blokker tredjeparts informasjonskapsler».

Deaktivering av plassering

i Chrome naviger til chrome:/ / settings / content / location i nettleseren din. Bytt «Spør før tilgang (anbefalt)» Til «Blokkert».

Deaktiver Servicearbeidere

Googlebot deaktiverer grensesnitt som er avhengig Av Tjenestearbeiderspesifikasjonen. Dette betyr at Det omgår Servicearbeideren som kan cache data og henter Nettadresser fra serveren.

for å gjøre dette, naviger til Applikasjonspanelet I DevTools, gå Til Servicearbeidere, og merk av For’ Omgå nettverket’.

når deaktivert nettleseren vil bli tvunget til å alltid be om en ressurs fra nettverket og ikke bruke En Servicearbeider.

Deaktiver JavaScript

Googlebot-søkeroboten utfører Ikke JavaScript ved gjennomsøking.

gjennomgangen og gjengivelsen av delsystemene er nærmere forklart I Forstå JavaScript SEO basics guide Og Googlebot & JavaScript: En Nærmere Titt PÅ WRS På TechSEO Boost 2019.

Googlebot er et svært komplekst system, og selv dette diagrammet ovenfor er en forenkling. Googlebot-søkeroboten må imidlertid først hente, laste ned og inspisere en nettside uavhengig av gjengivelse.

Det er viktig å sørge for at Vi kan inspisere HTML, http-statuskoder og ressurser på SERVERSIDEN uten JavaScript i Googlebot-simulatoren vår.

Kommandolinje

Bruk Kommandomenyen (CTRL + Shift + P) og skriv «Deaktiver JavaScript» for raskt å deaktivere JavaScript.

Manuell

for å deaktivere JavaScript I Chrome, naviger Til DevTools og klikk på innstillinger cog.

merk Deretter Av For ‘Deaktiver JavaScript’ – boksen.

Nå når du bruker Googlebot simulator vil du bare bli inspisere den første server-SIDE HTML. Dette vil bidra til å bedre forstå om det er noen kobling, innhold eller HTTP-statuskode problemer som forårsaker crawler problemer.

Nettverkspanel

Endelig er Det På tide å konfigurere Nettverkspanelet. Det er i Dette området I DevTools hvor du skal tilbringe mye tid Som Googlebot.

Nettverkspanelet brukes til å sørge for at ressurser hentes og lastes ned. Det er i dette panelet at du kan inspisere metadata, http-overskrifter, innhold, etc av hver ENKELT URL lastet ned når du ber om en side.

Men; før vi kan inspisere ressursene (HTML, CSS, IMG) lastet ned fra serveren som Googlebot, må vi oppdatere overskriftene for å vise den viktigste informasjonen i panelet.

Gå Til Nettverkspanelet I DevTools(nå et eget vindu). På tabellen i panelet høyreklikk på kolonneoverskriftene og velg overskriftene som er oppført nedenfor, for å bli lagt til som kolonner i nettverkspanelet (fjern eventuelle andre som ikke er oppført).

jeg har også gitt en kort forklaring på hver overskrift og hvorfor de skal legges til.

Status

https-statuskoden til NETTADRESSEN som lastes ned fra serveren. Googlebot vil endre sin oppførsel av kravlesøk avhengig av typen http statuskode – en av de mest kritiske biter av informasjon for å forstå når revisjon Nettadresser.

Skjema

Viser det usikre https: / / eller sikre https:// – skjemaet for ressursen som lastes ned. Googlebot foretrekker å gjennomgå OG indeksere HTTPS-Nettadresser, så det er viktig å få en god forståelse av ordningen som brukes av ressurser på en side.

Domene

Viser domenet der ressursene ble lastet ned. Det er viktig å forstå om viktig innhold er avhengig av en ekstern CDN, API eller underdomene, Da Googlebot kan ha problemer med å hente innholdet.

Ekstern adresse

Google Chrome viser IP-adressen til verten der ressursene lastes ned. Siden gjennomsøkingsbudsjettet til et nettsted er basert PÅ ip-adressen til verten og ikke på domenet, er DET viktig å også ta HENSYN TIL IP-adressen til HVER URL hentet.

Skriv

MIME-typen for den forespurte ressursen. Det er viktig å sørge for at Viktige Nettadresser er merket med riktig MIME-type, da Ulike Typer Googlebot er interessert i ulike typer innhold (HTML, CSS, IMG).

Størrelse

den kombinerte størrelsen på svaroverskriftene pluss svarlegemet, som levert av serveren. Det er viktig å forbedre nettstedets hastighet, da dette kan hjelpe både brukerne og Googlebot til å få tilgang til nettstedet ditt raskere.

Tid

total varighet, fra starten av forespørselen til mottak av den endelige byten i svaret. Svaret på serveren din kan påvirke gjennomsøkingsfrekvensen for Googlebot. Hvis serveren bremser ned så vil web crawler gjennomgå nettstedet ditt mindre.

Prioritet

den beste gjetningen av nettleseren av hvilke ressurser som skal lastes først. Det er ikke Slik Googlebot gjennomsøker prioriterer Nettadresser til gjennomsøking, men det kan være nyttig å se hvilke ressurser som prioriteres av nettleseren (ved hjelp av egen heuristikk).

Sist Endret

HTTP-toppteksten Med SIST Endret SVAR inneholder datoen og klokkeslettet da origin-serveren tror ressursen sist ble endret. Dette svaret kan Brukes Av Googlebot, i kombinasjon med andre signaler, for å bidra til å prioritere gjennomsøking på et nettsted.

AMERIKANSK IP-Adresse

Når Du har oppdatert Nettverkspanelhodene I Chrome DevTools, er Googlebot-simulatoren nesten klar.

hvis du vil bruke den med en gang, må du bytte TIL EN AMERIKANSK IP-adresse.

Googlebot kryper fra Usa. Av denne grunn vil jeg alltid anbefale å endre IP-adressen DIN til USA når du bruker Googlebot-simulatoren.

Det er den beste måten å forstå hvordan nettstedet ditt oppfører seg når Det besøkes Av Googlebot. For EKSEMPEL, hvis et nettsted blokkerer besøkende MED AMERIKANSKE IP-adresser eller geo-omdirigerer besøkende basert på deres plassering, kan Dette føre Til problemer Med google-gjennomsøking og indeksering av et nettsted.

Jeg, Googlebot Chrome

NÅR IP-adressen din er slått på, er DU klar til å gå og ha din egen Googlebot-simulator.

hvis du vil teste for å se om det fungerer, går du til angular.io eller eventbrite.com. Disse nettstedene krever JavaScript for å laste inn innhold og koblinger – Med JavaScript deaktivert vil disse nettstedene ikke laste inn innhold riktig i grensesnittet.

Ofte Stilte Spørsmål

fungerer simulatoren for bare en fane?

Ja. Google DevTool-innstillinger er bare for fanen du har åpnet. Å åpne en ny fane vil føre Til At Deaktiver JavaScript og Brukeragentinnstillingene tilbakestilles.

Andre Chrome-baserte innstillinger (informasjonskapsler, servicearbeidere) vil fortsatt bli konfigurert.

Hjelper dette med å feilsøke JavaScript SEO-problemer?

ja denne teknikken kan brukes til å feilsøke JavaScript SEO problemer på et nettsted når man sammenligner view-source til gjengitt HTML. Selv om det kan være bedre utvidelser og verktøy for å gjøre dette i stor skala.

må jeg oppdatere innstillingene hver gang?

når fanen er lukket, må du oppdatere følgende innstillinger:

• Deaktiver JavaScript
• Oppdater user-agent token

alle andre innstillinger har blitt lagret av nettleseren.

Hvorfor trenger Jeg Å bruke Chrome Canary?

jeg foreslår bare å bruke dette for å stoppe deg fra å rote Opp Chrome-nettleseren din og måtte bruke tid på å gå frem og tilbake mellom innstillingene.

hvis Du bruker Firefox eller Safari, laster du bare ned den vanlige Google Chrome.

jeg har allerede bygget dette i hodeløs krom eller gjennom annen automatisering?

Først av, godt gjort! Hvis du er som meg og ikke (for tiden) har tid/ kapasitet til å lære nye kodingsspråk, er denne ikke-kodemetoden flott å komme i gang.