har du vissa delar av en webbplats som du inte vill indexeras av en sökmotor? Om så är fallet kan du blockera sökrobotar från den eller de sidor som du vill vara fri från sökrobotar. Det är mycket lättare än du kanske tror och allt har att göra med en fil som heter robots.txt.

Använda Robotarna.txt-fil för att blockera Webbsökare

när du inte vill att din webbplats eller specifika sidor på din webbplats ska genomsökas och därefter indexeras måste du använda något som kallas robotar.txt-fil. Den här filen begränsar all eller mest åtkomst till vissa delar av din webbplats och kommer alltid att följas av sökmotorernas sökrobotar.

du kan enkelt ha en robot.txt-fil skapas via Googles tjänster och även övervaka vilka webbadresser har blockerats från genomsökning i deras Webmaster Tools avsnitt. Andra sökmotorer erbjuder samma tjänster och följer också filen så att ditt innehåll kan vara privat.

det finns två sätt att blockera åtkomst till vissa webbsidor: att känna till roten på din domän eller använda robots metatagg. Här är några saker att veta om att begränsa åtkomsten till webbsökare.

• om du inte vill att något på en viss sida ska indexeras alls, är den bästa vägen att använda antingen noindex-metataggen eller x-robots-taggen, särskilt när det gäller Googles webbsökare.
• Allt innehåll kan dock inte vara säkert från indexering. Om det finns länkar till sidan på andra webbplatser, kommer det specifika innehållet fortfarande att hittas på sökmotorer på grund av externa länkar.
• det finns black hat sökoptimering taktik som används av spammare som kringgår robotarna.txt-fil. Om det finns mycket känslig information på den webbsidan är den bästa strategin att använda filen och använda lösenordsskydd.

om du någonsin vill börja indexera en viss webbsida behöver du bara ta bort filen och låta webbsökarna indexera den. Webbplatser där allt kan indexeras behöver inte ens robotar.txt-fil. Om du vill att visst innehåll ska vara indexfritt, robotarna.txt-fil är din bästa insats och är mycket lätt att ställa in.

Cultura Web Design erbjuder en mängd olika tjänster, inklusive Internetmarknadsföring och SEO för småföretag i Miami och Fort Lauderdale. Du kan läsa mer om våra tjänster eller kontakta oss för en personlig intervju.