Avatar billede visto Professor
22. marts 2015 - 10:25 Der er 6 kommentarer og
1 løsning

Hvad skal jeg skrive i robots.txt?

Efter en opgradering af mit phpBB forum fra version 2 til 3 melder google webmasterværktøjer om en masse Not found af typen:

mit-forum/app.php/profile.php?mode=viewprofile&u=xxx

som linkes fra sider af typen:

mit-forum/profile.php?mode=viewprofile&u=xxx&sid=c355ef98f4987e4fa6e8038b63a7d41b

(xxx er forskellige tal for hver side.)

Det giver ikke rigtig nogen mening, så jeg vil godt sørge for, at google ikke finder disse sider.

Jeg har i robots.txt forsøgt med:

Disallow: /mit-forum/app.php/profile.php

Men det har ingen effekt. Google finder stadig nævnte type sider.

Hvad skal jeg skrive i robots.txt for at sørge for at undgå disse absurde beskeder om ikke fundne sider?
Avatar billede Slettet bruger
23. marts 2015 - 09:58 #1
google bruger ikke robots.txt mere, og gør bare hvad de vil
og siden google bestemmer, glem alt om at gøre noget.
robots.txt er gjort ubrugelig af google :)
Avatar billede Slettet bruger
26. marts 2015 - 12:51 #2
Hej.

Har Google fuldendt en frisk gennemgang af din nye version?
Har du bedt om fjernelse af de gamle sider?
I Googles søgefelt, kan du skrive
site:din_side.dk
for at se hvad der er i Google-index fra din side.
Avatar billede visto Professor
26. marts 2015 - 15:40 #3
#1: På webmasterværktøj skriver Google "Brug robots.txt til at angive, hvordan søgemaskiner skal gennemgå dit website". Jeg har konstateret, at url'en for sider, som er med i robots.txt findes og vises af Google, mens indholdet ikke indekseres. Så det er jo ikke så brugbart.

#2: Jeg ved ikke, om Google har fuldendt en frisk gennemgang. Jeg kan konstatere, at nye indlæg, som er postet på forumets nye version, er indekseret på nær ét fra i dag skrevet for fire timer siden, så det ser ud til, at den nye version er stort set indekseret, og at den løbende gennemgås.

Jeg havde glemt, at man kan anmode om fjernelse af sider. Jeg har nu bedt om at http://mit-site/mit-forum/app.php/profile.php bliver fjernet. Vi får at se, om det har en effekt.
Avatar billede Slettet bruger
26. marts 2015 - 20:19 #4
Hej.

Jeg bruger kun robots.txt til hele mapper og ikke til enkelt-filer. Det virker hos mig.

eks.
Disallow: /admin/
Disallow: /image/
Disallow: /test/

Bed robotter om at ignorerer en html-side:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Avatar billede visto Professor
26. marts 2015 - 20:37 #5
OK. Jeg kunne så evt. prøve at disallowe
/mit-forum/app.php/

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
skal vel indsættes i den enkelte sides <head>, men den mulighed har man mig bekendt ikke på et forum, hvor siderne er php-genererede.

Nu afventer jeg lige, om anmodningen om fjernelsen af mit-forum/app.php/profile.php har en effekt.
Hvis ikke vil jeg prøve at disallowe
/mit-forum/app.php/
Avatar billede Slettet bruger
26. marts 2015 - 21:06 #6
Korrekt...

<html>
  <head>
    <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
  </head>
............

Måske nogen ved om der findes en tilsvarende funktion i PHP?
Men nu venter vi lige på dit forsøg med fjernelse.
Avatar billede visto Professor
08. april 2015 - 14:02 #7
#2: Det lod til at afhjalpe problemet, at jeg bad om at få fjernet de pågældende sider. Så tak for hjælpen.
Også tak for andre forslag.
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester



IT-JOB