# robots.txt fuer http://www.deutsche-gesundheitsauskunft.de # Anleitungen udn Regeln finden Sie am Ende des Dokuments User-agent: * Disallow: /apotheken/ Disallow: /typo3/ Disallow: /fileadmin/ Disallow: /typo3conf/ Disallow: /uploads/ Disallow: /suche/ # Hier steht der Linkverweis fuer die XML Sitemaps #Sitemap: http://www.promomasters.at/sitemap.xml # DIE REGELN # Disallow:/ # Gesamte Präsenz soll nicht gecrawlt werden # Disallow: /*? # Seiten, die ein Fragezeichen in der URL enthalten, sollen nicht gecrawlt werden # Disallow: /verzeichnis/ # Allow: /verzeichnis/datei.htm # Crawle verzeichnis nicht ausser datei.htm # Disallow: /*.doc$ # Alle Dateien mit der Endung .doc sollen NICHT gecrawlt werden # Disallow: /*? # Allow: /*?$ # Alle Dateien nicht crawlen, die ein Fragezeichen enthalten. # Dateien, welche direkt mit einem Fragezeichen enden, sollen hingegen indexiert werden # Disallow: /nein*/ # Alle verzeichnisse die mit nein beginnen ( /neinsagen/, /nein-meinen/ etc.) vom Crawling ausschliessen