##################################### # Zugriff auf alle Dateien erlauben # ##################################### User-agent: * Allow: / ######################################### # Bestimmte Verzeichnisse ausschliessen # ######################################### User-agent: * #Disallow: /fileadmin/files/ Disallow: /typo3/ Disallow: /index.php?id= Disallow: /fileadmin/scripts/ # TYPO3: Falsch generierte URLs Disallow: /javascript:linkTo_UnCryptMailto('ocknvq,cfokpBykpfgujgko/ ###################################### # Bestimmte Dateitypen ausschliessen # ###################################### ### TYPO3: Duplikate vermeiden (Druckversionen) User-agent: Googlebot # TYPO3: RealUrl Disallow: /*print.html$ # TYPO3: Simulate Static Disallow: /*98.html$ ### TYPO3: Ergebnisseite fuer Tagcloud wegen Serverperformance Disallow: /527.html?&tx_vgetagcloud_pi2[pages]=*$ Disallow: /*?&tx_vgetagcloud_pi2[pages] ################################### # Bestimmte Crawler ausschliessen # ################################### User-agent: Googlebot-Image Disallow: / # disallow stress test #User-agent:stress-agent #Disallow:/ # den Adsense Bot auf alles zugreifen lassen User-agent: Mediapartners-Google* Allow: /*