Informatika és tudomány

  • Gerygrey
    #5
    A keresőnek az a dolga hogy keressen, akinek nem tetszik, az védekezzen ellene, ahogy a #2-ben is olvasható.
    Mekkora feladat egy robots.txt fájlt feltenni a szerver gyökérkönyvtárába? A választ a Google súgó oldalán találtam meg:

    To remove your site from Google only and prevent just Googlebot from crawling your site in the future, place the following robots.txt file in your server root:

    User-agent: Googlebot
    Disallow: /

    (...)

    To remove all files of a specific file type (for example, .gif), you'd use the following robots.txt entry:
    User-agent: Googlebot
    Disallow: /*.gif$


    Bazz' mekkora meló...