Informatika és tudomány

  • andersh
    #33
    meta tageket és robots.txt-t figyelmen kívül hagyhatja, user-agentnek meg megad firefoxot és kész.
    és azokat az oldalakat ahonnan ki lett tiltva olyan ip-ről nézi ami valami proxy-n megy át hogy ne lehessen tudni, hogy az a google.

    de akkor ne a googlet mondjuk, lehet hogy ők tényleg betartanak minden szabályt. de mi van ha van egy titkos indexelő gép, ami indexeli az egész netet és archiválja, mindent amit csak lehet. és azt nem érdekli semmi meta tag meg robots.txt stb.

    de a captcha az tényleg védhet beindexelés ellen (ha elég erős).