Датотека роботс.ткт која је сачувана у корену ваше веб странице ће рећи веб роботима попут паука претраживача који директоријуми и датотеке имају за пузање. Лако је користити датотеку роботс.ткт, али постоје неке ствари које треба запамтити:
- Блацкхат роботи ће игнорисати датотеку роботс.ткт. Најчешћи типови су ботови малвера и роботи који траже адресе е-поште за жетву.
- Неки нови програмери ће писати роботе који игноришу датотеку роботс.ткт. Ово се обично врши грешком.
- Свако може видети вашу роботс.ткт датотеку. Увек се зову роботс.ткт и увек се чувају у корену веб странице.
- Најзад, ако неко повезује датотеку или директоријум који је роботс.ткт искључен са странице која није искључена од стране њихове датотеке роботс.ткт, претраживачи ће га можда ипак наћи.
Немојте користити датотеке роботс.ткт да сакријете било шта важно. Уместо тога, требало би да ставите важне информације иза сигурносних лозинки или их у потпуности оставите са веба.
Како користити ове узорке датотека
Копирајте текст из узорка који је најближи ономе што желите да урадите и залепите је у датотеку роботс.ткт. Промените имена робота, директоријума и датотека како бисте подесили жељену конфигурацију.
Два Басиц Роботс.ткт фајлова
Кориснички агент: *Дисаллов: / Ова датотека каже да сваки робот ( Кориснички агент: *) који приступа треба игнорисати сваку страницу на сајту ( Дисаллов: /). Кориснички агент: *Дисаллов: Ова датотека каже да сваки робот ( Кориснички агент: *) која јој приступа дозвољено је да види сваку страницу на сајту ( Дисаллов:). Такође можете да урадите тако што оставите датотеку роботс.ткт празном или да немате на свом месту. Кориснички агент: *Дисаллов: / цги-бин /Дисаллов: / темп / Ова датотека каже да сваки робот ( Кориснички агент: *) која приступа треба игнорисати директоријуме / цги-бин / и / темп / ( Дисаллов: / цги-бин / Дисаллов: / темп /). Кориснички агент: *Дисаллов: /јеннс-стуфф.хтмДисаллов: /привате.пхп Ова датотека каже да сваки робот ( Кориснички агент: *) који приступа треба игнорисати датотеке /јеннс-стуфф.хтм и /привате.пхп ( Дисаллов: /јеннс-стуфф.хтм Дисаллов: /привате.пхп). Кориснички агент: Лицос / к.кДисаллов: / Ова датотека каже да Лицос бот ( Кориснички агент: Лицос / к.к) није дозвољен приступ било ком месту на сајту ( Кориснички агент: *Дисаллов: /Кориснички агент: ГооглеботДисаллов: Ова датотека прво онемогућава све роботе као што смо већ урадили, а затим експлицитно омогућује Гооглебот ( Кориснички агент: Гооглебот) имају приступ свему ( Иако је боље користити веома инцлусиве линију корисника, као што је Усер-агент: *, можете бити толико специфични колико желите. Запамтите да роботи чине датотеку редом. Дакле, ако у првим редовима кажу да су сви роботи блокирани од свега, а касније у фајлу пише да су свим роботима дозвољени приступ свему, роботи ће имати приступ свему. Ако нисте сигурни да ли сте исправно написали датотеку роботс.ткт, можете користити Гоогле Алатке за вебмастере да бисте проверили датотеку роботс.ткт или написали нову. Заштитите специфичне директоријуме од робота
Заштитите одређене странице од робота
Спречите одређеном роботу да приступи вашем сајту
Дозволите само један специфичан приступ роботу
Комбинујте више линија да бисте прецизно искористили изузетке које желите
