Не, а роботи. txt файл не е необходим за уебсайт. Ако бот дойде на вашия уебсайт и няма такъв, той просто ще обходи уебсайта ви и ще индексира страниците, както обикновено. … txt файлът е необходим само ако искате да имате повече контрол върху това, което се обхожда.
Какво ще стане, ако нямате текстово съобщение с роботи?
роботи. txt е напълно незадължителен. Ако имате такъв, съвместимите със стандартите роботи ще го спазват, ако нямате такъв, всичко, което не е забранено в HTML-META елементите (Уикипедия), може да се обхожда. Сайтът ще бъде индексиран без ограничения.
Мога ли да изтрия robots txt?
Трябва да премахнете и двата реда от вашите роботи. txt файл. Файлът robots се намира в главната директория на вашата папка за уеб хостинг, обикновено може да се намери в /public_html/ и трябва да можете да редактирате или изтривате този файл, като използвате: FTP с помощта на FTP клиент като FileZilla или WinSCP.
Безопасен ли е текстовият текст на роботите?
Роботите. txt файлът сам по себе си не представлява заплаха за сигурността и правилното му използване може да представлява добра практика по причини, които не са свързани със сигурността. Не трябва да приемате, че всички уеб роботи ще спазват инструкциите на файла.
Защо robots txt е лош?
Просто добавяне на списък с URL адреси, предназначени да бъдат частни за роботи. txt файлът е един от най-лошите начини да се опитвате да запазите URL адресите скрити и в повечето случаи това води до точно обратното на планирания резултат.
