file robots.txt

[vladymyrlem]

Может кто подсказать как можно в создаваемом скрипте прописать чтобы по вводу адреса любого сайта и нажатию на кнопку не переходить на него, а на сервере прочитать состав директории сайта, а именно нужно найти есть ли там robots.txt, а также вывести из этого таблицу с ответами типа true/false на определенные ошибочки в самом файле

 

[antson]

директорию прочитать нельзя.
наличие роботс.тхт можно проверить попыткой его скачать.
ошибочки ищутся написанием конечного автомата или тупо проверками через регулярки.

 

[WMix]

$curl = curl_init('https://habrahabr.ru/robots.txt');
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
echo curl_exec($curl);

 

[vladymyrlem]

если вы имеете в виду через скачивание, можно ли таким образом:
if (isset($_GET['file']) and preg_match("/^Catalog[a-zA-Z0-9_]{0,50}\.txt$/",$_GET['file']) and file_exists($_GET['file'])) {
header('Content-Type: '.$ctype.'; charset=utf-8');
header("Content-Disposition: attachment; filename=".$_GET['file']);
ob_clean();
readfile($_GET['file']);
exit();
} else {
echo "Файл не найден.";
exit();
}
просто вместо ответа файл найден/не найден, вставить мои условия об таблице

 

[antson]

@vladymyrlem, так учимся сперва четка излагать проблему.
1. что требуется получить
2. а потом что пытался сделать

по пункту 1.
Ты пишешь сервис, где любой желающий может ввести урл своего сайта и получает анализ его по какимто критериям
или это скрипт, который можно залить на свой сервак и он проанализирует именно свое окружение ?

 

[vladymyrlem]

мне в ТЗ указали создать скрипт, который по Вводу в поле адрес, выполняет следующие проверки:
1. Наличие на сайте файла robots.txt
2. Код ответа сервера файла robots.txt
3. Вес robots.txt
4. Наличие директивы Host в файле robots.txt
и т.д.
По результатом проверок должна выводиться некая таблица

 

[fixxxer]

мне в ТЗ указали

А зачем взялся, если не знаешь даже примерно, как это делать, и не понимаешь вообще как работает PHP? Вон WMix тебе даже ответил, как делать, а ты и не понял.

 

[antson]

мдя, сео оно такое .... почти 1с, но там люди хоть чуть-чуть знают бухгалтерию.

 

[Hello]

мне в ТЗ указали создать скрипт

За который ты получишь деньги, а нам предлагаешь за тебя работу бесплатно делать?