ФорумПрограммированиеПыхнуть хотите?F.A.Q. → Парсинг страницы сайта (пример: курсы валют на сайт).

Парсинг страницы сайта (пример: курсы валют на сайт).

  • Servack

    Сообщения: 6 Репутация: N Группа: Кто попало

    Spritz 4 марта 2009 г. 15:43, спустя 47 минут 55 секунд

    я набирал скачал этот курл а что дальше с ним делать я не имею понятия
  • adw0rd

    Сообщения: 22959 Репутация: N Группа: в ухо

    Spritz 4 марта 2009 г. 15:48, спустя 4 минуты 49 секунд

    Servack, вот официальная документация http://ru2.php.net/curl
    https://smappi.org/ - платформа по созданию API на все случаи жизни
  • Josh

    Сообщения: 2008 Репутация: N Группа: Кто попало

    Spritz 4 марта 2009 г. 15:49, спустя 1 минуту 10 секунд

    Сервер у тебя на чём? Если ты даже представления не имеешь как добавить модуль в php то о каком парсере вообще речь идёт?
  • adw0rd

    Сообщения: 22959 Репутация: N Группа: в ухо

    Spritz 4 марта 2009 г. 15:50, спустя 46 секунд

    Servack, и почитайте то, что вам посоветовал md5.
    А то вы хотите научится управлять самолетом, без желания узнать как он выглядит и как устроен.
    https://smappi.org/ - платформа по созданию API на все случаи жизни
  • phpdude

    Сообщения: 26646 Репутация: N Группа: в ухо

    Spritz 4 марта 2009 г. 22:59, спустя 7 часов 9 минут 54 секунды

    ляляляляля … да ебал я тополя %)
    Сапожник без сапог
  • vlasenkov

    Сообщения: 34 Репутация: N Группа: Кто попало

    Spritz 26 марта 2009 г. 20:09, спустя 21 день 21 час 9 минут

    Здравствуйте, я меня есть такой вопрос. Мне надо пропарсить страницу сайта, как это делается я знаю, но меня интересует другое, как сделать так, чтобы не урезали доступ к сайту, что в этом случае делать?
    Мне посоветовали использовать что-то вроде http://www.buy-proxy.ru/ я так понял, тут выдают тебе список IP под которыми ты можешь зайти на сайт и тебя не забанят. Но я понятия не имею куда пихать эти айпишники и для чего они мне.
    Перерыл много информации, но так и ничего не нашел, надеюсь вы мне поможете.
    Спасибо!
  • adw0rd

    Сообщения: 22959 Репутация: N Группа: в ухо

    Spritz 26 марта 2009 г. 20:15, спустя 6 минут 2 секунды

    http://ru.wikipedia.org/wiki/Прокси-сервер
    https://smappi.org/ - платформа по созданию API на все случаи жизни
  • adw0rd

    Сообщения: 22959 Репутация: N Группа: в ухо

    Spritz 26 марта 2009 г. 20:15, спустя 40 секунд

    vlasenkov, схема следующая, ты обращаешься через прокси-сервер к нужному тебе серверу, он просто предоставляет для тебя "туннель".
    https://smappi.org/ - платформа по созданию API на все случаи жизни
  • adw0rd

    Сообщения: 22959 Репутация: N Группа: в ухо

    Spritz 26 марта 2009 г. 20:16, спустя 51 секунду

    vlasenkov, покажи алгоритм или код, с помощью которого ты парсишь.. Я предложу тебе решение.
    https://smappi.org/ - платформа по созданию API на все случаи жизни
  • vlasenkov

    Сообщения: 34 Репутация: N Группа: Кто попало

    Spritz 26 марта 2009 г. 20:22, спустя 6 минут 4 секунды

    adw0rd, спасибо за столь быстрый ответ.
    На самом деле способ которым я буду получать страницу я не выбрал, т.к. не знаю зачем нужны айпишники и какой метод для этого подойдет. Если можно, то буду пользоваться file_get_contents(); т.к. там ничего такого передавать или авторизовываться не надо, только передать данные GET'ом.
  • vlasenkov

    Сообщения: 34 Репутация: N Группа: Кто попало

    Spritz 26 марта 2009 г. 20:54, спустя 31 минуту 34 секунды

    Так что в итоге мне делать с айпишниками? Как их использовать и каким методом изъятия данных пользоваться?

    Спасибо!
  • phpdude

    Сообщения: 26646 Репутация: N Группа: в ухо

    Spritz 26 марта 2009 г. 20:59, спустя 4 минуты 49 секунд


    Так что в итоге мне делать с айпишниками? Как их использовать и каким методом изъятия данных пользоваться?

    Спасибо!
    только курл тебе в этом поможет простым путем

    $ch = curl_init();
    curl_setopt($ch,CURLOPT_URL,"http:/ya.ru");
    curl_setopt($ch,CURLOPT_PROXY,"http://proxy.ip:3128");

    curl_exec();
    Сапожник без сапог
  • vlasenkov

    Сообщения: 34 Репутация: N Группа: Кто попало

    Spritz 26 марта 2009 г. 21:02, спустя 2 минуты 51 секунду

    phpdude, т.е. на этом сайте http://www.buy-proxy.ru/ мне должны будут дать http://proxy.ip:3128, адрес проксей, так?
    Тогда другой вопрос, мне дадут допустим, десяток этих адресов, мне их лучше рандомом использовать или как-то можно сделать, чтобы само выбиралось какой использовать?

    Спасибо!
  • phpdude

    Сообщения: 26646 Репутация: N Группа: в ухо

    Spritz 26 марта 2009 г. 21:12, спустя 9 минут 54 секунды

    vlasenkov, ну выбор какогото рандомом думаю не должно стать проблемой использовать. вопрос - нахера вообще прокси тебе? я просто не врубился
    Сапожник без сапог
  • vlasenkov

    Сообщения: 34 Репутация: N Группа: Кто попало

    Spritz 26 марта 2009 г. 21:21, спустя 9 минут 30 секунд

    phpdude, нужно, чтобы не распознали мой IP и чтобы не заблокировали потом доступ к сайту. Чтобы я мог парсить и парсить, и парсить.

Пожалуйста, авторизуйтесь, чтобы написать комментарий!