Привет.
парсю сайт.
я получаю все данные, которые мне нужны.
пытаюсь записать первые 100 записей, но не могу этого сделать.
в БД записываются только первые 4 и все.
хочу добавить, что у меня идет еще проверка на существование страницы.
если нет такой, то переходим парсить следующую.
не знаю. наверное из-за того, что долгий процесс обработки страницы, моя БД отключается автоматом.
как мне увеличить это отключение?
или что это может быть вообще такое?
я не знаю что и подумать?
новые сообщения
ответы на мои сообщения
избранное
скрытые темы
случайный топик
открыть всё в новых вкладках
Форум → Разработка → Базы данных → проблемы с добавлением записей
проблемы с добавлением записей
-
Сообщения:
193
Репутация:
N
Группа:
Кто попало
-
Сообщения:
5210
Репутация:
N
Группа:
Джедаи
-
Сообщения:
193
Репутация:
N
Группа:
Кто попало
27 апреля 2012 г. 8:33, спустя 27 минут 30 секунд
max_execution_time = 6000
innodb_buffer_pool_size = 1400M
innodb_additional_mem_pool_size = 100M
*************
гдавное то, кто скрипт обрабатыввает все 100 записей и выводит результат, что обошел 100 ссылок.
но в БД заносятся только часть.
к примеру: из 100 ссылок у меня рабочих 20.
то есть остальные ссылки битые.
но из этих 20 в БД заносятся данные только из 13.
остальная инфа не заносится. -
Сообщения:
22959
Репутация:
N
Группа:
в ухо
27 апреля 2012 г. 9:52, спустя 1 час 19 минут 19 секунд
пытаюсь записать первые 100 записей, но не могу этого сделать.
в БД записываются только первые 4 и все.
Сколько по времени скрипт выполняется?
Устанавливай подключение по необходимости зановоhttps://smappi.org/ - платформа по созданию API на все случаи жизни -
Сообщения:
193
Репутация:
N
Группа:
Кто попало
27 апреля 2012 г. 13:30, спустя 3 часа 37 минут 44 секунды
скрипт выполняется примерно минут 5.
точно не засекал.
а вот эта идея мне понравилась: Устанавливай подключение по необходимости заново
скорее всего я не правильно делал, но все же
в самом цикле, когда я выбираю url , затем начинаю его парсить. и когда я получаю всю необходимую информацию, то
делаю INSERT
и вот я пробовал перед этим INSERT'ом тоже делать подключение к БД (include 'db.php')
и ничего не происходило. -
Сообщения:
4761
Репутация:
N
Группа:
в ухо
27 апреля 2012 г. 13:36, спустя 6 минут 50 секунд
……………………………………..________
………………………………,.-‘”……………….``~.,
………………………..,.-”…………………………….."-.,
…………………….,/………………………………………..”:,
…………………,?………………………………………………\,
………………./…………………………………………………..,}
……………../………………………………………………,:`^`..}
……………/……………………………………………,:”………/
…………..?…..__…………………………………..:`………../
…………./__.(….."~-,_…………………………,:`………./
………../(_….”~,_…….."~,_………………..,:`…….._/
……….{.._$;_……”=,_……."-,_…….,.-~-,},.~”;/….}
………..((…..*~_…….”=-._……";,,./`…./”…………../
…,,,___.\`~,……"~.,………………..`…..}…………../
…………(….`=-,,…….`……………………(……;_,,-”
…………/.`~,……`-………………………….\……/\
………….\`~.*-,……………………………….|,./…..\,__
,,_……….}.>-._\……………………………..|…………..`=~-,
…..`=~-,_\_……`\,……………………………\
……………….`=~-,,.\,………………………….\
…………………………..`:,,………………………`\…………..__
……………………………….`=-,……………….,%`>–==``
…………………………………._\……….._,-%…….`\
……………………………..,<`.._|_,-&``…………….`\ -
Сообщения:
193
Репутация:
N
Группа:
Кто попало
-
Сообщения:
2532
Репутация:
N
Группа:
Джедаи
-
Сообщения:
913
Репутация:
N
Группа:
Джедаи
28 апреля 2012 г. 9:36, спустя 7 часов 36 минут 7 секунд
А типа нельзя печатать код ответа мускула и потом посмотреть что это такое? -
Сообщения:
193
Репутация:
N
Группа:
Кто попало
29 апреля 2012 г. 0:25, спустя 14 часов 48 минут 47 секунд
А типа нельзя печатать код ответа мускула и потом посмотреть что это такое?
спасибо за ответ.
а можно по подробнее?
всмысле код отведа mysql? -
Сообщения:
913
Репутация:
N
Группа:
Джедаи
29 апреля 2012 г. 3:01, спустя 2 часа 36 минут 26 секунд
Да я хз как там в пхп. Какой ни будь mysql_error или что-то такое
-
Сообщения:
193
Репутация:
N
Группа:
Кто попало
30 апреля 2012 г. 2:27, спустя 23 часа 26 минут 2 секунды
Да я хз как там в пхп. Какой ни будь mysql_error или что-то такое
спасибо.
после result поставил mysql_error и увидел ошибку.
поправил max_allowed_timeout и все гут =)
тему можно закрыть -
Сообщения:
913
Репутация:
N
Группа:
Джедаи
3 мая 2012 г. 2:03, спустя 2 дня 23 часа 35 минут
да я крут :D из меня вышел бы неплохой пхп-кодер :D
-
Сообщения:
193
Репутация:
N
Группа:
Кто попало
Пожалуйста, авторизуйтесь, чтобы написать комментарий!