Python Парсинг Ajax

@kak_ivan · Регистрация: 03.02.2015

Студворк — интернет-сервис помощи студентам

Есть сайт, на нем выполняются переходы по страницам без обновления самого адреса, вот HTML блока:

HTML5
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
<div class="paginate">
<ul>
<li><a class="active">1</a></li>
<li><a href="javascript:nextPage(100);">2</a></li>
<li><a href="javascript:nextPage(200);">3</a></li> 
<li><a href="javascript:nextPage(300);">4</a></li> 
<li><a href="javascript:nextPage(400);">5</a></li> 
<li><a href="javascript:nextPage(500);">6</a></li> 
<li><a href="javascript:nextPage(600);">7</a></li> 
<li><a href="javascript:nextPage(700);">8</a></li> 
<li><a href="javascript:nextPage(800);">9</a></li> 
<li><a href="javascript:nextPage(900);">10</a></li>  
<a href="javascript:nextPage(100);">&gt;</a>
</ul>
</div>

Как и с помощью чего можно организовать поиск последней страницы ну и дальнейший переход по ним для парсинга?

@Wi0M · 13.01.2017, 02:52

ну так вы страницу эту продрузите и парсите список, вообще лучше бы ссылку на сайт. а так селениум вам в помощь. и попробуйте в селениуме выполнить js код javascript:nextPage(900); только не так а просто nextPage(900); в ответ вернется html скорее всего или json запрошенной страницы.

Добавлено через 1 минуту
или посмотрите что в консоле творится когда выполняется пагинация. там в закладке сеть, полюбому есть запросы на сервер, используя эту информацию вполне возможно даже селениум не понадобится и хватит requests

Новые блоги и статьи Все статьи Все блоги /
Непрерывная интеграция для пакета Python Mr. Docker 22.06.2025 Было 4 часа утра пятницы, когда я выпустил новую версию нашей внутренней библиотеки для обработки данных. Релиз 0. 5. 2 содержал небольшой фикс для обработки дат в ISO формате, что может пойти не так?. . .	Продвинутый ETL на C# из OLTP БД в хранилище stackOverflow 22.06.2025 Работая в сфере корпоративной аналитики, я постоянно сталкиваюсь с одним и тем же - нужны чистые, структурированные и, главное, свежие данные. Без них современные аналитические системы, машинное. . .	Мастер-класс по микросервисам на Node.js Reangularity 21.06.2025 Node. js стал одной из самых популярных платформ для микросервисной архитектуры не случайно. Его неблокирующая однопоточная модель и событийно-ориентированный подход делают его идеальным для. . .	Управление Arduino из WPF приложения Wired 21.06.2025 Зачем вообще связывать Arduino с WPF-приложением? Казалось бы, у Arduino есть собственная среда разработки, своя экосистема, свои способы управления. Однако при создании серьезных проектов. . .	Звёздная пыль kumehtar 20.06.2025 Я просто это себе представляю: как создавался этот мир. Как энергия слипалась в маленькие частички. Как они собирались в первые звёзды, как во вселенной впервые появился Свет. Как эти звёзды. . .
Создание нейросети с PyTorch AI_Generated 19.06.2025 Ключевое преимущество PyTorch — его питоновская натура. В отличие от TensorFlow, который изначально был построен как статический вычислительный граф, PyTorch предлагает динамический подход. Это. . .	JWT аутентификация в ASP.NET Core UnmanagedCoder 18.06.2025 Разрабатывая веб-приложения, я постоянно сталкиваюсь с дилеммой: как обеспечить надежную аутентификацию пользователей без ущерба для производительности и масштабируемости? Классические подходы на. . .	Краткий курс по С# aaLeXAA 18.06.2025 Здесь вы найдете все необходимые функции чтоб написать програму на C# Задание 1: КЛАСС FORM 1 public partial class Form1 : Form { Spisok listin = new Spisok(); . . .	50 самых полезных примеров кода Python для частых задач py-thonny 17.06.2025 Эффективность работы разработчика часто измеряется не количеством написаных строк, а скоростью решения задач. Готовые сниппеты значительно ускоряют разработку, помогают избежать типичных ошибок и. . .	C# и продвинутые приемы работы с БД stackOverflow 17.06.2025 Каждый . NET разработчик рано или поздно сталкивается с ситуацией, когда привычные методы работы с базами данных превращаются в источник бессонных ночей. Я сам неоднократно попадал в такие ситуации,. . .

@Wi0M 395 / 123 / 48 Регистрация: 26.10.2013 Сообщений: 734
	13.01.2017, 02:52
	ну так вы страницу эту продрузите и парсите список, вообще лучше бы ссылку на сайт. а так селениум вам в помощь. и попробуйте в селениуме выполнить js код javascript:nextPage(900); только не так а просто nextPage(900); в ответ вернется html скорее всего или json запрошенной страницы. Добавлено через 1 минуту или посмотрите что в консоле творится когда выполняется пагинация. там в закладке сеть, полюбому есть запросы на сервер, используя эту информацию вполне возможно даже селениум не понадобится и хватит requests 0