Форум программистов, компьютерный форум, киберфорум
Python: Web
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.75/4: Рейтинг темы: голосов - 4, средняя оценка - 4.75
4 / 3 / 2
Регистрация: 19.07.2015
Сообщений: 121

Как собрать все теги сайта

31.10.2018, 15:36. Показов 803. Ответов 2

Студворк — интернет-сервис помощи студентам
Требуется собрать все теги с сайта inosmi.ru.
Страница https://inosmi.ru/tags/ , где были бы собраны все теги, отсутствует (ошибка 404). Но теги существуют, естественно. Вот так например выглядит url страницы со всеми документами по тегу *Дональд Трамп*: https://inosmi.ru/tags/person_Donald_Tramp/
Мне надо собрать все возможные варианты path'ов после tags/
Библиотеки urllib и requests предоставляют немного другой функционал, lxml и BS для обработки содержимого страницы.
Что делать?
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
31.10.2018, 15:36
Ответы с готовыми решениями:

Средствами чистого JS без библиотек,php,AJAX нужно вывести все теги a href вместе с их содержимым c другого сайта
Вообщем есть сайт, допустим site.com на которым средствами чистого JS без библиотек,php,AJAX нужно вывести все теги a href вместе с их...

Как добавить мета теги для главной страницы сайта?
Ребята, напишу банальщину, но я вообще зеленый в создании сайтов, поэтому кому-то этот вопрос покажется и очень простым, но... Я...

Как получить все теги на вебформе?
Есть страничка, отображаемая на компоненте веббраузер, на которой лежит вебформа, пример ниже: <form name="form1"...

2
Эксперт Python
5437 / 3859 / 1215
Регистрация: 28.10.2013
Сообщений: 9,552
Записей в блоге: 1
31.10.2018, 16:21
Цитата Сообщение от garp Посмотреть сообщение
Страница https://inosmi.ru/tags/ , где были бы собраны все теги
А должна быть?
Цитата Сообщение от garp Посмотреть сообщение
Но теги существуют, естественно.
Да, возможно. Но не на сайте, который видит пользователь. Их знает бэкенд сайта, который маршрутизирует запросы и формирует ответы клиентам.
Но если сайт не предоставляет публичное API - каким образом можно узнать какие запросы валидны, а какие нет?
0
4 / 3 / 2
Регистрация: 19.07.2015
Сообщений: 121
31.10.2018, 16:50  [ТС]
Я хочу понять - можно ли пропарсить сайт, собрать и отсортировать все страницы, вынуть теги в виде окончания строк запросов.
Все теги разбиты на 5 групп: person_... , geo_... , organization_... ,keyword_... , event_....
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
31.10.2018, 16:50
Помогаю со студенческими работами здесь

Как удалить все теги из текста?
Всем привет. У меня есть сайт, на котором можно оставлять комментарии. Так вот: когда страница добавляет комментарий, нужно чтобы она...

Как выбросить все оставшиеся теги?
switch (TestPageType($Url)) { case "html": $FileName="c:/wamp/pages/codesite/".substr($Url, 1)."index.html"; ...

Как регуляркой вытащить из строки все теги tr?
Здравствуйте, пишу парсер. Через cURL реализовал авторизацию, в ответ от сервера приходит большущая строка Сейчас использую php...

Как заменить все html теги в строке?
Всех приветствую. Я пытаюсь удалить все html теги из строки. Мой способ работает,кроме случая с вложенными тегами. Подскажите...

Какие теги HTML5 и как правильно нужно их использовать, чтобы сделать оздать нужную структуру сайта
Я читал про новые теги HTML5, но до конца так и не смог разобраться. На разных сайтах по-разному пишут. 1) Нужно ли создавать слой...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Новые блоги и статьи
Angular vs Svelte - что лучше?
Reangularity 09.07.2025
Сегодня рынок разделился на несколько четких категорий: тяжеловесы корпоративного уровня (Angular), гибкие универсалы (React), прогрессивные решения (Vue) и новая волна компилируемых фреймворков. . .
Code First и Database First в Entity Framework
UnmanagedCoder 09.07.2025
Entity Framework дает нам свободу выбора, предлагая как Code First, так и Database First подходы. Но эта свобода порождает вечный вопрос — какой подход выбрать? Entity Framework — это. . .
Как использовать Bluetooth-модуль HC-05 с Arduino
Wired 08.07.2025
Bluetooth - это технология, созданная чтобы заменить кабельные соединения. Обычно ее используют для связи небольших устройств: мобильных телефонов, ноутбуков, наушников и т. д. Работает она на частоте. . .
Руководство по структурам данных Python
AI_Generated 08.07.2025
Я отчетливо помню свои первые серьезные проекты на Python - я писал код, он работал, заказчики были относительно довольны. Но однажды мой наставник, взглянув на мою реализацию поиска по огромному. . .
Тестирование энергоэффективности и скорости вычислений видеокарт в BOINC проектах
Programma_Boinc 08.07.2025
Тестирование энергоэффективности и скорости вычислений видеокарт в BOINC проектах Опубликовано: 07. 07. 2025 Рубрика: Uncategorized Автор: AlexA Статья размещается на сайте с разрешения. . .
Раскрываем внутренние механики Android с помощью контекста и манифеста
mobDevWorks 07.07.2025
Каждый Android-разработчик сталкивается с Context и манифестом буквально в первый день работы. Но много ли мы задумываемся о том, что скрывается за этими обыденными элементами? Я, честно говоря,. . .
API на базе FastAPI с Python за пару минут
AI_Generated 07.07.2025
FastAPI - это относительно молодой фреймворк для создания веб-API, который за короткое время заработал бешеную популярность в Python-сообществе. И не зря. Я помню, как впервые запустил приложение на. . .
Основы WebGL. Раскрашивание вершин с помощью VBO
8Observer8 05.07.2025
На русском https:/ / vkvideo. ru/ video-231374465_456239020 На английском https:/ / www. youtube. com/ watch?v=oskqtCrWns0 Исходники примера:
Мониторинг микросервисов с OpenTelemetry в Kubernetes
Mr. Docker 04.07.2025
Проблема наблюдаемости (observability) в Kubernetes - это не просто вопрос сбора логов или метрик. Это целый комплекс вызовов, которые возникают из-за самой природы контейнеризации и оркестрации. К. . .
Проблемы с Kotlin и Wasm при создании игры
GameUnited 03.07.2025
В современном мире разработки игр выбор технологии - это зачастую балансирование между удобством разработки, переносимостью и производительностью. Когда я решил создать свою первую веб-игру, мой. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru
OSZAR »