|
0 / 0 / 0
Регистрация: 21.06.2020
Сообщений: 7
|
|
Необъяснимое индексирование страниц21.06.2020, 06:17. Показов 1558. Ответов 9
Метки нет (Все метки)
Просьба помочь разобраться в следующей ситуации: Есть сайт example.com Создаю на этом сайте новую страницу example.com/test Для этого создаю файл для представления test.php, в контроллере прописываю соответствующий action и все. Больще ничего не делаю. И страница example.com/test почему-то начинает индексироваться. Хотя ни одной ссылки на нее ни на одной странице сайта я не прописываю. Можете как-то прокомментировать эту ситуацию? Очень благодарен всем за ответы и помощь!
0
|
|
( Лучшие ответы (1)
| 21.06.2020, 06:17 | |
|
Ответы с готовыми решениями:
9
индексирование страниц Индексирование страниц Индексирование страниц сайта |
|
1272 / 968 / 228
Регистрация: 01.10.2018
Сообщений: 3,755
|
|
| 21.06.2020, 08:26 | |
 Сообщение было отмечено avo code как решение
Решение
Есть много источников получения информации о новой странице, например Метрика/GA, карта сайта, ссылки с других сайтов.
Добавлено через 3 минуты Нужно явно (причем предварительно) закрывать от индексации все, что не должно попадать в индекс/выдачу.
1
|
|
|
0 / 0 / 0
Регистрация: 21.06.2020
Сообщений: 7
|
|
| 21.06.2020, 10:26 [ТС] | |
|
но я только создал эту страницу
с абсолютно новым урлом ее нет ни в карте сайта, ни конечно же ни на каких других сайтах в виде ссылки она вообще нигде и никогда не фигурировала - только несколько заходов через браузер с непосредственным набором урла в адресной строке Добавлено через 40 минут насчет метрики - это более правдоподобное предположение у меня действительно стоит код метрики на 404 страницах т.е. вы хотите сказать, что если я наберу в адресной строке абсолютную фигню, типа https://example.com/interesno-... ca-v-poisk то эта страница окажется проиндексированной?
0
|
|
|
1272 / 968 / 228
Регистрация: 01.10.2018
Сообщений: 3,755
|
|
| 21.06.2020, 11:15 | |
|
404, естественно, нет. 200 да. Возможно, браузеры поисковиков тоже шпионят, но тут я сомневаюсь, т.к. использую примерно такой же механизм создания новых страниц, как вы описали (только без сторонних аналитических скриптов), и не наблюдаю обозначенной "проблемы" (могу неделями работать со страницей после "скрытой" публикации и ничего).
Добавлено через 1 минуту Правда, в основном Firefox-ом пользуюсь.
0
|
|
|
0 / 0 / 0
Регистрация: 21.06.2020
Сообщений: 7
|
|
| 21.06.2020, 11:18 [ТС] | |
|
дело в том что помимо означенной конкретной проблемы есть и еще другая
есть контент создаваемый пользователем и отправляемый на модерацию этот контент доступен модератору в админке и самому автору после авторизации - для просмотра и редактирования для любого другого пользователя эта страница до одобрения модератором выдает 404, но для автора - 200 является ли это достаточным для попадания страницы в поиск? до одобрения модератором?
0
|
|
|
1272 / 968 / 228
Регистрация: 01.10.2018
Сообщений: 3,755
|
|
| 21.06.2020, 11:46 | |
|
Интуитивно понятно, что все должно быть нормально
 В выдачу должны попадать только публичные 200-ые страницы.Добавлено через 5 минут У вас случайно ключ авторизации ни попадает в адрес?
0
|
|
|
0 / 0 / 0
Регистрация: 21.06.2020
Сообщений: 7
|
|
| 21.06.2020, 11:58 [ТС] | |
|
а откуда поисковик знает что это публичная или не публичная страница?
есть страница которая в момент просмотра автором отдает 200 есть код метрики на этой странице вроде исходя из написанного вами этого достаточно для индексации ну и что самое интересное - страница действительно индексируется и естественно с кодом 404 Добавлено через 1 минуту ключ авторизации в адрес конечно не попадает авторизация происходит из модального окна через асинхронный запрос и естественно с post параметрами
0
|
|
|
0 / 0 / 0
Регистрация: 21.06.2020
Сообщений: 7
|
|
| 21.06.2020, 19:31 [ТС] | |
|
в общем спасибо огромное за помощь и идею
действительно метрика, причем 404 тоже обходятся роботом со всем его удовольствием утром вбил в адресной строке https://example.com/interesno-... ca-v-poisk и уже она там
0
|
|
|
1272 / 968 / 228
Регистрация: 01.10.2018
Сообщений: 3,755
|
|
| 21.06.2020, 20:17 | |
|
"Обходится" роботом и попадает в индекс/выдачу - это разные вещи. Попадать не должна.
Возможно, у вас есть какая-то ошибка, из-за которой статус 404 устанавливается не сразу. Т.е. при создании страница выдается, как публичная 200-ая, и только потом закрывается статусом 404 или авторизационной проверкой.
0
|
|
|
0 / 0 / 0
Регистрация: 21.06.2020
Сообщений: 7
|
|
| 21.06.2020, 22:26 [ТС] | |
|
неправильно сформулировал, согласен
не попадает в поиск, конечно, а попадает в ведомость поисковика с 404 кодом ответа
0
|
|
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
| 21.06.2020, 22:26 | |
|
Помогаю со студенческими работами здесь
10
Индексирование страниц яндексом! Как организовать индексирование страниц??? Индексирование в поисковых системах динамических страниц Как ускорить индексирование новых страниц в Яндекс? Индексирование и индексирование с дополнительным упорядочиванием Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
| Опции темы | |
|
|
Новые блоги и статьи
|
||||
|
Квантовые алгоритмы и обработка строк в Q#
EggHead 07.06.2025
Квантовые вычисления перевернули наше представление о том, как работать с данными, а Q# стал одним из ключевых языков для разработки квантовых алгоритмов. В традиционых системах мы оперируем битами —. . .
|
NUnit и C#
UnmanagedCoder 07.06.2025
В . NET существует несколько фреймворков для тестирования: MSTest (встроенный в Visual Studio), xUnit. net (более новый фреймворк) и, собственно, NUnit. Каждый имеет свои преимущества, но NUnit. . .
|
с++ Что нового?
russiannick 06.06.2025
Продолжаю обзор dev-cpp5. 11. Посмотрев на проекты, предоставленные нам для обучения, становится видно, что они разные по содержащимся файлам
где:
. dev обязательно присутствует
. cpp/ . c один из них. . .
|
WebAssembly в Kubernetes
Mr. Docker 06.06.2025
WebAssembly изначально разрабатывался как бинарный формат инструкций для виртуальной машины, обеспечивающий высокую производительность в браузерах. Но потенциал технологии оказался гораздо шире - она. . .
|
Как создать первый микросервис на C# с ASP.NET Core, step by step
stackOverflow 06.06.2025
Если говорить простыми словами, микросервисная архитектура — это подход к разработке, при котором приложение строится как набор небольших, слабо связанных сервисов, каждый из которых отвечает за. . .
|
|
Рисование коллайдеров Box2D v2 на Three.js с помощью порта @box2d/core
8Observer8 06.06.2025
Используется порт Box2D v2 под названием @box2d/ core - пакет NPM. Загрузил документацию Box2D v2 на Netlify: https:/ / box2d-v2-docs. netlify. app/ Документацию Box2D v2 можно скачать с официального. . .
|
Как создать стек в Python
AI_Generated 05.06.2025
Как архитектор с более чем десятилетним опытом работы с Python, я неоднократно убеждался, что знание низкоуровневых механизмов работы стеков дает конкурентное преимущество при решении сложных задач. . . .
|
Server-Sent Events (SSE) в Node.js
run.dev 05.06.2025
Потоковая передача данных с сервера прямо в браузер стала повседневной потребностью - от биржевых графиков и спортивных трансляций до чатов и умных дашбордов. Много лет разработчики полагались на. . .
|
Создаем RESTful API на Golang с Fiber
golander 04.06.2025
Я перепробовал десятки фреймворков для создания RESTful API за последние годы, и когда впервые столкнулся с Fiber, понял, что это совсем другой уровень. Нет, я не собираюсь рассказывать сказки о. . .
|
Как работать с куки в ASP.NET Core
UnmanagedCoder 04.06.2025
Когда я впервые начал работать с куки в ASP. NET Core, меня поразило, насколько отличается работа с ними от классического ASP. NET. В Core все стало более декомпозированным - больше нет удобного. . .
|
Наверх