Мобильный прокси-сервер с государственными данными

Доступ к государственным данным

Прежде чем приступать к написанию кода, стоит разобраться в структуре правительственных данных, ведь если допустить ошибку, то в результате получится создание бота для сбора информации, которая и так уже доступна для скачивания.

Сервисы открытых данных, как правило, публикуют массивы данных и документированные интерфейсы именно для того, чтобы никому не приходилось сканировать веб-сайт. Их использование быстрее, полнее, стабильнее и значительно удобнее, чем анализ страниц, и там, где такой интерфейс существует, он почти всегда является правильным решением. «Collection» относится к тому материалу, который действительно существует только в виде веб-страницы — а в сфере закупок, в частности, такого материала удивительно много.

Второй момент, о котором следует помнить, заключается в том, что национальные порталы созданы для отечественных поставщиков и функционируют соответствующим образом. Поисковые интерфейсы, загрузка документов и архивы уведомлений часто работают с пониженной производительностью или ограничены для иностранных диапазонов адресов, а некоторые из них применяют к ним более жесткие меры по противодействию ботам по вполне обоснованной причине: они практически не фиксируют легитимного внутреннего трафика из этих диапазонов. Сбор данных по каждой стране изнутри устраняет целый класс периодических сбоев, причины которых трудно определить.

Почему портал выходит из строя раньше, чем прокси-сервер

Национальные порталы государственных закупок редко используют целенаправленные средства защиты от ботов, как это делают коммерческие платформы. Вместо этого они используют устаревшую и фрагментированную инфраструктуру: поисковые конечные точки, рассчитанные на то, что человек будет просматривать всего несколько результатов за сеанс, сессионные куки, срок действия которых истекает в середине сканирования, а также низкие ограничения по скорости для каждого IP-адреса, поскольку никто не ожидал постоянного автоматизированного трафика с одного адреса. IP-адрес частного пользователя или дата-центра, обращающийся к этой инфраструктуре из-за рубежа, рассматривается как исключение, которым он и является. IP-адрес оператора связи, за которым стоит собственная мобильная сеть страны, выглядит как обычный трафик, для обслуживания которого и был создан портал, и не подвергается никаким ограничениям, предназначенным для иностранных IP-диапазонов.

Извлечение данных из публичных источников

Реестры компаний, реестры бенефициарных владельцев, данные о лицензировании и заявки на планирование составляют вторую половину этой вертикали и функционируют аналогично упомянутым выше национальным порталам: по одному на каждую страну, каждый со своей собственной моделью, причем в некоторых из них намеренно введены ограничения на массовый экспорт данных.

Именно этот последний момент зачастую ставит людей в тупик. Общедоступность — это не то же самое, что неограниченное повторное использование. В ряде юрисдикций установлены явные ограничения на массовое извлечение и повторную публикацию данных из реестров, а в реестрах регулярно указываются имена физических лиц — должностных лиц компаний, бенефициарных владельцев, держателей лицензий — что делает эти данные персональными, независимо от того, открыт ли реестр для любого лица. Важное значение имеют цель использования и срок хранения данных, и этот вопрос следует решать с помощью юридической консультации, а не путем технической настройки.

Доступ к информации о фактических владельцах стал более ограниченным, а не более широким

Каждый, кто создал реестр фактических владельцев до конца 2022 года, должен проверить, работает ли он по-прежнему, поскольку в том же году судебное решение установило, что неограниченный общественный доступ к данному конкретному типу реестра был несоразмерным его цели по борьбе с отмыванием денег. Во всех затронутых юрисдикциях общедоступный поиск был отменен или ограничен, в то время как доступ для сторон, способных доказать законный интерес — журналистов, банков, проводящих комплексную проверку — был сохранен, как правило, после прохождения процедуры регистрации. Скрейпер, созданный на основе старой открытой версии, столкнётся с экраном входа в систему там, где раньше находился реестр, и решением проблемы является регистрация надлежащего доступа, а не обход страницы входа.

Контроль за проведением тендеров и исполнением контрактов

Государственные закупки представляют собой коммерчески ценную основу государственных данных и являются единственным случаем использования во всей этой группе, который действительно обусловлен сроками. В объявлении о тендере указана дата окончания приема заявок. Объявление, обнаруженное после этой даты, не представляет абсолютно никакой ценности — в отличие от цены или рейтинга, за опоздание не начисляются частичные баллы, и нет возможности восполнить упущенную возможность.

Уже один этот факт оправдывает более плотную периодичность сбора данных в данном случае, чем в любой другой сфере бизнеса. Ежедневный сбор данных — это минимальный порог для рынков, на которых вы активно участвуете в торгах, а получение данных в тот же день является разумной целью, учитывая, что сроки реагирования зачастую исчисляются несколькими неделями.

notice_id         …
portal            ted | national | regional
market            FR
published_at      …
closing_at        …            # the field the whole pipeline exists for
cpv_codes         [ … ]        # classification, for routing to the right team
buyer             …
value_band        …
attachments       [ … ]        # the specification usually lives here
first_seen        2026-08-24T09:14:02Z

Еще одной практической проблемой является классификация. Стандартные коды терминологии в сфере закупок упрощают маршрутизацию запросов в пределах Европы, однако национальные порталы по-разному подходят к их применению, а объявления о закупках, сумма которых не превышает порогового значения, зачастую классифицируются неточно или вовсе не классифицируются. В результате большинство действующих систем сочетают сопоставление кодов с поиском по ключевым словам, а не полагаются исключительно на один из этих методов.

У TED есть полноценный API — используйте его, а не сканируйте сайт

Сервис «Tenders Electronic Daily» публикует объявления ЕС, превышающие пороговые значения, через API для документированного поиска, который не требует аутентификации для запросов только на чтение и возвращает структурированные записи, по которым можно фильтровать по стране, заказчику, коду CPV и дате. В обычный рабочий день туда поступает примерно две тысячи четыреста объявлений. Для этого не требуется никакого прокси-сервера: это публичный API, созданный именно для такого рода запросов. Бюджет на прокси-серверы для этого кластера относится к национальным порталам с объемом закупок ниже порогового значения, указанным в таблице выше, где конкуренция за каждое объявление, как правило, наиболее низкая.

Уведомления о присуждении контракта имеют большее значение, чем сам тендер

Стоит следить за сроком подачи заявок, чтобы не упустить возможность принять участие в торгах. Также стоит следить за уведомлением о присуждении контракта, чтобы узнать, кто стал победителем, по какой цене и сколько участников принимало участие в торгах. Если контракт вновь присуждается тому же исполнителю по аналогичной цене при наличии единственного участника, то на таком рынке вы, вероятно, не сможете выиграть по цене; а если в торгах участвуют пять участников и диапазон цен широк, это говорит о том, что заказчик действительно открыт для предложений. Уведомления о присуждении контракта публикуются позже, по собственному графику, поэтому для них нужна своя периодичность опросов, а не следование за графиком уведомления, которое предшествовало им.

Сбор данных для целей регулирования

Регуляторная часть развивается более медленно и представляет интерес для другой аудитории: компаний, стремящихся обеспечить соблюдение нормативных требований сразу на нескольких рынках. Официальные вестники, публикации регулирующих органов, консультации, методические рекомендации и решения по обеспечению соблюдения законодательства — все они выходят в соответствии с установленным графиком, что делает их более подходящими для индексного опроса, а не для сканирования.

• Обработать индекс, получить новые записи — Публикация осуществляется по расписанию и последовательно. Нет причин повторно загружать архив.
• Собирайте данные о консультациях, а не только о результатах — Проекты и отзывы указывают направление за несколько месяцев до принятия окончательного документа.
• Сохраните документ, определите поля — Форматы меняются; архив в исходном виде позволяет повторно извлечь файлы без необходимости повторного сбора данных.
• Сохранить исходный язык — Перевод следует выполнять на последующих этапах. Переведённый нормативный текст представляет собой краткое изложение и ни в коем случае не должен быть точной копией опубликованного текста.
• Запускать в непиковое время и в однопоточном режиме — Речь идет о государственных службах со скромным бюджетом. Сбор данных у пациентов является не только правильным подходом, но и — поскольку он никогда не вызывает сопротивления — более надежным.

Источники по судебной практике и прецедентному праву см. юридические данные, а также в отношении общей дисциплины сбора данных, рекомендации по веб-парсингу.

Обеспечить доступ ко всем национальным порталам государственных закупок

Активные локации PXM2 — выберите страны, тендеры и отчеты которых вы отслеживаете, и укажите, из каких именно локаций в каждой стране вы собираете данные:

Часто задаваемые вопросы

Связанные руководства по мобильным прокси-серверам

Закупки и издание юридической литературы — это две составляющие данного кластера в государственном секторе, которые, как правило, функционируют совместно.

Примеры применения в бизнесе

Основные руководства по мобильным прокси-серверам