Методы сбора данных с ПЭУ

О Т Ч Е Т

О научно-исследовательской практике

Тема задания:

Студент ______________________________________ группа U4170

(Фамилия И.О.)

Управляющий практики от организации: ________________________________________________________________________________________________________________________________________________________________

(Фамилия И.О., должность и место работы)

Ответственный за практику от института: ___________________________________

(Фамилия И.О., должность)

Практика пройдена с оценкой ______________

Подписи членов комиссии

_______________(_____________)

(подпись)

_______________(_____________)

(подпись)

_______________(_____________)

(подпись)

Дата ____________________

Санкт-Петербург

Содержание

Введение. 3

Практическая часть. 4

Способы сбора данных Методы сбора данных с ПЭУ с ПЭУ.. 4

Архитектура системы.. 5

Структура базы данных СМПЭУ.. 8

Пользовательский интерфейс СМПЭУ.. 10

Заключение. 11


Введение

В рамках прохождения научно-исследовательской практики производилось личное задание: «Проектирование программных модулей для системы мониторинга порталов электрического участия».

Система мониторинга порталов электрического роли (дальше – СМПЭУ) создана для сбора инфы по динамике голосования на порталах электрического роли Методы сбора данных с ПЭУ и применяется для предстоящего анализа, фильтрации, навигации и отображения данных в целях мониторинга конфигурации интенсивности голосования по темам и категориям.

Для ответа на вопрос, какие конкретно порталы будут объектами исследования и мониторинга, был проведен анализ порталов электрического роли и были выделены два типа порталов: порталы электрических петиций и Методы сбора данных с ПЭУ площадки для подачи жалоб по поводу благоустройства городка. На порталах электрических петиций граждане в главном оставляют предложения по изменению в законодательстве. Примерами таких порталов могут служить порталы «Российская общественная инициатива», «Демократия» и другие. Вместе с порталами для подачи электрических петиций есть и порталы для подачи «жалоб» на благоустройство и городские задачи Методы сбора данных с ПЭУ. Примерами таких порталов служат последующие порталы: «Красивый Петербург», «Наш Санкт-Петербург», «Наш город (Москва), «РосЯма», «Сердитый гражданин» и многие другие. Все эти порталы соединяет воединыжды возможность городских жителей подать жалобу на разные темы, касающиеся городских заморочек. Некие порталы позволяют подать жалобы на трудности в сфере ЖКХ, некие лишь Методы сбора данных с ПЭУ на препядствия, связанные с городскими территориями. Создателями неких являются городские власти, других – волонтерские движения. В любом случае все эти порталы входят в число порталов электрического роли людей РФ. В связи с этим появилась необходимость внести в создаваемую систему мониторинга порталов электрического роли перечисленные выше порталы.


Практическая часть

Способы сбора данных с ПЭУ

После Методы сбора данных с ПЭУ определения того, какие порталы будут объектами мониторинга, мы должны найти, каким методом мы сможем получать информацию для мониторинга этих веб-сайтов.

Есть разные способы сбора данных с веб-сайтов электрического роли. 1-ый метод – это использовать API(application programming interface, интерфейс программирования приложений) веб-сайта для получения инфы, 2-ой Методы сбора данных с ПЭУ – это внедрение синтаксического анализа (парсинга) начального кода страничек веб-сайта.

АPI – это интерфейс, который позволяет при помощи специального набора команд (функций) удаленно управлять любым программным обеспечением (обслуживанием). По другому говоря, API – это интерфейс прикладного программирования для интеграции 1-го программного обеспечения с другим.

Парсинг – это синтаксический анализ веб-сайтов Методы сбора данных с ПЭУ, который автоматом делается парсером. Под парсером понимается скрипт либо особая программка. Нрав парсинга определяется заданием получить определенную информацию со страничек веб-сайта, характеристики анализа заблаговременно задаются. Три фазы парсинга являются логичными стадиями процесса: поначалу это пунктуальный сбор инфы, к примеру, это может быть код веб-страницы. Потом анализ данных Методы сбора данных с ПЭУ, обработка и преобразование в подходящий формат. В конце концов – предоставление результата, вывод данных.

Внедрение API – это удачный метод для обмена данными меж веб-сайтами. Зависимо от способностей определенного веб-сайта можно получать информацию в комфортном виде. Для веб-сайтов электрического роли таковой информацией будет являться, например, перечень всех Методы сбора данных с ПЭУ инициатив со всеми параметрами.

В марте 2014 года общественности был представлен программный интерфейс (API) для автоматического взаимодействия с «Российской публичной инициативой». Рассматриваемый API представляет собой набор шаблонных запросов, представленных в руководстве, ответами на которые является набор данных формата JSON. Ответ на запрос содержит элементы, характеризующие инициативу, элементы в свою очередь Методы сбора данных с ПЭУ могут объединяться в коллекции частей. Описание всех предоставляемых по API данных описано в руководстве.

К огорчению, не всегда имеется возможность работы с веб-сайтами при помощи программного интерфейса ввиду его отсутствия либо нахождения в процессе разработки. В таком случае на помощь приходит синтаксический анализ странички. Он заключается в разборе html Методы сбора данных с ПЭУ кода странички (начального кода странички) на составляющие и выделение из нее тех данных, которые нужны. Для получения полного перечня инициатив нужно поочередно зайти на страницу каждой инициативы и провести парсинг.

Архитектура системы

Как было обозначено выше, при анализе порталов электрического роли были выделены 2 главных вида порталов: порталы для подачи инициатив Методы сбора данных с ПЭУ (такие, как «Российская общественная инициатива», «Change.org) и порталы городского роли (такие, как «Красивый Петербург», «Наш Санкт-Петербург», «Сердитый гражданин» и др.). Для всех видов порталов была спроектирована единая архитектура СМПЭУ.

Общая архитектура системы приведена на рисунке 1.

Рис. 1 Архитектура системы мониторинга порталов электрического роли

Архитектура приложения содержит серверную и клиентскую часть Методы сбора данных с ПЭУ. Сбор данных с веб-сайтов электрического роли происходит одним из 2-ух методов: с внедрением API (в случае предоставления таковой способности разработчиками) либо при помощи синтаксического анализа (парсинга) начального кода страничек веб-сайта.

В случае предоставления разработчиками официального API, позволяющего получить нужные текущие данные (обновляемые на портале n Методы сбора данных с ПЭУ раз в день), архитектура модуля сбора данных смотрится последующим образом (см. рис. 2).

Рис. 2 Архитектура модуля сбора и обработки данных системы мониторинга порталов электрического роли

Для воплощения сбора и обработки данных о голосованиях можно использовать последующие технические решения:

– база данных для хранения данных о голосовании;

– php-cкрипт для сбора данных, использующий API либо анализирующий Методы сбора данных с ПЭУ веб-сайт впрямую;

– сервер, свойства которого определяются зависимо от нагрузки;

– планировщик задач, который запускает php-скрипт с определенной периодичностью;

– программное обеспечение, установленное и настроенное на сервере: php, MySQL.

Для представления данных в сети Веб употребляются последующие средства:

– программное обеспечение, установленное и настроенное на сервере, на котором Методы сбора данных с ПЭУ происходит сбор данных: к примеру, web-сервер Apache;

– наружный Айпишник, домен либо поддомен;

– php-скрипты для отображения данных через web-server клиенту;

– средства для отображения графиков (к примеру, API Гугл Charts либо собственные методы отображения);

– программное обеспечение, установленное на стороне клиента: веб-браузер, который поддерживает javaScript и CSS.

В Методы сбора данных с ПЭУ связи с тем, что через API предоставляются только текущие данных (обновляемые раз в час), то был обеспечен сбор данных и фиксация их в базе данных (дважды в денек).


Так как порталы «Наш Санкт-Петербург» и «Красивый Петербург» не предоставляют сейчас API для доступа к своим данным, потребовалось написать особый скрипт Методы сбора данных с ПЭУ, который будет «парсить» данные порталов и вносить приобретенные данные в БД. Из-за огромного объема инфы, собираемого скриптом в БД, планировщик задач запускается 1 раз в день. Планировщик задач (в нашем случае Cron) – это система для автоматического пуска программ либо скриптов на сервере в определенное время .

HTTP (англ. HyperText Transfer Protocol — «протокол Методы сбора данных с ПЭУ передачи гипертекста») — протокол прикладного уровня передачи данных (вначале — в виде гипертекстовых документов в формате HTML, в реальный момент употребляется для передачи случайных данных).

HTML (от англ. HyperText Markup Language — «язык гипертекстовой разметки») — стандартный язык разметки документов во Глобальной сети. Большая часть веб-страниц содержат описание разметки на Методы сбора данных с ПЭУ языке HTML. Язык HTML интерпретируется браузерами; приобретенный в итоге интерпретации форматированный текст отображается на дисплее монитора компьютера либо мобильного устройства.

На рисунке 3 приведена структура модуля сбора и обработки данных СМПЭУ для порталов, не имеющих API.

Рис.3 Структура модуля сбора и обработки данных СМПЭУ для порталов,

не имеющих API


Для Методы сбора данных с ПЭУ воплощения сбора и обработки данных о подаваемых воззваниях употребляются последующие технические элементы:

1) база данных для хранения инфы о поданных заявлениях;

2) php-cкрипт для сбора данных, анализирующий веб-сайт (другими словами, «парсер»);

3) планировщик задач, который запускает php-скрипт с определенной периодичностью;

4) средства для отображения графиков (к примеру, API Гугл Charts либо Методы сбора данных с ПЭУ собственные методы отображения);

5) программное обеспечение, установленное на стороне клиента: веб-браузер, который поддерживает javaScript и CSS.

6) php-скрипты и html-разметка для отображения данных через web-server клиенту;

7) Конкретно портал, который мы подключаем к СМПЭУ.

Не обозначенные на схеме, но участвующие в процессе сбора данных элементы:

– сервер, свойства Методы сбора данных с ПЭУ которого определяются зависимо от нагрузки;

– программное обеспечение, установленное и настроенное на сервере: php, MySQL.

– программное обеспечение, установленное и настроенное на сервере, на котором происходит сбор данных: к примеру, web-server Apache;

– наружный Айпишник, домен либо поддомен.


metodi-ustanovleniya-norm-i-normativov.html
metodi-ustraneniya-posledstvij-zagryazneniya.html
metodi-v-priemi-psihologicheskoj-vojni.html