Головная страница

 

Станислав ЯНКОВСКИЙ

 

Технология автоматизированной аналитической обработки информации в крупных информационно-аналитических центрах Rambler's Top100

 
Введение
1. Общие положения
1.1. Основные понятия
1.2. Основная цель создания «ЭАС»
2. Постановка и описание функциональной задачи, решаемой «ЭАС»
2.1. Постановка функциональной задачи
2.2. Основные методологические принципы решения поставленной задачи
2.3. Анализ общих требований
3. Подход к решению поставленной задачи в «ЭАС»
3.1. Общая архитектура системы
3.2. Организация функционирования Центра эксплуатации «ЭАС»
4. Информационно-лингвистическое обеспечение «ЭАС»
4.1. Логическая структура данных
4.2. Ориентировочный состав баз данных
4.3. Состав выходной информации
5. Программное обеспечение «ЭАС»
5.1. Архитектура программного обеспечения
5.2. Базовое программное обеспечение
5.3. Функции прикладных компонентов программного обеспечения
5.4. Функции программных средств защиты информации
6. Техническое обеспечение «ЭАС»
6.1. Требования к техническим средствам«ЭАС»
6.2. Ориентировочный состав и конфигурация технических средств
7. Кадровое обеспечение «ЭАС»
7.1. Ориентировочный состав кадрового обеспечения
7.2. Обучение человеческой компоненты
8. Пример технологии на ключевых этапах работы с информацией
8.1. Анализ информации при вводе
8.2. Анализ интегрированной информации, веса и рейтинги
Заключение
*
Иллюстрации см. здесь
*

Введение

Принятия эффективных стратегических решении на высшем управляющем уровне необходима полная и достоверная информация не только о реальной ситуации, в которой принимается решение, но и о ситуациях во всех смежных с нею сферах внутригосударственной жизни и а так же о ситуаци, складывающейся за рубежом. Политическая, экономическая, военная, социальная и криминальная (террористическая) сфера настолько между собой увязаны, что ни одно эффективное решение внутри любой из этих сфер не может быть принято без учёта остальных.

Ситуация в любой сфере складывается из очень большого числа внешних и внутренних событий на самом нижнем уровне. Эти элементарные события соединяются в более общие и в итоге образуют ключевые процессы и явления, которые и являются предметом государственного управления. Соответственно, и информация о процессах и явлениях имеющих место во всех сферах складывается из фрагментов информации о событиях на самом нижнем уровне.

Интегрированная обработка больших потоков разнородной исходной информации, и её обобщение с нижнего до государственно значимого уровня, а так же прогнозирование развития складывающихся ситуаций требуют организации совместной согласованной работы многих аналитиков разных профилей и уровней компетенции.

Организовать слаженную работу большой группы экспертов на большом объёме разнородной информации можно только создав для них общее информационное пространство, в котором обеспечиваются все необходимые информационные потоки, объединяющие результаты работ всех экспертов. Такая задача может быть решена только созданием Информационно-аналитического центра «ИАЦ», вся работа которого поддерживается единой автоматизированной Экспертно-аналитической Системы («ЭАС»).

Разработка таких экспертно-аналитических систем началась ещё в середине восьмидесятых годов группой специалистов в рамках одного ведомственного института. С того времени этой группой был создан ряд таких «ЭАС», которые работали, в том числе, в Администрации Президента РФ и в ряде информационно-аналитических агентств, обслуживающих государственные органы и коммерческие структуры.

1. Общие положения

1.1. Основные понятия

Предметная область - совокупность объектов реального мира, знания о свойствах и взаимодействиях которых создаёт основу для поддержки принятия эффективных решений по обеспечению выполнения целей потребителя информации.

Состояние предметной области - совокупность фактов, описывающих значения существенных для изучения предметной области свойств объектов в определённый момент времени.

События в предметной области - совокупность фактов, описывающих значения существенных для изучения предметной области параметров процессов взаимодействия и изменения свойств объектов в определённые промежутки времени.

Информация о событиях/состояниях предметной области - неполное, неточное и недостоверное отражение отдельных фактов, описывающих свойства и взаимодействия объектов предметной области.

Метаинформация - информация об информации, не отражающая отдельных фактов, но касающаяся свойств информации о них и позволяющая связывать отдельные фрагменты информации в общую семантическую структуру.

Интеграция информации - процесс восстановления связей между получаемыми фрагментами исходной информации на основе имеющейся метаинформации, ведущий к получению информации о предметной области в целом.

Анализ информации - процесс работы с исходной и интегрированной информацией, позволяющий выявить степень её полноты, точности и достоверности, а так же определить её значение для тех или иных аспектов её использования в принятии решений.

Обобщение информации - процесс работы с интегрированной и проанализированной информацией, позволяющий формировать из множества связанных между собой событий/состояний событие/состояние более высокого уровня. Такое событие/состояние представляет выбранные фрагменты как единое целое и, в соответствии с конечной целью поддержки принятия решений, агрегирует в себе значения их отдельных параметров, освобождаясь от множества несущественных для этих целей деталей.

Информационное пространство - динамически формируемая с помощью процессов анализа, обобщения и интеграции информации модель предметной области в целом, позволяющая формальными методами проводить её семантическую обработку в целях получения выходной информации для поддержки принятия решений по требуемым аспектам и на требуемом уровне общности.

1.2. Основная цель создания «ЭАС»

«ЭАС» создаётся для накопления, обработки и многоаспектного анализа больших потоков открытой разнородной информации о текущих событиях в интересующих Заказчика предметных областях и для генерации на её основе выходной аналитической информации, обеспечивающей поддержку принятия руководством решений, адекватных складывающейся обстановке.

2. Постановка и описание функциональной задачи, решаемой «ЭАС»

2.1. Постановка функциональной задачи

Предметная область создаваемой "ЭАС" включает в себя самый широкий спектр фактов и событий, имеющих место в политической, экономической, социальной и криминальной сферах. Эти факты и события могут иметь место, как на территории Российской Федерации, так и за рубежом. Главным критерием отбора информации для постановки её на учёт является потенциальная возможность влияния описываемых ею событий на деятельность Компании Заказчика.

Источниками исходной информации о фактах и событиях могут являться любые средства массовой информации, информационные агентства, интернет, а также другие сообщения и документы физических и юридических лиц.

Информация носит главным образом открытый характер, но так же должен быть предусмотрен и учёт конфиденциальной информации.

При постановке информации на учёт должна предусматриваться возможность хранения не только её формализованного вида, но и исходного образа документа, на котором она была получена.

Особенности характера получения исходной информации допускают её возможную неполноту, неточность и недостоверность. Отдельные фрагменты исходной информации могут не иметь между собой явных связей. Все эти недостатки исходной информации могут привести к невозможности решения "ЭАС" своих задач, и поэтому должны максимальным образом компенсироваться в процессе её интеграции и анализа.

Выходная информация, предназначенная для поддержки принятия решений руководством Компании Заказчика, должна формироваться по различным интересующим его аспектам, на различных уровнях общности, соответствующих его конкретным задачам.

Выходная информация должна выдаваться в необходимых, соответствующих задачам её использования, видах:

- в виде сводок о текущем состоянии групп элементов предметной области и динамике отдельных происходящих в ней событий;

- в виде аналитических документов о причинах, тенденциях и возможных последствиях текущих событий и состояний предметной области;

- в виде сравнительных графиков и таблиц, отражающих изменение состояний предметной области и динамику развития событий, которые позволяют наглядно представить возможные тенденции развития этих событий/состояний и показать соотношение их важности с точки зрения принятия решений руководством Компании Заказчика

При формировании всех видов обобщённой и аналитической информации должна быть предусмотрена возможность предоставления всей исходной информации, на основе которой был сформирован каждый её пункт и построена точка графика или графа таблицы

"ЭАС" должна работать в реальном масштабе времени, т.е. принимать, обрабатывать и выдавать актуальную информацию в допустимые сроки, позволяющие использовать её для принятия решен.

"ЭАС" должна обеспечивать её коллективное использование одновременно большим количеством лиц в соответствии с их полномочиями и приоритетами.

В "ЭАС" должны быть обеспечены надёжность хранения накопленной информации и процедуры её восстановления при внештатных ситуациях.

2.2. Основные методологические принципы решения поставленной задачи

В виду отсутствия формализации в представлении предполагаемой исходной информации и значительным преобладанием в ней качественных характеристик над количественными, а так же, учитывая её возможную неполноту, неточность и недостоверность, предлагается построить "ЭАС" как человеко-машинную систему. В такую систему, наряду с техническими средствами, включаются группы аналитиков, которые принимают участие в ключевых этапах обработки информации, где для принятия решений недостаточно применения формальной машинной логики, или для однозначного решения не хватает формализованных данных. В таких случаях аналитики, на основе своих знаний и опыта, устраняют имеющуюся неопределённость, вводят дополнительные формальные параметры и устанавливают смысловые привязки новой информации с информацией, накопленной ранее. Тем самым обеспечивается дальнейшая возможность формальной обработки информации на машине. При этом система должна обеспечивать эффективное взаимодействие и машинной и человеческой компоненты, начиная от ввода исходной информации и до получения выходной.

Базовой основой взаимодействия человеческой и машинной компонент является аппарат интерпретации информации. С помощью этого аппарата аналитики, вводя информацию в систему, не просто фиксируют отдельные факты по значениям их параметров (кто, что, где, когда и т.п.), но и интерпретируют их.

Интерпретации касается оценок роли, значения и степени пригодности отдельных фактов для решения последующих задач по формированию общей выходной информации. Одни экспертные оценки определяют такие характеристики информации, как важность факта, вид его влияния, период этого влияния, масштаб влияния, оценка роли участников, достоверность и т.п. Другие оценки определяют место факта в единой семантической сети накапливаемой информации и его отношение к тем или иным целям слежения за предметной областью. Таким образом, аппарат интерпретации позволяет формализовать для машинной обработки некоторую метаинформацию, которая напрямую не содержится в исходной. Это, в свою очередь, позволяет не только расширить возможности для дальнейшей машинной обработки информации, но и сделать её семантически более точной и более приближенной к выполнению поставленных перед системой задач.

2.3. Анализ общих требований

"ЭАС" разрабатывается для осуществления постоянного слежения за состоянием и развитием процессов в интересующих Заказчика предметных областях и информационно-аналитической поддержки принятия им управляющих решений.

Реализация принципа человеко-машинной организации системы предполагает создание внутри системы сети автоматизированных рабочих мест (АРМ) аналитиков, каждое из которых функционально ориентировано на обработку определённой части информационного пространства в условиях обеспечения общей семантической целостности обработки всего информационного пространства.

Система "ЭАС" должна обеспечивать для каждого АРМ необходимый и достаточный для выполнения его функций набор операций из следующего перечня:

- ввод/коррекция информации;

- поиск и извлечение данных;

- оценка возможностей источников;

- разноаспектный анализ накопленной информации;

- подготовка сводок, обобщений, выводов;

- подготовка аналитических документов разного уровня общности;

- подготовка таблиц и графиков рейтинговых оценок текущего состояния и динамики отслеживаемых процессов.

Кроме этого, в рамках Системы "ЭАС" должны обеспечиваться следующие администраторские функции:

- изменение количества и функционального назначения АРМ, задействованных в сети;

- оперативная корректировка и дополнение средств информационно-лингвистического обеспечения для централизованного изменения семантических свойств единого информационного пространства;

- дополнение и корректировка входных и выходных форм Системы;

- расширение и изменение состава обрабатываемых данных и алгоритмов их обработки;

- формирование архива Системы;

3. Подход к решению поставленной задачи в «ЭАС»

3.1. Общая архитектура системы

"ЭАС" строится как человеко-машинная система.

Основой системы является Центр эксплуатации. Его задача получать информацию из предметной области, формировать из неё интегрированное информационное поле и на основе этого поля, согласно целям слежения, генерировать выходную информацию для поддержки процесса принятия решений Руководством Заказчика.

Внешними по отношению к Центру эксплуатации являются источники исходной и потребители выходной информации.

Источники могут быть неуправляемыми (СМИ, информационные агентства, сайты интернет) и управляемыми (физические и юридические лица, способные поставлять информацию в систему по заказу).

Потребители информации могут работать с системой в пассивном режиме (получать от системы периодическую и сигнальную информацию, согласно установленному регламенту, а также информацию по требованию) и активном режиме (иметь прямой доступ к информационному полю и самостоятельно отбирать по нему информацию для решения своих задач). В последнем случае потребитель информации становится частью создаваемой человеко-машинной системы. Для включения потребителя в общую систему, в зависимости от его удалённости от Центра эксплуатации, могут создаваться различные по своим возможностям специальные АРМ конечного пользователя. Возможности АРМ конечного пользователя определяются в Техническом Задании после принятия Заказчиком решения о территориальном расположении Центра эксплуатации и функциональных задачах этих АРМ.

3.2. Организация функционирования Центра эксплуатации «ЭАС»

3.2.1. Формирование информационного пространства

Первой задачей Центра эксплуатации является отбор исходной информации для ввода в систему. Для её решения создаётся группа ввода информации. Ориентируясь на цели конечного пользователя, она отбирает из открытых неуправляемых источников необходимые фрагменты информации или посылает управляемым источникам задания на их получение.

Исходная информация может поступать в печатном и электронном виде, а так же конвертироваться из внешних по отношению к Системе баз данных. В соответствии с этим, для предварительной обработки информации, группе ввода должны предоставляться сканеры, средства просмотра электронных файлов, канал выхода в интернет, а так же средства доступа к соответствующим внешним базам данных.

Отобранная информация вводится в базу данных системы в двух видах:

- в виде максимально приближённом к исходному. Это могут быть: ксерокопии бумажных носителей; электронные( текстовые, звуковые и видео) файлы; файлы отчётных форм внешних БД;

- в виде связных фрагментов, входящих составной частью в общее информационное поле.

Работу группы ввода обеспечивают АРМ ввода исходной информации.

Эти АРМ должны быть соединены со сканерами, средствами чтения электронных носителей и иметь доступ в интернет, а также к используемым внешним БД.

Основные функции АРМ ввода:

- предоставления форм ввода исходной информации в Систему;

- дополнения исходной информации метаинформацией;

- предоставление возможности интерпретации информации в соответствии с её возможной ролью и местом в решении конечных задач;

поддержка включения новой информации в общую целостную структуру информационного поля со всеми семантическими связями новой информации с накопленной ранее.

3.2.2. Аналитическая работа

В рамках задач регламентного информационного обслуживания конечного потребителя, выполнения его разовых заданий и в рамках выявления неожиданных ситуаций группа аналитиков проводит анализ состояния предметной области по различным срезам поддерживаемого в Системе информационного пространства.

Результатом этой работы является как выходная информация для потребителя, так и внутрисистемная информация.

Выходная информация выдаётся в виде сводок, обобщений, выводов, аналитических документов разного уровня общности, таблиц и графиков рейтинговых оценок текущего состояния и динамики процессов в предметной области. Отдельные виды выходной информации, такие как выводы, обобщения и др., могут сохраняться в системе, занимая соответствующее им место в семантической структуре информационного пространства на соответствующем уровне общности для последующего участия в формировании других видов выходной информации.

Получаемая внутрисистемная информация используется для анализа состояния поддерживаемого информационного пространства. При этом решаются задачи:

- обнаружения и исправления нарушений целостности информационного пространства;

- выявления и устранения противоречий и недостоверности отдельных его элементов;

- оценки активности, полезности и других качеств источников исходной информации;

- оценки производительности и компетенции аналитиков в работе по формированию в системе информационного пространства.

3.2.3. Работа по администрированию Системы

В задачи администрирования Системы входит оптимизация работы всех её компонент, как с технической, так и с организационной точек зрения. Сюда входят: настройка функций всех АРМ, их установка и модификация, разработка разноцелевых форм для ввода и вывода информации, сопровождение и архивирование базы данных, расширение и изменение средств информационно-лингвистического обеспечения системы. Отдельной задачей является содержательное пополнение, а так же структурное изменение аппарата интерпретации информации, используемого аналитиками для формирования метаинформации, обеспечивающей построение семантических связей внутри информационного пространства, и используемой в получении семантических срезов этого пространства при формировании выходной информации.

4. Информационно-лингвистическое обеспечение «ЭАС»

4.1. Логическая структура данных

Основой построения семантически единого информационного пространства является набор основных и вспомогательных интерпретаторов информации.

Для того, чтобы показать роль интерпретаторов в идеологии построения "ЭАС", рассмотрим их подробнее.

Простейшим видом интерпретаторов являются словари. Они имеют линейную структуру и содержат списки терминов, допустимых для представления в Системе тех или иных элементарных значений параметров информации об объектах и событиях в предметной области. Словари могут содержать также и простое объяснение смысла каждого термина. Назначение словарей - формализовать представления тех или иных значений параметров информации с целью обеспечения однозначности их представления и понимания, а так же ограничения числа таких представлений.

Более сложным видом интерпретаторов являются классификаторы. В отличие от словарей, содержащиеся в них термины связаны в строгую иерархическую структуру. Иерархия терминов отражает такие отношения между объектами и событиями как: часть/целое, частное/общее, подчинение/управление и другие отношения, имеющие место в предметной области. Фактически, построение иерархии уже означает фиксацию некоторой метаинформации, описывающей свойства той информации, которая представляется терминами классификатора. Эта информация уже позволяет формализовать процесс объединения отдельных фрагментов исходной информации об объектах и событиях в общую структуру, соответствующую реальной структуре отношений между объектами и событиями в предметной области.

Полноценный интерпретатор, далее просто называемый интерпретатором, описывает не просто структуры терминов, представляющих значения отдельных параметров состояния объектов и событий предметной области, а структуру самой предметной области включая описания всех известных её объектов и событий, в ней происходящих. Таким образом, он объединяет в единую структуру всю информацию и метаинформацию и динамически поддерживает полноценную и пригодную для формальной обработки модель предметной области, т.е. информационное пространство.

Главное отличие интерпретатора от классификатора состоит в том, что он содержит не только термины классификации и их простое объяснение, но и детальное описание всех известных объектов и событий, привязанных к этой классификации.

В одном интерпретаторе могут присутствовать абсолютно разные типы объектов и событий, которые описываются по разным правилам и наборам характеристик. Каждый объект и событие не только подчиняется вышестоящим терминам классификации, но может и сам иметь подчинённые ему объекты и события, т.е. являться расширенным термином классификации. Собственно, и каждый термин классификации может представлять собой описание объекта или события в предметной области. Таким образом, разница между абстрактными терминами и конкретными объектами/событиями в структуре интерпретатора является условной и зависящей только от задач обработки информации. И то и другое мы будем в дальнейшем обозначать общим названием "элементы".

Структура элементов интерпретатора не является строго иерархической. В реальной предметной области не бывает таких ситуаций, когда один объект или событие может быть соотнесён с другими только по одному виду классификации. Например, одно предприятие может входить в разные структуры: регион, отрасль, холдинг и т.д. А каждое событие может классифицироваться с политической, экономической, социальной и других точек зрения. Даже такая вещь, как классификация товаров часто не может быть строго однозначной, бывают товары двойного, тройного и более широкого назначения. Соответственно этим реалиям интерпретатор обеспечивает возможность одновременного присутствия одного и того же своего элемента на разных ветвях классификаций. Таким образом, интерпретаторы обеспечивают поддержание полииерархической структуры своих элементов (как терминов классификации, так и разнотипных объектов и событий) без дублирования их физических представлений.

Ещё одним важным отличием интерпретаторов от классификаторов является возможность указания в них различных наборов характеристик не только элементов, но и окрасок их связей. Окраски связей позволяют фиксировать в информационном пространстве дополнительные виды метаинформации, уточняющие информацию о самом наличии связи. Окраска связей может касаться самых разных аспектов, важных с точки зрения её учёта при обработке информации о связанных между собой элементах. Окраска связи может описывать: её виды, степени достоверности, случайности, устойчивости и.т.д.

Ещё одним видом метаинформации, который позволяет фиксировать интерпретатор, является весовая оценка значимости любых описанных в нём элементов и окрасок их связей. Это позволяет учитывать формальными методами обработки не только важность каждого отдельного фрагмента информации, но и совокупную важность любых их объединений, построенных по различным срезам информационного пространства.

Наличие весовых оценок является базовой основой для построения рейтингов любого элемента информационного пространства на любом уровне общности по совокупности его связей с другими элементами, отслеживания динамики этих рейтингов и сравнения рейтингов разных элементов между собой. Например, рейтинги напряжённости в регионах (на любом уровне административного деления) можно строить исходя из информации о происходящих в них событиях, с учётом информации об участниках событий и метаинформации, выраженной в окрасках связи каждого события с регионом и в окрасках связи каждого участника с событием. Основываясь на времени протекания каждого отдельного события можно проследить динамику изменения рейтингов общего процесса, составными частями которого являются эти события. Кроме этого, если при анализе информации аналитики имеют возможность добавить такой вид метаинформации, как оценку периода последующего влияния события на обстановку, то можно будет строить ещё и прогноз изменения рейтингов на определённое время вперёд. Подобные же рейтинги и их прогнозы можно строить для физических и юридических лиц, а так же для любого уровня и вида их объединений в информационном пространстве.

4.2. Ориентировочный состав баз данных

Для формирования и обработки всего информационного пространства "ЭАС" предлагается следующий набор взаимосвязанных интерпретаторов. Этот набор не является статическим и может изменяться в процессе функционирования системы в соответствии с уточнениями её задач и повышением эффективности выдаваемого результата. В тех же целях допускается изменение структур этих интерпретаторов.

В состав интерпретаторов входят основные интерпретаторы, описывающие структуру предметной области и накапливающие в себе информацию о ней, и дополнительные, уточняющие информацию, содержащуюся в основных интерпретаторах. Такое построение интерпретаторов обеспечивает широкие возможности динамической модификации всего аппарата интерпретации информации в процессе функционирования Системы.

Исходя из накопленного опыта решения подобных задач, к началу функционирования Системы во все интерпретаторы изначально включаются предварительные термины классификации, объединённые в полииерархические структуры. В ходе функционирования Системы к ним привязывается вся конкретная информация из предметной области. При этом сами термины и их структуры могут динамически уточняться и изменяться для повышения адекватности создаваемого информационного пространства по отношению к предметной области.

4.2.1. Основные интерпретаторы Системы

Исходя из общей постановки задачи, в Системе строится два связанных между собой основных динамических интерпретатора: "События/состояния" и "Объекты".

Интерпретатор "События" предназначен для описания всех процессов, информация о которых поступает из предметной области. Процессы описываются по следующим общим характеристикам:

- Название - термин классификации, или условное наименование события;

- Пояснение - краткая характеристика сути явления;

- Количество участников события;

- Краткий текст описания события;

- Полный текст описания события;

- Образы документов и других форм представления полученной исходной информации;

- Период прохождения события;

- Оценка периода влияния события на общую обстановку;

- Связь с термином классификации из интерпретатора "Оценка внезапности события;

- Связь с термином классификации из интерпретатора "Оценка масштаба события";

- Связь с термином классификации из интерпретатора "Оценка важности события";

- Связь с термином классификации из интерпретатора "Оценка влияния события";

- Связь с термином классификации из интерпретатора "Оценка тенденций";

- Связь с термином классификации из интерпретатора "Оценка напряжённости";

- Множественная связь с термином классификации из интерпретатора "Характер события";

- Множественная связь с термином классификации из интерпретатора "Административно-территориальные образования";

- Множественная связь с интерпретатором "Сферы протекания события";

- Множественная связь с источниками информации из интерпретатора "Объекты";

- Множественная группа связей с участниками событий из интерпретатора "Объекты" с уточнениями характеристик их участия по интерпретаторам "Оценка роли", "Оценка действий", "Оценка активности";

- Множественная группа привязок данного элемента к вышестоящим элементам интерпретатора "События". Каждая привязка сопровождается указанием параметров окраски связи по двум аспектам: вид информации, представляемой данным элементом (факт, обобщение, вывод, прогноз и т.д.), и степень соответствия данной информации к данному её расположению в структуре (максимальное соответствие, среднее, слабое и т.д.). Последний аспект необходимо учитывать, поскольку на практике далеко не всегда можно получать прямую информацию по нужной теме, и часто приходится работать с косвенной. Степень соответствия показывает, насколько строго такая информация соответствует классификации по вышестоящему элементу.

Начальное наполнение интерпретатора "События" терминами классификации содержит около тысячи элементов на нескольких уровнях общности. Вот его фрагмент:

Следующий пример фрагмента этого же интерпретатора показывает, как он может выглядеть после наполнения его конкретной информацией:

Начальное наполнение интерпретатора "Объекты" содержит несколько сотен элементов, объединённых в полииерархическую структуру. Вот пример его фрагмента:

4.2.2. Дополнительные интерпретаторы Системы

Интерпретатор "Административно-территориальные образования":

Интерпретатор "Оценка внезапности события":

Интерпретатор "Сфера протекания события":

Интерпретатор "Оценка масштаба события":

Интерпретатор "Оценка важности события":

Интерпретатор "Оценка влияния события":

Интерпретатор "Оценка тенденций":

Интерпретатор "Оценка напряжённости":

Интерпретатор "Правовая оценка":

Интерпретатор "Оценка роли":

Интерпретатор "Оценка действий":

Интерпретатор "Оценка активности":

Интерпретатор "Характер связи объектов":

Интерпретатор "Сферы интересов личности":

4.3. Состав выходной информации

Выходная информация формируется в "ЭАС" в двух основных видах:

- Текстовые подборки, составляемые по любым срезам информационного пространства за любой период актуальности и по любым комбинациям поисковых условий. Это могут быть сводки о важных событиях за определённый период, обзоры развития отдельных событий и их групп, справки по отдельным объектам и событиям и т.д. Эти подборки могут сопровождаться экспертными оценками, выводами и прогнозами аналитиков, которые в свою очередь могут фиксироваться в информационном пространстве Системы для использования в формировании последующей выходной информации текстового, табличного и графического видов;

- Табличные и графические представления развития событий в предметной области по любым срезам информационного пространства. По получаемым таблицам и графикам предоставляется возможность выдавать текстовые подборки информации, послужившей основой для формирования каждой позиции таблицы и точки графика.

Все виды информации могут выдаваться как по каталогизированным запросам с указанием параметров отбора информации, так и по свободно составляемым запросам, степень допустимой свободы которых должна быть отдельно согласована с Заказчиком.

5. Программное обеспечение «ЭАС»

5.1. Архитектура программного обеспечения «ЭАС»

Программное обеспечение "ЭАС" состоит из базового программного обеспечения общего пользования и прикладных программных компонентов, работающих в их среде. Лицензии на право пользования базовым программным обеспечением Заказчик должен получать у его производителей, или дистрибьюторов. Право пользования прикладным программным обеспечением предоставляет Заказчику Исполнитель.

5.2. Базовое программное обеспечение

Для эффективного функционирования «ЭАС» предполагается использовать операционные системы:

- Windows 2003 ® SERVER Standard Edition для сервера Системы;

- Windows XP ® Professional версия 2002 (Service Pack 2) для АРМ аналитиков.

База данных Системы проектируется и эксплуатируется на основе СУБД ORACLE Enterprise Edition версии не ниже 9i (9.2.0.1.0):

5.3. Функции прикладных компонентов программного обеспечения

5.3.1. Управляющая компонента системы

Управляющая компонента системы обеспечивает построение общей среды работы всех остальных прикладных программных компонент. Она выполняет функции общего администрирования и администрирования интерпретаторов.

Общее администрирование Системы:

- описание пользователей, имеющих доступ к системе и их личные полномочия по доступу к режимам работы Системы;

- описание групп пользователей, и их групповые полномочия;

- описание программных модулей, обеспечивающих режимы работы Системы;

- настройка режимов работы Системы и предоставление полномочий по их использованию пользователям;

- выполнение обновлений программных модулей системы;

- настройка форм выдачи выходной и форм ввода исходной информации;

- описание групп форм ввода и выдачи и предоставление прав доступа к ним пользователей Системы;

- настройка весовых оценок элементов интерпретаторов и алгоритмов построения по ним рейтинговых значений для объектов предметной области;

- создание архивных копий базы данных Системы;

- построение отчётов о состоянии Системы и мониторинг работы аналитиков;

- и т.д.

Администрирование интерпретаторов Системы:

- общее описание интерпретаторов;

- создание и изменение их структуры;

- описания возможных типов элементов структуры и их информационного наполнения;

- описание возможных окрасок связей между элементами структуры;

- настройка видов отображения интерпретаторов;

- и т.д.

5.3.2. Стандартные программные компоненты

Стандартные программные компоненты, обеспечивают выполнение следующих режимов работы пользователей:

- режим ввода/коррекции исходной информации;

- режим анализа информации;

- режим допустимого изменения структуры интерпретаторов в процессе ввода и анализа информации;

- режимы формирования выходной информации.

5.3.3. Компоненты контроля целостности информации

Компоненты контроля целостности информации работают во всех режимах и обеспечивают проверку логической целостности её информационного пространства.

5.3.4. Специальные программные компоненты

Специальные программные компоненты добавляются в Систему исходя из конкретных особенностей решаемых ею задач.

Среди этих компонент могут быть средства предварительной автоматической обработки исходной информации, получаемой в электронном виде из каналов связи, баз данных, интернет-ресурсов и других источников, которые имеют хотя бы частичную формализацию представления текстов. В зависимости от степени этой формализации можно уже на предварительном этапе автоматически отсеивать явный информационный шум, устанавливать примерное место информации в информационном пространстве системы, частично привязывать её к существующим интерпретаторам и распределять поток информации между аналитиками для окончательного включения исходной информации в общее информационное пространство.

При необходимости могут использоваться другие специально разрабатываемые или лицензионные программные средства.

Ниже представлена общая схема основных функциональных блоков программного обеспечения. Под пунктирной линией представлены дополнительные блоки, которые могут быть добавлены в процессе развития Системы. В частности, предполагается обеспечить Систему WEB-интерфейсом, для удалённого использования её информационного пространства:

5.4. Функции программных средств защиты информации

Защита информации от разрушения осуществляется на базе средств и возможностей, предоставляемых СУБД Oracle, включением в него специальных функций, процедур и триггеров и автоматическим ведением журнала по всем основным событиям изменения базы данных. В случае аварийного завершения функционирования Системы не должно происходить нарушение целостности данных и исполняемых программных модулей. Программное обеспечение Системы должно быть готово к работе сразу же после устранения причин аварийного прекращения работы и загрузки или восстановления необходимых баз данных. Регламент и процедуры резервного копирования и восстановления БД Системы должны быть определены Заказчиком Системы отдельными документами.

Защита от несанкционированного доступа к информации осуществляется с использованием комбинации стандартных возможностей, предоставляемых СУБД Oracle и специальных возможностей прикладного программного обеспечения. Защита осуществляется на следующих уровнях:

- проверка паролей пользователей;

- персональные и групповые ограничения пользователей по наборам режимов работы с Системой;

- персональные и групповые ограничения пользователей по доступу к определённым срезам информационного пространства (такие ограничения в значительной мере зависят от специфичных требований Заказчика и реализуются по согласованию с ним).

При запуске модулей Системы проверяется целостность модулей программного обеспечения по контрольным суммам.

6. Техническое обеспечение «ЭАС»

6.1. Требования к техническим средствам

Техническая база Системы представляет собой специализированный сервер Базы Данных и стандартные современные персональные компьютеры для автоматизированных рабочих мест (АРМ) пользователей. Поэтому каких-либо особых требований к техническим средствам обеспечения функционирования конкретных АРМ не предъявляется.

Все АРМ и Сервер БД должны быть объединены в локальную сеть. АРМ, на котором могут формироваться выходные документы, должно быть оснащено принтером требуемого качества или может использоваться общий сетевой принтер для всех АРМ. Система допускает динамическое назначение и изменение функциональной ориентации АРМ.

6.2. Ориентировочный состав и конфигурация технических средств

Характеристики, необходимые для Сервера Базы Данных (требования СУБД Oracle 9i): процессор не ниже Intel Pentium 2xXeon 3,2 ГГц, оперативная память 4 Гб, дисковый массив SATA-RAID 4*400 Гб Mirror или RAID10 5*400 Гб и соответствующие периферийные устройства.

АРМ Администратора или Аналитика включает в себя системный блок с сетевым оборудованием (процессор не ниже Intel Pentium IV не менее 2,4 ГГц или Core 2 Duo 2,0 ГГц / оперативная память 2Гб/ жесткий диск 250 Гб) и соответствующие периферийные устройства.

АРМ Сотрудника Группы обработки исходной информации включает в себя системный блок с сетевым оборудованием (процессор не ниже Intel Pentium IV не менее 2,0 ГГц / оперативная память 1Гб/ жесткий диск 250 Гб) и соответствующие периферийные устройства.

Ориентировочный состав технических средств (минимальный):

- сервер БД;

- АРМ Администратора;

- АРМ Сотрудника Группы обработки исходной информации;

- АРМ Аналитика;

- периферийные устройства (принтер, сканер и т.д.).

Состав и конфигурация технических средств зависит от количественного состава кадрового обеспечения..

7. Кадровое обеспечение «ЭАС»

7.1. Ориентировочный состав кадрового обеспечения

Эксплуатация Системы должна проводиться тремя категориями пользователей:

- Администратор Системы;

- Аналитик Системы;

- Сотрудник Группы обработки исходной информации.

Администратор Системы должен иметь достаточную квалификацию, для выполнения основных функций по сопровождению БД:

- резервное копирование и восстановление из резервной копии БД;

- мониторинг показателей эффективности функционирования БД;

- распределение полномочий пользователей.

Администратор также должен знать логическую и физическую модель данных и ролевые обязанности пользователей Системы.

Администратор выполняет общие функции технической поддержки, инициирует обновление программных компонент и общего информационно-лингвистического обеспечения Системы.

Обычно для выполнения всех этих работ требуется один человек, знающий структуру и функции Системы.

Аналитик и Сотрудник Группы обработки исходной информации должен быть специалистом в предметной области и иметь навыки работы в среде Microsoft Windows.

Сотрудник Группы обработки исходной информации осуществляет функции наполнения информационного пространства Системы.

Аналитик выполняет функции анализа информационного пространства Системы и подготовки выходной информации. Функции Аналитика могут быть расширены функциями Сотрудника группы обработки исходной информации.

Для выполнения всех этих функций обычно требуется несколько человек, разбирающихся в своей предметной области и обученных работе с прикладными режимами Системы. Количество Аналитиков и Сотрудников Группы обработки исходной информации зависит главным образом от интенсивности потока входной информации, количества и сложности решаемых Системой задач, а так же от необходимости обладания ими специальных знаний по предметной области.

В качестве аналитиков предусматривается также работа и конечных пользователей Системы, которые после минимального обучения, могут сами получать из неё выходную информацию, необходимую им для принятия решений.

Количественный и качественный состав кадрового обеспечения может быть определён по согласованию с Заказчиком в процессе построения Системы. В случае организации Центра эксплуатации Системы на базе Исполнителя, решение кадровых вопросов Исполнитель может взять на себя.

7.2. Обучение человеческой компоненты

Обучение работе с Системой требует:

- для администраторов - месяц (без учёта знаний по обслуживанию операционных систем компьютеров, локальной компьютерной сети и СУБД);

- для аналитиков - одна-две недели (при условии наличия общих знаний о предметной области и целях слежения за происходящими в ней процессами).

Общая функциональная схема человеческой компоненты "ЭАС":

8. Пример некоторых этапов и алгоритмов обработки информации по предлагаемой технологии

8.1. Анализ информации при вводе

Сотрудник группы обработки исходной информации находит в газете "Финансовая Россия" от 30.01.03 следующую статью:

"Новый Клондайк?"
Минприроды РФ приняло решение выделить ГМК "Рудные разработки" две лицензии на геологическое изучение проявлений золота и платиноидов в Карелии. В ближайшее время компании будут выданы лицензии на Шалозерскую и Лоухскую перспективные площади. Если компания установит наличие промышленных запасов в этих районах, ей впоследствии могут быть выданы и лицензии на разработку месторождений. По данным экспертов, прогнозные запасы Шалозерской площади по разным категориям оцениваются в 145 тонн золота. Прогнозные ресурсы Лоухской площади ранее не оценивались. Не подсчитаны и общие запасы платиноидов.

Сотрудник видит, что статья представляет интерес с точки зрения слежения за состоянием предметной области Системы. Он сканирует статью и получает файл с её изображением в газете и текстовый файл с её содержанием. После этого он приступает к анализу и вводу информации в систему.

Прежде всего, осуществляется всесторонняя классификация события, касающаяся его места в предметной области и его отношения к задачам слежения. Если исходная информация поступает в электронном виде, либо по формальным признакам поддаётся в какой-то степени предварительной формализации, то соответствующие виды ниже перечисленных её классификаций можно будет проводить не вручную, а автоматически.

Сначала в интерпретаторе "События/Состояния" определяется к каким элементам классификации предметной области относится событие. Исходя из своего понимания проблемы, сотрудник выбирает четыре ветви её классификации и окраски отношения события к каждой из них:
-1 ветвь интерпретатора: "Экономика"->"Взаимоотношения государства с банками и компаниями"->"Выдача лицензий". Вид информации: Факт. Степень соответствия этой классификации: Максимальное.
-2 ветвь интерпретатора: "Экономика"->"Ситуация в промышленности"-> "Ситуация в горнодобывающем комплексе"-> "Разведка золотоносных месторождений и россыпей". Вид информации: Факт. Степень соответствия этой классификации: Среднее.
-3 ветвь интерпретатора: "Экономика"->"Ситуация в промышленности"->"Ситуация в горнодобывающем комплексе"->"Разведка платиновых месторождений и россыпей". Вид информации: Факт. Степень соответствия этой классификации: Максимальное.
-4 ветвь интерпретатора: "Экономика"->"Деятельность банков и компаний". Вид информации: Факт. Степень соответствия этой классификации: Слабое.

Далее делается привязка информации к её источнику по интерпретатору "Объекты". Если газета, опубликовавшая информацию, ранее в интерпретаторе не присутствовала, то даётся возможность завести её в соответствующую ветвь классификации и после этого привязать к ней событие:
"Средства массовой информации"->"Центральные газеты"->"Финансовая Россия".

Далее по тому же интерпретатору информация привязывается к участникам событий:
- 1 ветвь: "Властные структуры"->"Федеральные власти"->"Федеральные органы исполнительной власти"->"Министерство природных ресурсов". Роль Определяющая. Активность Средняя. Регион участника Российская федерация.
- 2 ветвь: "Агенты Экономической жизни"->"Финансово-промышленные группы"->"Холдинг Амурский патриот"->"ГМК Рудные разработки". Роль Свои интересы. Активность Средняя. Регион участника "Российская федерация"->"Дальневосточный федеральный округ"->"Амурская область"->"г. Благовещенск"
.

Следующим шагом делается привязка информации к интерпретатору "Сфера протекания событий":
- 1 ветвь: "Сфера власти"->"Сфера деятельности властных структур"->''Сфера исполнительной власти".
- 2 ветвь: "Сфера экономических отношений"->"Сфера обеспечения экономической деятельности".

И, наконец, делается привязка информации к интерпретатору "Характер события":
- 1 ветвь: "Взаимоотношение экономики и власти"->"Влияние власти на экономику"->''Лицензионная деятельность".
- 2 ветвь: "Экономическая проблематика"->"Запасы полезных ископаемых".
- 3 ветвь: "Экономическая конкуренция"->"Борьба за контроль над ресурсами"->''Борьба за контроль над сырьевыми ресурсами".

8.2. Анализ интегрированной информации, веса и рейтинги

Каждая сделанная классификация события, при загрузке информации о нём в систему, придаёт ему элементарные весовые значения, согласно его привязкам к соответствующим классификаторам. На основе этих элементарных весов могут строится различные алгоритмы расчёта веса события в целом.

Указанные в примере классификации могут дополняться при загрузке ещё и другими экспертными оценками, которые позволяют уточнять рейтинговый вес события для различных целей слежения за предметной областью. Для этого используются интерпретаторы "Оценка внезапности события", "Оценка масштаба события", "Оценка влияния события", "Оценка важности события", "Оценка напряжённости события", "Правовая оценка события" и "Оценка действий участника события".

События происходят не обособленно, они являются элементами общих процессов во времени и пространстве. И отношение отдельных событий к общим процессам устанавливается на основе совокупности элементарных оценок при вводе информации в систему. Для разных видов отслеживаемых процессов строятся разные алгоритмы обработки комбинаций первичных оценок, сделанных при вводе. Таким образом на основе весов событий можно отслеживать динамику изменения весов отслеживаемых процессов, к примеру, для определения позитивных и негативных тенденций и приближения ситуации к критическим точкам. На этой же основе можно строить и прогноз развития ситуаций на некоторый период времени.

На основе весов событий можно строить и веса их участников, которые описываются в интерпретаторе "Объекты". Это рейтинговые веса или веса влияния. Рейтинги можно получать для политиков, бизнесменов, артистов, партий, организаций и т.д., и определяются они не опросом общественного мнения а из обработки информации об их реальной деятельности с учётом их роли в конкретных событиях и весов этих событий.

Алгоритмы расчёта рейтинговых весов могут быть различны и во многом определяются спецификой отслеживаемых событий и объектов предметной области, а так же спецификой решаемых задач. Все алгоритмы расчёта рейтинговых весов объектов основаны на том, что объект получает от каждого события, в котором он участвовал, вклад в его рейтинговый вес. А учёт периодов действия и влияния каждого события определяют период, когда этот вклад от этого события учитывается в рейтинге объекта. В каждый период времени объект имеет рейтинговый вес, равный сумме весов событий, действующих в этот период и/или влияющих на него. При этом возможны различные способы совместного учёта вклада в общий вес периодов действия и периода влияния событий.

Построенные рейтинги по выделенным группам объектов могут отображаться в виде графиков и таблиц за любой выбранный период и с любым выбранным квантованием времени. При просмотре графиков и таблиц предоставляется возможность просмотреть полную информацию о событиях, участниками которых был каждый представленный объект и которые учитывались в расчёте рейтингов за каждый промежуток времени.

Сами по себе цифры рейтинговых весов ещё не несут никакого смысла, но их динамика и соотношение их значений у разных объектов носит уже объективный характер. Так, например, для сравнения рейтингов партий и лиц по их участию в событиях, связанным с предвыборными кампаниями, очень хорошо показал себя в 90-х годах следующий алгоритм определения веса событий:
(Оценка действий участника + Оценка роли участника + Оценка активности)*(Вид информации о событии)*(Степень соответствия события предвыборной классификации)*(Оценка внезапности события)*(Оценка масштаба события)*(коэффициент времени).
Где коэффициент времени равен 1 в период действия события и линейно падает от 1 до 0 в период после окончания события до конца периода влияния события.

Использование данного алгоритма при мониторинге нескольких реальных предвыборных кампаний показало, что соотношение значений рейтингов участников выборов на момент проведения выборов достаточно точно отражало процентное соотношение полученных ими в итоге голосов избирателей. При этом получаемые таким методом предварительные прогнозы результатов выборов превосходили по своей точности большинство сделанных в тот же день прогнозов, получаемых на основе опросов общественного мнения.

Заключение

Особенность описанной выше методологии автоматизации аналитической работы со слабо формализуемой и недостаточно качественной событийной информацией заключается в том, что человек со своими знаниями и умениями участвует в ней на совершенно разных её этапах - от ввода до получения выходных аналитических данных. Развитие вычислительной техники и созданные для неё формальные алгоритмы пока ещё не могут полностью заменить человека в смысловой обработке информации. Представленная технология позволяет подключать человека на тех отдельных этапах обработки, где его возможности пока ещё значительно выше, чем машинные. Т.е. речь идёт именно о единой человеко-машинной системе.

 

 

Головная страница
Рейтинг@Mail.ru

Hosted by uCoz