[содрано отсюда]: https://www.ibm.com/developerworks/ru/library/l-otcenka_efectivnosti_2/index.html

# Оценка эффективности информационных систем

Особую роль для организации играет эффективное использование существующих у нее информационных ресурсов. В этом случае ключевое значение получает информационная инфраструктура организации, в которой обычно выделяют техническое, программное и организационное обеспечение.

*Техническое обеспечение* включает в себя используемые в организации вычислительные машины, вычислительные сети и периферийное оборудование. Процесс выбора того или иного технического обеспечения в зависимости от потребности организации достаточно формализован и может быть решен силами самой организации при консультациях с поставщиками техники, а также через заказ у соответствующей проектной организации.

В то же время, вопросы выбора *программного обеспечения* до сих пор не имеют подобной проработки. В основном это связано с тем, что такие исследования проводились либо компаниями, выпускающими программные продукты, в том числе с целью рекламы своей продукции, либо сторонниками свободного ПО, которые также заинтересованы в продвижении конкретных продуктов. Соответственно, независимого всестороннего исследования проведено не было. Так как эффективное использование ПО является определяющим фактором использования ИТ-инфраструктуры, то задача выбора и оценки эффективности программного обеспечения в зависимости от особенностей конкретной организации является актуальной. Более того, без решения этой задачи невозможно создать эффективное организационное обеспечение ИТ-инфраструктуры, так как практически не существует специалистов, одновременно владеющих профессиональными навыками управления проприетарным и свободным ПО различных производителей. Даже если такой специалист есть, содержать его нерентабельно вследствие достаточно высокой заработной платы.

Одной из причин отсутствия универсальной методики выбора ПО является большое разнообразие в формах, структурах, задачах существующих организаций, каждая из них по-своему уникальна, что усложняет формализацию данной задачи. При этом есть определенный сегмент, на который уникальность организации практически не оказывает никакого влияния, – это общесистемное и офисное программное обеспечение. Для данного сегмента можно определить ограниченное количество типов организаций, что позволяет упростить методику выбора ПО. Для определения типа организации в первую очередь необходимо выявить ее основные характеристики (критерии). Проведенное исследование показало, что к таким критериям относятся:

1. Количество рабочих мест (рабочих станций).
2. Наличие вычислительной сети.
3. Количество и тип используемых серверов.
4. Наличие выхода в Интернет (предполагается, что выходы в Интернет есть у всех, а особенность данной характеристики определяется способом управления доступом).
5. Наличие и тип территориальной распределенности: в пределах одного помещения, здания, нескольких зданий, одного города, нескольких районов (необходимость удаленного доступа).
6. Наличие функциональной иерархической организационной структуры, что накладывает определенные особенности на управление ИТ-инфраструктурой, а также на распределение потоков данных в пределах вычислительной сети (Потоки данных целесообразно выделить в отдельный пункт «7».)

Анализ различных организаций по данным критериям (в таблице они также обозначены цифрами 1–7) позволяет условно выделить следующие типы организаций:

Тип организации (условное название) | 1 | 2 | 3 | 4
---|---|---|---|---
1 ЭВМ | 1 | Нет |Нет | Простое подключение
Микро предприятие | 2–4 | Одноранговая сеть | Нет | Коммутатор, аппаратный маршрутизатор
Малое предприятие | 5–20 | Одноранговая сеть | Файл и print-сервер | Аппаратный маршрутизатор, прокси-сервер
Небольшое среднее предприятие | 21–50 | Клиент-серверная сеть | Файл и print-сервер | Прокси-сервер
Среднее предприятие | 50–100 | Клиент-серверная сеть | Несколько файловых и Print-серверов, почтовый сервер |Прокси-сервер
Крупное предприятие | >100 | Клиент-серверная сеть | Несколько файловых и Print-серверов, почтовый сервер |Прокси-сервер

Каждый тип сети организации имеет свои особенности в построении ИТ-инфраструктуры, но с точки зрения конфигурирования общесистемного и офисного ПО, все организации похожи. Исключение составляют только крупные организации, каждая из которых уникальна. Однако именно для них эффективный выбор офисных систем и общесистемного ПО не представляет особых сложностей, так как предприятию достаточно объявить тендер с грамотно сформулированными условиями приобретения и поддержки ПО. Так как сумма контракта достаточно крупная, то большое количество компаний, занимающихся ПО, будет предлагать свои решения, и предприятию остается только выбрать среди них оптимальное для себя.

Больше проблем возникает у малых и средних предприятий, которые в большинстве своем вынуждены самостоятельно решать проблемы выбора общесистемного и офисного ПО, ориентируясь на рекламные проспекты вендоров. Но так как их структура является типовой, то существует возможность определить типовой функционал их ПО.

Как ранее было указано, вопросы выбора ПО неразрывно связаны с построением организационного обеспечения ИТ-инфраструктуры, для чего была сформирована опись типов пользователей. В компьютерной среде любой организации пользователи обычно делятся на несколько категорий; условно можно выделить следующие типы.

- Специалист базовых знаний – основную работу выполняет при помощи офисных программ, сюда можно отнести Web-браузер, почтовый клиент и стандартный набор офисных приложений: текстовый процессор, электронные таблицы, презентации, программа для рисования и в некоторых случаях СУБД.
- Опытный специалист – продвинутые пользователи, обладающие глубокими знаниями офисных приложений; этому типу пользователей свойственно также работать с программными средствами, повышающими эффективность работы. К этому типу пользователей можно отнести управленческие кадры предприятия.
- Технический работник – в эту группу можно отнести системных и сетевых администраторов. Обычно используют то же ПО, что и специалисты базовых знаний, но к этому списку добавляются специализированные средства разработки, мониторинга, а также средства проектирования.

В небольших организациях подобное деление может не иметь особой важности, однако для крупных организациях, где присутствует узкая специализация деятельности сотрудников, важно определить число и тип пользователей, это в свою очередь позволит определить количество и тип используемого ПО.

На основе характеристик организации и типов пользователей можно предположить, какое ПО в полной мере удовлетворяет функциональным потребностям предприятий различных типов.

## Организация с одной ЭВМ

Для организации с одной ЭВМ отсутствует функциональная иерархичность, а пользователя, как правило, можно отнести к категории «Специалист базовых знаний», а также «Продвинутый пользователь», который может выполнять роль технического специалиста в простейших случаях. В организациях подобного рода перечень общесистемного ПО сводится к выбору операционной системы, а прикладного – к выбору офисного пакета.

По большому счету, встроенных средств ОС вполне хватит для решения простых повседневных задач: просмотра электронной почты, Web-серфинга, создания простых документов, однако если возникнет необходимость создания документа со сложным форматированием или создать электронную таблицу, то средствами встроенных в ОС программ не обойтись, что приводит к необходимости использования офисного пакета.

Процесс выбора ПО в большинстве случаев обуславливается личными предпочтениями, стоит также отметить, что большинство производителей компьютеров поставляют свою продукцию с предустановленной ОС как на основе проприетарных решений, так и на основе СПО.

## Микропредприятие

Данный тип организации, как и предприятие с одной ЭВМ, не имеет функциональной иерархической структуры, пользователей также можно отнести к типу «Специалист базовых знаний» и «Продвинутый пользователь»; как и в предыдущем случае, этот тип пользователя может выполнять роль технического персонала в решении простейших проблем. Перечень необходимого ПО сводится к наличию настольной ОС и офисного пакета.

Отличительной особенностью микропредприятия является наличие одноранговой ЛВС и общего доступа к Интернет, однако эти особенности никак не влияют на выбор общесистемного и прикладного ПО. Как правило, организация ЛВС в пределах одного помещения не требует никаких программных средств, достаточно приобрести коммутатор и проложить сетевые провода, а для общего доступа в Интернет используется аппаратный маршрутизатор или встроенные средства самой ОС.

Стоит отметить, что для обеспечения максимальной совместимости целесообразно, чтобы общесистемное ПО принадлежало к одному семейству ОС.

## Малое предприятие

Основную часть работников малых предприятий можно отнести к типу «Специалист базовых знаний». Однако отличительными особенностями организаций данного типа, в сравнении с рассмотренными выше, является наличие функциональной иерархичности, хотя и слабовыраженной, что приводит к необходимости управления доступом к локальным ресурсам ЛВС предприятия. Это предполагает наличие собственных или приглашенных (аутсорсинг) технических специалистов.

На предприятиях данного класса обычно используется специализированное программное обеспечение, например пакеты бухгалтерского учета, что с одной стороны подразумевает создание файловых серверов с соответствующим ПО, а с другой – накладывает определенные ограничения на возможность выбора операционных систем. Подобные ограничения существуют и для предприятий большего масштаба. Все это необходимо учитывать при разработке ИТ-инфраструктуры.

Структура ЛВС и организация общего доступа к Интернет полностью идентичны микропредприятию.

В перечень используемого ПО входят: серверная ОС, настольная ОС, офисный пакет, специализированные средства разработки и мониторинга.

## Небольшое среднее предприятие

Для ИТ-инфраструктуры данного вида организации целесообразно использовать клиент-серверную архитектуру ЛВС. Это связано с тем, что администрирование одноранговой сети с большим (более 20) числом клиентов требует серьезных временных затрат, что делает данную инфраструктуру неэффективной.

Клиент-серверная архитектура позволит ввести централизованное управление правами пользователей через создание домена. Поскольку в организации данного типа присутствует функциональная иерархичность, создание в домене различных групп пользователей с различными правами, исходя из их функциональных обязанностей, позволит оперативно управлять доступом к информации. Но создание групповых политик на контроллере домена – это лишь часть решения, основная проблема состоит в распределении прав доступа к локальным ресурсам компьютера пользователя. Все сказанное выше предполагает использование специализированного серверного ПО, а также наличие соответствующих технических специалистов.

Исходя из масштаба предприятия и наличия функциональной иерархичности может возникнуть ситуация групповой работы нескольких человек над одним проектом, что в свою очередь приводит к необходимости создания электронного архива.

Организация доступа к сети Интернет тоже имеет свои особенности в сравнении с предприятиями меньшего масштаба. Появляется необходимость централизованно управлять авторизацией для ограничения доступа определенных пользователей к некоторым ресурсам, а кэширование запросов позволяет снизить затраты на трафик. Такие задачи не могут быть решены простыми маршрутизаторами, а аппаратные решения, соответствующие потребностям организации, стоят достаточно дорого. Использование программного прокси-сервера решает эту проблему. В случае с прокси-сервером, так же как и с контроллером домена, предполагается использование специализированного ПО и квалифицированного технического персонала.

В итоге в перечень необходимого ПО можно внести:

- серверную ОС;
- специализированное серверное ПО:
    - прокси-сервер (он может входить в состав ОС или поставляться сторонним производителем);
    - ПО для создания электронного архива;
    - контроллер домена (аналогично прокси-серверу);
- специализированные средства мониторинга;
- настольную ОС;
- офисный пакет.

## Среднее предприятие

Несмотря на схожесть основных показателей данного типа предприятий с небольшими средними, ИТ-инфраструктура первых имеет ряд существенных отличий.

**Во-первых**, при построении ИТ-инфраструктуры необходимо учитывать территориальную распределенность, что приводит к необходимости объединения зданий в сеть, при этом появляется острая необходимость в защите передаваемой информации. Для этого необходимо использовать специализированное ПО.

**Во-вторых**, присутствие нескольких потоков данных подразумевает наличие нескольких подсетей с собственными серверами и службами, что ведет к использованию шлюзов и сложной маршрутизации, усложняющей конфигурирование сети. В ряде случаев это также подразумевает выделение нескольких доменов внутри организации.

**В-третьих**, если в предыдущем типе предприятия для организации групповой работы можно было обойтись лишь электронным архивом, то большее количество пользователей требует усложнения системы контроля за их работой, что позволяет говорить уже о необходимости внедрения системы электронного документооборота. Как правило, для СЭД требуется внутренний почтовый сервер, и в данном случае его использование оправдано. Чтобы ограничить количество спама и обезопасить себя от вредоносного кода во входящей почте, необходимо использовать специальное ПО для защиты почтового сервера.

Соответственно в перечень ПО для среднего предприятия добавляются система криптозащиты (по решению предприятия уровень секретности устанавливает само предприятие), спам-фильтр и антивирусное ПО для почтового сервера, а также СЭД.

## Выводы

Прежде чем рассчитывать эффективность использования программного обеспечения, необходимо учесть потребности в ПО конкретной организации.

Особенность общесистемного и офисного ПО заключается в том, что существует небольшое количество видов организаций, которые определяют ПО и их выбор;

Определены основные виды организаций и их характеристики, для каждого вида определен перечень необходимого ПО.

На основе полученных сведений становится возможным составить техническое задание, исходя из которого будут разработаны варианты ИТ-инфраструктуры конкретного предприятия и произведена оценка их эффективности. При этом существует несколько подходов к оценке эффективности, которые будут рассмотрены в следующей части.

# Понятие эффективности, современные методы оценки

Одной из проблем определения эффективности общесистемного и офисного программного обеспечения (ПО) является выбор методики оценки. В классической литературе, посвященной вопросу оценки эффективности, она рассчитывается по формуле: *__Эффективность = Эффект / Затраты__*,

**Затраты** – совокупные затраты на приобретение, установку и конфигурирование, сопровождение и поддержку, а также затраты связанные с простоем оборудования во время техническое обслуживание или устранения неисправностей.

**Эффект** – эффект, достигаемый при внедрении ПО. Однако из-за специфики использования общесистемного и офисного ПО определить прямой эффект от их внедрения (во временных или финансовых показателях) затруднительно. Вследствие этого возникает задача выбора метода оценки, все множество которых можно разделить на:

- *Затратные методы*. Оценка производится не на основе измерения конечного продукта или результата, а на основе затраченных ресурсов или сил.
- *Методы оценки прямого результата*. Методика оценивает прямой измеримый результат, например, снижение стоимости владения, повышение функциональности системы, снижение трудозатрат или появление побочного продукта основного трудопроизводства.
- *Методы, основанные на оценке идеальности процесса*. Такие методики базируются на статических или динамических сравнительных алгоритмах. Базовым показателем выбирается объект рассматриваемой системы, тогда идеальной считается информационная система с лучшими для отрасли показателями затрат на единицу выхода. Популярны также подходы на базе сравнения с альтернативным решением.
- *Квалиметрические подходы*. Такие методики комплексно рассматривают информационную систему, организуют ее измерение и обрабатывают полученные результаты статистическими, социологическими и/или экспертными методами.

## Затратные методы оценки

*Котловой метод*. Метод основан на определении соотношения объемов вложений в программное обеспечение, включая внедрение и сопровождение, с размерами предприятия и направлениями его бизнеса. Часто данное соотношение задается в виде максимально-допустимого объема вложений по отношению к годовому обороту компании, например не более 1% для небольших компаний и не более 3% для крупных.

*Метод функциональной точки*. Данный метод используется для приблизительной оценки стоимости создания и внедрения информационной системы (ИС) в зависимости от требований пользователя. Каждое такое требование оценивается как по шкале трудности (легкие, средние и трудные), так и по шкале важности для пользователя. Требования представляются в виде вектора (функциональной точки) в многомерном пространстве. Далее в соответствии с гипотезой «компактности» предполагается, что чем ближе функциональные точки проектов друг к другу в пространстве требований, тем их параметры, включая и эффективность, более схожи. Соответственно в базе ранее внедренных проектов находится такой, чья функциональная точка ближе всего находится к проектируемой ИС, и предполагается, что их эффективности максимально близки.

*Total cost of ownership* (ТСО – совокупная стоимость владения). Данный метод предполагает количественную оценку на внедрение и сопровождение программного обеспечения, рассчитываемую по формуле: ![](../img/12001.png),

где З<sub>t</sub><sup>инт</sup> – оценка интегрированных затрат по проекту в момент t; Е – норма дисконтирования, отражающая временной характер финансовых ресурсов; З<sub>t</sub><sup>факт</sup> – дисконтированная сумма фактически произведенных интегральных затрат на момент t; Т – период жизненного цикла системы; З<sub>t</sub><sup>ОЦ</sup> - оценка интегральных затрат на проект в периоде t.

Модель ТСО позволяет разобраться в структуре расходов, связанных с ИС, и открывает широкие перспективы для их сокращения, также способствует выявлению текущих проблем, обеспечивает постоянную обратную связь в управлении затратами.

## Методы оценки прямого результата

*Потребительский индекс* (Customer index). Этот метод предполагает оценку результатов внедрения ПО в виде совокупности индексов, отражающих положительные изменения в работе компании (увеличение доходов, снижение затрат, увеличение оборотов, увеличение клиентской базы и т.п.).

*Applied information economics* (AIE – прикладная информационная экономика) – методика аналогична потребительскому индексу, но в отличии от нее также предполагает оценку различных субъективных показателей, например, простота работы с системой, удовлетворенность клиентов и т.п.

*Economic value sourced* (EVS – источник экономической стоимости). Представляет собой оценку того, какую пользу ПО приносит компании при его использовании, оценивается по четырем показателям: увеличение доходов, повышение производительности труда, сокращение времени выпуска продуктов, снижение рисков.

*Economic value added* (EVA – экономическая добавленная стоимость). Данная методика предполагает определение эффекта как фактическую прибыль от использования ПО, которая равна чистой операционной прибыли за минусом стоимости капитала. Применительно к ИТ проектам EVA означает, что:

- при использовании капитала в ИТ проектах, необходимо учитывать его стоимость, за него необходимо платить также, как и за труд работников;

- предполагается, что ИТ-специалисты продают свои услуги другим подразделениям по рыночным расценкам.

Это позволяет рассматривать ИТ как центр прибыли, а не затрат, при этом четко отображая, как увеличиваются доходы.

## Методики, основанные на идеальности процесса

Данные методы основаны на сравнении результатов внедрения ПО с уже существующими хорошими (идеальными) примерами. И предполагается, чем ближе мы приближаемся к этим примерам, тем выше эффективность внедряемого ПО. К таким методам относятся:

*Среднеотраслевые результаты*. В этом случае оценка результативности внедрения ПО проводится по сравнению со средними отраслевыми результатами. Эти результаты обычно приводятся в открытых публикациях и маркетинговых материалах.

*Gartner Measurement* (Гартнер-измерение). Согласно этому методу эффективность определяет, насколько данная информационная система соответствует нуждам пользователя. При этом ориентирование идет не только на внутренние возможности системы, но и на субъективное мнение клиентов и объективные данные различных вариантов внедрения. Для этого качественно оцениваются такие критерии как время, затраченное на настройку системы, реализованные функциональные возможности, среднее число пользователей на один сервер, среднее и пиковое число транзакций в единицу времени, стоимость одной транзакции, среднее и пиковое время отклика системы, используемые методы обучения, стоимость инфраструктуры информационной системы на одного пользователя. На основе такого исследования оценивается конкретный вариант внедрения, при этом он сравнивается с другими (ранее внедренными) и на основе анализа даются рекомендации по улучшению работы информационной системы, подбору оптимальной конфигурации ПО, по наиболее эффективным для данного клиента методикам обучения, по интеграции информационных систем с другими системами заказчика.

*Return of investment* (ROI – возвратность инвестиций). Суть методики заключается в выборе для компании типового проекта, оптимального по показателю сроков возврата инвестиций в ПО.

## Квалиметрические методы

*Total economic impact* (TEI – модель совокупного экономического эффекта). В качестве затратной компоненты данного метода используется модель ТСО, а эффект рассчитывается на основе следующих факторов:

- Преимущества. Сравнение вариантов организации труда существующей и в прогнозируемой информационной системе (как было – как будет). Оценка различий и сопоставление результатов с целями проекта позволяет определить преимущества или недостатки новой информационной системы.
- Гибкость. Гибкость информационной системы оценивается с точки зрения ее расширяемости, а также ее адаптируемости к новым условиям. Одним из гарантов гибкости является использование стандартизированных и унифицированных решений, а также продуманная архитектура информационной системы.
- Риск. Подразумевается вероятность финансовых потерь при инвестировании в ИТ.

*Balanced scorecard* (BSC – сбалансированная система показателей). Это система стратегического управления организацией на основе измерения и оценки ее эффективности через использование комплексной функции, включающей набор показателей, учитывающих все аспекты деятельности компании (финансовые, маркетинговые и т.д.). К таким показателям обычно относят:

- критические факторы успеха (Critical Factors of Success, CFS) – стратегические показатели: финансы, клиенты, внутренние бизнес-процессы, обучение и рост;
- ключевые показатели эффективности (Key performance indicators, KPI), включая достигнутые результаты деятельности компании.
Состав и количество сбалансированных показателей определяются исходя из специфики каждой компании.

## Выбор метода оценки общесистемного и офисного ПО

При выборе метода оценки эффективности общесистемного и офисного ПО необходимо учитывать следующие факторы:

- оценка как эффекта, так и затратной компоненты эффективности; возможность определения эффекта применительно к общесистемному и офисному ПО; (возможность оценки финансовых и временных показателей, таких как производительность труда, снижение себестоимости продукции и т.п.)
- возможность определения показателей без проведения глубокого обследования бизнес-процессов организации (данное обследование является очень затратным и трудоемким. И как правило необходимо лишь для специализированного программного обеспечения);
- универсальность методики - определяется универсальностью параметров и силе их влияния (при изменении) на алгоритм расчета.

Результаты возможности применения различных методов приведены в таблице.

Метод | Оценка эффекта и затрат | Определение эффекта для общесистемного и офисного ПО | Необходимость глубокого обследования организации
------|-------------------------|------------------------------------------------------|-----------------
Котловой метод             | затраты | не считается | не требуется
Метод функциональной точки | эффект, затраты | применим | не требуется
ТСО                        | затраты | не считается | не требуется
Потребительский индекс     | эффект | не применим | требуется
AIE                        | эффект | применим | не требуется
EVS | эффект | не применим | требуется
EVA | эффект, затраты | применим | требуется
Среднеотраслевые результаты | эффект | не применим | не требуется
Gartner Measurement | эффект, затраты | применим | не требуется
Return of investment | эффект, затраты | не применим | не требуется
TEI | эффект, затраты (ТСО) | применим | не требуется
BSC | эффект, затраты | применим | требуется

## Выводы

Только два метода оценки соответствуют всем перечисленным факторам: это Gartner Measurement и TEI.

Особенность использования метода Gartner Measurement для оценки эффективности, является необходимость в большой и подробной базе данных (БД) ранее проведенных инсталляций. Что делает его использование весьма затруднительным.

Что касается метода TEI, то его использование для оценки эффективности не нуждается в наличие большой БД, а использование модели ТСО в качестве затратной компоненты данного метода позволяет полностью разобраться в структуре расходов связанных с ПО. Эффект рассчитывается на основе дополнительных факторов, которые позволяют определить преимущества или недостатки новой информационной системы, оценить гибкость новой ИС, а так же учесть возможные финансовые риски при внедрении новой ИС. Все это позволяет получить достаточно точную оценку и делает метод TEI оптимальным для расчеты эффективности общесистемного и офисного ПО.

Пример расчета эффективности использования ИС методом TEI рассмотрен в [статье](https://www.ibm.com/developerworks/ru/library/l-otcenka_efectivnosti_3/index.html).