Методические рекомендации по оценке эффективности и качества работы

Методические рекомендации по оценке эффективности и качества работы

общедоступной библиотеки муниципального образования ..............              3

Измерение эффективности  и качества работы библиотеки ........... ..             5

Список индикаторов эффективности работы библиотеки

Систематизация и анализ показателей, применяемых для оценки

 деятельности и условий развития  библиотеки .............................                     10

Примерный перечень  показателей/индикаторов  для  анализа

Приложение

Примерный перечень библиотечных услуг  ..............................................            18

Методические рекомендации

по оценке эффективности и качества работы

общедоступной библиотеки

муниципального образования[1]

Разработка показателей эффективности деятельности библиотеки обусловлена потребностями реальной практики управления, необходимостью оценки целесообразности расходования бюджетных средств.

Особую актуальность эта задача приобретает в связи с проводимой реформой бюджетного сектора. Концепцией реформирования бюджетного процесса[2] предусмотрено «формирование и включение в бюджетный процесс процедуры оценки бюджетных расходов, поэтапный переход от сметного планирования и финансирования расходов к бюджетному планированию, ориентированному на достижение конечных общественно значимых и измеримых результатов. При этом система оценок этих результатов должна включать «как непосредственные результаты (предоставление услуг определенного качества и объема), так и конечные результаты (эффект от предоставленных услуг для их получателей)».

При выборе критериев, отражающих социально-значимые результаты деятельности библиотеки, следует использовать показатели, характеризующие активность работы библиотеки с населением. При этом показатели должны быть достаточно информативны, а их число не должно быть большим.

Оценка уровня эффективности предполагает выбор базы сравнения. В условиях, когда социальные стандарты по сфере культуры еще не разработаны, в качестве такой базы могут выступать: а) лучшие или средние значения показателей для учреждений соответствующего типа; б) значения показателей деятельности этого же учреждения в предыдущий период.

С учетом перечня отчетных показателей библиотек и Общероссийского классификатора услуг населению[3], в качестве измеряемых показателей социальной эффективности  деятельности библиотек предлагается использовать:

• 1. количество пользователей библиотек (чел.) и изменение их численности по сравнению с прошлым годом (%);
• 2. количество книговыдач (экз.) и изменение их численности по сравнению с прошлым годом (%);
• 3. количество посещений (чел.) и изменение их численности по сравнению с прошлым годом (%);
• 4. охват населения услугами библиотек (% посетителей библиотек от общей численности жителей обслуживаемой территории);
• 5. число мероприятий, проведенных библиотекой за год (ед.) и их средняя посещаемость;
• 6. доля мероприятий, рассчитанных на обслуживание социально менее защищенных возрастных групп: детей и подростков, пенсионеров, людей с ограничениями жизнедеятельности и т.п. (% от общего числа проводимых мероприятий);
• 7. доля новых форм библиотечно-информационного обслуживания пользователей в общем количестве предоставляемых библиотекой профильных услуг.

В качестве основных показателей экономической эффективности деятельности библиотек предлагается использовать следующие:

• 1. доходы от уставной и предпринимательской деятельности из расчета на одного библиотечного специалиста (тыс. руб.);
• 2. доходы от уставной и предпринимательской деятельности из расчета на кв.м площади (тыс. руб.);
• 3. себестоимость одного посещения библиотеки (в руб.) и его изменение (рост, снижение) по сравнению с прошлым годом (%);
• 4. себестоимость одной книговыдачи библиотеки (в руб.) и ее изменение (рост, снижение) по сравнению с прошлым годом (%);
• 5. удельный вес расходов на комплектование библиотечных фондов от общих расходов (%);
• 6. удельный вес бюджетного финансирования в себестоимости посещений библиотеки за год (%);
• 7. удельный вес бюджетного финансирования в себестоимости книговыдачи библиотеки за год (%);
• 8. средняя зарплата работника библиотеки (руб./мес.) и ее уровень по сравнению со среднемесячной заработной платой в регионе (%).

В качестве основных показателей производственной эффективности деятельности библиотек предлагается использовать следующие:

• 1. количество посещений из расчета на кв. м площади;
• 2. количество книговыдач из расчета на одного библиотечного специалиста (экз.);
• 3. количество читателей из расчета на одного библиотечного специалиста (чел.).

Важной стороной оценки эффективности деятельности библиотеки является учет мнений потребителей библиотечно-информационных услуг. Для решения этой задачи можно использовать такой механизм, как регулярное проведение социологических исследований (мониторинга) по проблемам качества и уровня библиотечно-информационного обслуживания населения,  опросов и других  форм.  Это поможет обеспечить постоянную обратную связь между библиотекой, населением и органами местного управления и позволит повысить эффективность и  качество предоставляемых услуг,  их соответствие существующим потребностям.

Измерение эффективности  и качества работы библиотеки [4]

Библиотека и информационный центр рассматриваются как сервисные организации, задачей которых является предоставление качественных услуг пользователям. 

Понятие качества постепенно развивалось - от контроля и экспертизы продукции до более широкого взгляда, ориентированного на анализ предоставляемых сервисов и всю организационную структуру. Качество в этом смысле означает соответствие поставленной цели, назначению услуги или продукции, которое определяется потребителями в каждой конкретной организации. 

Качество определяется как «полный набор свойств и характеристик продукта или услуги, которые имеют отношение к способности удовлетворять зафиксированные или подразумеваемые потребности».

Сравнение результатов оценки эффективности работы с целями и задачами дает не только возможность оценить организационную структуру библиотеки с точки зрения повышения эффективности, но может привести к переопределению целей и задач. Результаты исследования эффективности работы покажут, не были ли цели завышены (недостижимы) или занижены (легко преодолимы).

Планирование качества должно сопровождаться его контролем. Инструмент измерения требуется для того, чтобы определить, как библиотека движется к поставленной при планировании цели.  Этому и способствует измерение эффективности работы.

Измерение эффективности работы означает сбор статистических и других данных, описывающих работу библиотеки, и анализ этих данных с целью оценки ее эффективности. Другими словами, сопоставление того, что библиотека делает (эффективность работы), с тем, что она должна делать (миссия) и чего хочет достичь (цели).

Эффективность работы - это уровень достижения библиотекой поставленных целей с учетом потребностей пользователей.

Индикатор эффективности работы  - количественный показатель, используемый для оценки и сравнения эффективности библиотеки в выполнении  ею  поставленных задач.

Примерный список индикаторов эффективности работы библиотеки[5]

Общее использование библиотеки и ее средств

1. Охват пользователей

2. Соответствие расписания работы библиотеки потребностям пользователей

Качество коллекции (фонда)

3. Использование коллекции

4. Использование коллекций по предметным областям

5. Неиспользуемые документы

Качество каталога

6. Поиск по названию

7. Поиск по предметной рубрике

Доступность документов в коллекции  (фонде)

8. Оперативность комплектования

9. Оперативность обработки книг

10. Доступность

11. Время доставки документа

12. Оперативность МБА

Справочная служба

13. Показатель получения корректного ответа

Удаленное использование

14. Обслуживание удаленных пользователей

Удовлетворенность пользователя

15. Удовлетворенность пользователя

16. Удовлетворенность пользователя сервисами, предоставляемыми удаленно

Индикатор «Охват пользователей»  определяет, насколько библиотечные сервисы востребованы теми, кто относится в основной группе пользователей. Это особенно важно в тех ситуациях, когда имеется более одной библиотеки, как, например, в двухуровневых библиотечных системах, предоставляющих возможность пользоваться услугами и центральной библиотеки и ее филиалов.

Уровень охвата пользователей по категориям (группам), а также дифференциация по типам предоставляемых сервисов предоставляет ценную информация для управления библиотекой и может оказать помощь при усовершенствовании конкретных сервисов.

При сравнении библиотек должны учитываться их структурные различия

Индикатор «Соответствие расписания работы библиотеки потребностям читателей» полезен для всех типов библиотек.  В реальных условиях всегда существует разрыв между часами работы, удобными для читателей, и возможностями библиотеки по реализации этих пожеланий, ограниченными финансовыми возможностями и имеющимся персоналом. И несмотря на то, что сетевые технологии позволяют библиотекам предоставлять некоторые сервисы 24 часа в сутки, существует настоятельная необходимость организации книговыдачи  на дом и в читальный зал в любое время в течение всей недели.

 Измерение этой потребности может помочь в принятии решения о том, должна ли библиотека увеличивать часы работы и когда именно это следует делать.

Индикатор «Использование коллекции (фонда)»   предназначен для оценки всех способов использования библиотечного  фонда: книговыдачи через абонемент, в читальном зале и других пунктах обслуживания.

В библиотеках с открытым доступом к фонду использование документов в читальном зале может сравняться с уровнем книговыдачи на абонементе, а  для  коллекций с преобладанием журналов, просмотр, чтение и копирование документов в библиотеке становится наиболее важной формой использования.

Индикатор «Использование коллекций (фонда) по предметным областям» определяет, насколько распределение ресурсов библиотеки и политика комплектования соответствуют потребностям пользователей. Библиотека получает сведения о том, правильно ли она расходует средства на приобретение изданий по определенным предметным областям.

Индикатор «Неиспользуемые документы» определяет, какая часть коллекции (фонда) не была востребована. Показатель ограничивается только коллекцией для книговыдачи на абонементе, поскольку не представляется возможным учитывать использование документа внутри библиотеки в течение продолжительного периода времени

Индикатор «Поиск по названию»  определяет успех библиотеки в создании каталога как инструмента эффективного поиска читателем документа по его названию.

Анализ навыков читателя в пользовании каталогом дает информацию о корректности элементов библиографического описания, по которым ведется поиск, о знакомстве с различными видами каталогов, о знании правил каталогизации. Соответственно, этот показатель является основанием для принятия решения о совершенствовании обучения пользователей.

Индикатор помогает также выявить следующие факты:

• каталог является полным,
• каталог имеет недостатки (например, отсутствующие перекрестные ссылки не дают читателю возможность легко найти интересующий его документ),
• интерфейс электронного каталога (команды, справочная информация, пр.) является дружественным по отношению к пользователю.

Библиотека с закрытым доступом к фонду в большей степени заинтересована в изучении данного индикатора, поскольку  каталог является промежуточным  звеном между пользователем и интересующими его документами. Сравнение между библиотеками требует тщательного учета различий в правилах каталогизации и типах каталогов.

Индикатор «Поиск по предметной рубрике»  предназначен для оценки качества каталога и его соответствия пожеланиям пользователя, оценка вычисляется через определение пропорции успешных поисков документа. Поиск в предметном каталоге считается успешным, если выполнены два следующих критерия:

• высокий уровень соответствия, т.е. все возможное множество названий в каталоге, относящиеся к данной предметной области, должно быть найдено,
• высокая точность, т.е. все множество найденных в каталоге документов должно четко соответствовать  искомой  предметной области.

Индикатор может применяться всеми библиотеками, ведущими предметный или систематический каталог, в первую очередь, он полезен для библиотек с закрытым доступом к фонду, где пользователи не могут самостоятельно поискать интересующий их документ на книжной полке, а вынуждены пользоваться каталогом. 

Индикатор может использоваться вне зависимости от типа каталога (карточный, микрофишный, электронный).

Индикатор «Оперативность комплектования» определяет расторопность библиотеки в реагировании на публикацию документа, как и оперативность доставки заказанного документа поставщиком.  Анализ оперативности комплектования помогает определить причину задержки в поступлении документов и найти пути усовершенствования этого процесса.

Учитывается не только эффективность книготорговой организации, но и эффективность библиотеки. Если библиотека слишком долго оформляет заказ, оперативность комплектования должна быть повышена.  Служба комплектования может считаться удовлетворительной только в том случае, если документ заказывается настолько заблаговременно, что должен быть доставлен книготоргующей организацией сразу после его публикации.

Оперативность заказа является частью скорости комплектования, на которую библиотека может эффективно влиять собственными силами.

При определении индикатора «Оперативность обработки книг» анализ скорости обработки книг позволяет установить, существуют ли задержки в процессе предоставления пользователю доступа к новым книгам и где именно они происходят.                  Возможность сравнения различных библиотек зависит от степени сходства процессов обработки документов, как, например, уровня автоматизации и использования корпоративной каталогизации.

Индикатор «Доступность»  связан с балансом запросов на информацию и предоставлением материалов библиотекой. Она определяется как пропорция материалов, которыми пользователь может воспользоваться внутри библиотеки (включая копирование) или которые может получить на дом сразу же, по отношению ко всем требующимся ему информационным ресурсам.

Документы, предоставляемые из закрытых фондов, также рассматриваются как доступные немедленно, даже если процедура книговыдачи занимает некоторое время.

Анализ доступности предназначен для определения, в какой степени библиотеки обеспечивают пользователей требующимися ему документами.

Индикатор помогает проанализировать, действительно ли:

• названия в фонде соответствуют  потребностям  пользователей,
• имеется  достаточное количество экземпляров наиболее спрашиваемых  названий,
• используется точная и правильная расстановка,
• все поступившие документы описаны в каталоге,
• каталоги просты для использования.

Доступность является очень важным показателем эффективности работы любой библиотеки, поскольку мнение пользователя о библиотеке во многом зависит именно от доступности требуемых ему документов.

Индикатор может быть применен раздельно для различных частей коллекции, например, по предметным областям.

Индикатор «Время доставки документа» дает ценную информацию для всех типов библиотек, вне зависимости от того, имеет ли библиотека фонд на открытом доступе, или же большая его  часть  -   в закрытом книгохранилище.  Сравнение возможно между библиотеками с одинаковой структурой, однако, следует принимать во внимание такие особенности, как средства транспортировки, дизайн и планировка библиотечных помещений, др.

Индикатор «Оперативность МБА» представляет интерес для всех библиотек, выполняющих сервис МБА.

Цель МБА, как части библиотечного обслуживания, получить документ, которым не располагает библиотека, из других организаций. Следовательно, желательно разработать процедуры мониторинга эффективности получения материалов из других источников.  Для того, чтобы библиотеки могли сравнивать качество работы по МБА, эту процедуру следует стандартизовать: определить  коэффициент успешного выполнения заказа в качестве основного критерия.

Индикатор «Показатель получения корректного ответа» включает оценку справочной службы на основе  использования  количественных  и качественных методов.

     Библиотеки и информационные центры рассматриваются как организации, основной задачей которых является предоставление качественных сервисов клиентам.

     Пока справочная служба является ключевым сервисом в большинстве библиотек и крайне дорогостоящей услугой, требующей высококвалифицированного персонала и доступа к обширному массиву дорогостоящих библиографических ресурсов (печатных/непечатных, локальных/распределенных).

  Качество библиотечной справочной службы проще оценить на основе фактографических запросов. Но если пользователя перенаправили к источникам, в которых он найдет ответ на интересующий его вопрос, то такой ответ также следует считать корректным.

   Хотя полнота и точность являются основными критериями для оценивания, время, затраченное библиотекарем на поиск ответа, также помогает оценить качество работы справочной службы. Должно приниматься во внимание, что предоставление пользователю полного ответа, как правило, требует больше времени, чем перенаправление его к справочным материалам. 

Оценивание времени ответа при опросе по телефону или почте имеет много неточностей. Если библиотекарь должен перезвонить пользователю для сообщения ответа, существует много причин для возникновения задержек. То же происходит и при посылке ответа по почте.

 Индикатор «Обслуживание удаленных пользователей» рассматривается в отношении пользователей,  обращающихся к сервисам библиотеки, предоставляемым по электронной сети (например, OPAC, база данных CD-ROM, электронные публикации, справочная информация, др.), из точек доступа, расположенных вне библиотеки и ее филиалов.   Здесь не учитываются телефонные звонки и запросы по факсу.

  Индикатор определяет долю библиотечных сервисов, удаленно доступных для пользователей.  Сравнению подлежат только хорошо автоматизированные библиотеки с развитыми сетевыми системами, которые обеспечивают получение адекватной статистической информации.

Низкие показатели могут свидетельствовать о следующем:

• слабый маркетинг библиотечных сервисов,
• низкое качество справочной информации на экранах,
• проблемы при доступе к системе,
• непривлекательный набор предлагаемых сервисов (например, только CD-ROM).

Относительно индикатора  «Удовлетворенность пользователя» рассмотрены два уровня пользовательской удовлетворенности:

• общая пользовательская удовлетворенность, которая оценивает обслуживание библиотеки в целом;
• пользовательская удовлетворенность отдельными сервисами или их компонентами, например, расписание работы библиотеки или объяснениями библиотекарей.

Поскольку определение и метод расчета уровня пользовательской удовлетворенности одинаковы, оба уровня  могут  рассматриваться одновременно.

Пользовательская удовлетворенность является субъективным показателем, который измеряет качество библиотечных сервисов в целом или по отдельности. Пользовательская удовлетворенность определяется как средний рейтинг, данный пользователями по пяти-бальной шкале, охватывающий уровни от полной неудовлетворенности до полной удовлетворенности. Оценка выражает восприятие пользователем библиотечных сервисов как в целом, так по отдельным направлениям.

Библиотекари выиграют при контроле уровня пользовательской удовлетворенности, поскольку он является основным показателем эффективности труда, ориентированного на обслуживание пользователей.

Индикатор «Пользовательская удовлетворенность сервисами, предоставляемыми удаленно»  рассматривается отдельно от пользовательской удовлетворенности отдельными сервисами вследствие своей все более возрастающей важности.

Все библиотеки, предоставляющие удаленный доступ, могут использовать этот индикатор, поскольку он отчетливо показывает, насколько эффективно были сделаны вложения в развитие того или иного сервиса. Возможность сравнения библиотек зависит от схожести сетевой системы библиотеки и набора предлагаемых сервисов.

Систематизация и анализ показателей,  применяемых для оценки деятельности и условий развития  библиотеки

Корректировка  привычных функций библиотеки, в том числе  на основе инновационных технологий,  появление новых видов  работ и услуг,   вовлечение  в  их производство дополнительных ресурсов: современного оборудования, телекоммуникационных и электронных средств,  квалифицированного  персонала и т.д.,   вызывает необходимость более адекватно оценивать качество и эффективность деятельности библиотеки,  используя для этих целей современные  механизмы управления.

Одним из таких механизмов  является  маркетинговый  аудит (внешний и внутриорганизационный).  Внутренний аудит проводится с целью выявления возможностей и  оценки  ресурсной обеспеченности библиотеки,  существующих внутри библиотеки ограничений и препятствий,  потенциальных угроз для развития,  а также  с целью последующих мероприятий по совершенствованию  деятельности,  включая корректировку процедур: нормативов  (стандартов),  документации, программ обучения и др.

В процессе аудита собирается и структурируется доступная информация о ситуациях внутри библиотеки из таких доступных  источников,  как  статистический  учет, опросы,  анкетирование и др.  Аудит, как правило, затрагивает комплекс взаимосвязанных направлений и групп факторов (технологических, экономических  управленческих и др.). В качестве инструментария  используется система показателей,  которые в совокупности обеспечивают более полное представление о месте и роли библиотеки, соответствии ее  деятельности общественным потребностям,   социокультурной   эффективности.

       Результаты оценки  деятельности и развития зависят от выбора показателей, т.е. от принятых библиотекой приоритетов.

Приведенный ниже примерный перечень показателей/индикаторов
 может  быть использован в процессе комплексного анализа возможностей библиотеки и оценки уровня ее  готовности  удовлетворять потребности пользователей и  предоставлять им  качественные услуги.

Примерный перечень  показателей/индикаторов  для  анализа и  оценки  работы  библиотеки [6]

1. Ресурсы, доступ,  инфраструктура

1.1. Фонды

1.2.  Доступ

1.3.  Оснащение

1.4.  Персонал

2.  Использование

2.1. Фонды

2.2. Доступ

2.3. Оснащение

2.4. Общие вопросы

3. Эффективность

3.1. Фонды

3.2. Доступ

3.3. Персонал

3.4. Общие вопросы

4.  Потенциал  развития

4.1. Фонды

4.2. Персонал

4.3. Общие вопросы

Приложение