Форум Сообщества Аналитиков

Обсуждения => Идеи и мозговой штурм => Тема начата: Виталий Григораш от 12 Ноября 2009, 14:32:41

Название: Методы оценки эффективности Аналитика
Отправлено: Виталий Григораш от 12 Ноября 2009, 14:32:41
... количественным методам оценки эффективности:
- работы аналитика, как конкретного сотрудника;
[/quote]
Кто-нибудь на практике  этим занимается?
Название: Re: Какие семинары вы хотели бы посетить в следующем году?
Отправлено: InfinitI от 12 Ноября 2009, 16:45:33
Я бы посетила семинар, посвященный количественным методам оценки эффективности:

- работы аналитика, как конкретного сотрудника;
- процессов, связанных с требованиями (разработка, управление, и подпроцессы, входящие в разработку).

Бытует мнение, что оценить эффективность работы аналитика практически не представляется возможным, потому что сложно подобрать количественные измеряемые показатели. Измерить эффективность тестировщиков, например, намного проще. Что касается, требований и процессов, с ними связанных, то здесь все не так сложно - нужно только определить критерии / показатели, по которым хотим оценивать. Например, это может быть время, затрачиваемое на выполнение каких-то действий, или количество ошибок в требованиях или что-то еще в этом роде.

А вообще, мне, например, эта тема давно интересна, но в связи с тем, что она не востребована, и тем, что все как-то не доходят руки, пока тоже вопросов больше, чем ответов.
Название: Re: Какие семинары вы хотели бы посетить в следующем году?
Отправлено: Irr от 12 Ноября 2009, 17:06:34
Измерить эффективность тестировщиков, например, намного проще.
А вот в этом я сомневаюсь. Можно услышать аргументы? (т.к. это оффтоп, то можно в личку :) )
Название: Re: Какие семинары вы хотели бы посетить в следующем году?
Отправлено: Сергей Атрощенков от 12 Ноября 2009, 17:44:29
Измерить эффективность тестировщиков, например, намного проще.
Интересно было бы узнать варианты,но на мой взгляд, метрики для оценки эффективности тестировщиков, не проще. Не думаю что аналитика, как специалиста, удовлетворят метрики вида: "сколько требований было реализовано с первого раза, без дополнительных уточнений", "сколько времени было затрачено на выявление требований".
Хотя, смотря кто оценивает эффективность. Бизнес или команда.

Пардон, меня опередили :)
Название: Re: Какие семинары вы хотели бы посетить в следующем году?
Отправлено: Бабихин Максим от 12 Ноября 2009, 18:06:07
А давайте отдельную ветку создадим с соответствующей темой ?
Название: Re: Какие семинары вы хотели бы посетить в следующем году?
Отправлено: InfinitI от 12 Ноября 2009, 18:06:38
Не думаю что аналитика, как специалиста, удовлетворят метрики вида: "сколько требований было реализовано с первого раза, без дополнительных уточнений", "сколько времени было затрачено на выявление требований".

Почему не удовлетворят? По результатам дополнительных уточнений порой постановка задачи целиком переписывается и хорошо, если это происходит до того, как требования отданы в реализацию. К тому же, по таким данным можно делать выводы и пытаться понять, что именно послужило причиной того, что требование, например, не было реализовано с первого раза, и что можно предпринять для того, чтобы в следующий раз не случилось того же самого.

P.S. Что касается оценки эффективности тестировщиков по сравнению с аналитиками, аргументы приведу позже. Может, имеет смысл это обсуждение перенести в отдельную тему, коль уж есть подозрения на оффтоп?  
Название: Re: Методы оценки эффективности Аналитика
Отправлено: bas от 13 Ноября 2009, 11:30:34
Перенес
Название: Re: Методы оценки эффективности Аналитика
Отправлено: InfinitI от 13 Ноября 2009, 17:41:04
А вот в этом я сомневаюсь. Можно услышать аргументы?

Тема, посвященная оценке эффективности процессов тестирования и управления требованиями в последний раз поднималась у нас где-то около года назад. Вчера при более глубоком погружении я поняла, что произошла небольшая путаница: изначально речь шла о том, что проще оценить эффективность автоматизации процесса тестирования (а не эффективность работы тестировщиков), чем эффективность автоматизации того же процесса управления требованиями.

Так что прошу прощения за то, что ввела вас (да и себя) в заблуждение. ::) Получается, что тема по-прежнему остается открытой...
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kayten от 14 Ноября 2009, 00:47:18
Вопрос действительно очень интересный. Кстати, Александр Байкин должен был докладывать по Оценке качества требований на конференции Req Labs 2009, но эту тему заменили. Жаль... Это был один из двух докладов, из-за которых я вообще иду на эту конференцию...
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Denis Beskov от 14 Ноября 2009, 23:34:12
Вигерс в своём профиле профессии аналитика требований:
http://www.processimpact.com/process_assets/RA_job_description.doc
приводит следующие (перевод Д.Олеванова, см. связанную тему: http://www.uml2.ru/forum/index.php?topic=202.0)
Показатели качества работы
1.   Оценка требований продукт-менеджером и менеджером проекта относительно общего качества и эффективности продукта на рынке после разработки продукта.
2.   Отзывы ключевых клиентов о реализации процесса управления требованиями
3.   Показатели удовлетворенности клиентов
4.   Соблюдение или превышение планов разработки требований, ограничений по ресурсам и качественных целей
5.   Контроль расползания требований, связанный с пропущенными требованиями и просачиванием "неформальных" требований в проект

Дальше можно уже думать, какие шкалы ввести, для начала вам может хватить и 3-х значений для каждого показателя.

NB: Субъективные оценки важны и нужны, потому что качество — это соответствие ожиданиям ключевых ЗЛ, а ожидания всегда субъективны.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: oduduka от 15 Ноября 2009, 00:10:25
Самой простой шкалой для показателей в этом случае будет
0 - не соответствует ожиданиям
1 - соответствует ожиданиям
2 - превосходит ожидания
Расширенная шкала будет включать оттенки градаций.
Но субъективность - подлая штука, никогда не знаешь, что за ней стоит - межличностные проблемы, крепкая дружба, политические и карьерные интересы, глубина понимания ситуации или честный профессионализм. Поэтому оценке в довесок нужно обоснование. Это не панацея, но если возникнут полярные оценки, то будет хотя бы понятно, что за ними стоит.

Можно еще помечтать о более систематизированном подходе, когда прежде чем собирать отзывы, с ЗЛ собирают их ожидания...
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Виталий Григораш от 15 Ноября 2009, 20:49:46
Возвращаясь к отцу Вигерсу, находим следующие характеристики идеальных требований:
1. Полнота
2. Однозначность
3. Корректность
4. Тестируемость
5. Трассируемость
6. Согласованность
(необходимость и осуществимость я не включаю, т.к., на мой взгляд, не удовлетворяющие этим критериям требования вообще не должны попадать в документы).

Можно опираться на этот список для проверки качества требований.
Список хороший. Только он основан исключительно на экспертных оценках людей, проверяющих требования.
Основной риск в этом случае - насколько "эксперт" является экспертом
Можно посадить заказчика Васю и попросить его оценить полноту. Думаю вы мало чего полезного добьетесь
Каждый пункт этого списка к тому же проверяется отдельными людьми - экспертами предметной области, тестировщиками, разработчиками и сильно зависит от поставленного процесса (попробуйте например в ТЗ на 200 страниц, которая параллельно разрабатывается несколькими людьми, определить согласованность и трассируемость)
У меня был такой опыт, когда в НИИ ТЗ по частям писали несколько человек и потом склеивали в один документ.

И напоследок следует наверное заметить, что такое согласование займет не меньше нескольких недель (причем качество все равно никто не гарантирует), что в большинстве случаев не приемлемо для проектов

А так как кроме экспертизы пока человечество ничего не придумало к оценке качества спеки нам остается лишь улучшать процессы разработки и управления требованиями, чтобы хоть как-то контролировать качество требований
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Виталий Григораш от 15 Ноября 2009, 20:58:30
Хорошим показателем качества требований является количество запросов на изменения после начала реализации и поставки системы заказчику.
Можно даже строить различные графики, показывающие отношение запросов на изменение к общему набору требований
Делая различные срезы можно оценивать эффективность работы аналитика
Пример из практики. По каждой функциональной области системы был назначен ответственный аналитик. После фиксации требований (читай бейзлайн) все изменения в документацию вносились по запросам на изменение. Так вот, аналитика по документу которого было больше всего запросов на изменение и вопросов от разработчиков, можно считать менее эффективным. Но это статистика, а в жизни еще бывают факторы которые нужно учитывать : опыт, работоспособность, умение коммуницировать с заказчиком, аналитический склад ума и умение видеть альтернативы.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Водолей от 15 Ноября 2009, 22:39:52
Цитата: Виталий Григораш
Хорошим показателем качества требований является количество запросов на изменения после начала реализации и поставки системы заказчику.
Можно даже строить различные графики, показывающие отношение запросов на изменение к общему набору требований
Делая различные срезы можно оценивать эффективность работы аналитика
Пример из практики. По каждой функциональной области системы был назначен ответственный аналитик. После фиксации требований (читай бейзлайн) все изменения в документацию вносились по запросам на изменение. Так вот, аналитика по документу которого было больше всего запросов на изменение и вопросов от разработчиков, можно считать менее эффективным. Но это статистика, а в жизни еще бывают факторы которые нужно учитывать : опыт, работоспособность, умение коммуницировать с заказчиком, аналитический склад ума и умение видеть альтернативы.

этот подход не учитывает командную работу. бывает так, что у одного аналитика действительно мало запросов на изменения, но когда доходит до объединения результатов с другими аналитиками, то всё оказывается совсем не так радужно.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kirillss от 16 Ноября 2009, 00:14:07
NB: Субъективные оценки важны и нужны, потому что качество — это соответствие ожиданиям ключевых ЗЛ, а ожидания всегда субъективны.

Качество -не есть соответствие чьим либо ожиданиям. Мне кажется, что качество аналитика - это
1 личные качества (ни за что не буду убирать из проекта человека если он не очень знает бизнес-область, но видно что у него глазки горят)
2 колво дефектов в требованиях (тут к сожалению ряд проблем - обнаруживать их(дефекты) иногда очень дорого и сложно или даже невозможно. А даже если их посчитали - то кто скажет много это или мало, ибо проекты неоднородны)
3 устойчивая тенденция к снижению колва дефектов (отсутствие эффекта пилы)

Короче вывод получается такой - что оценка аналитика (персоны, работника) есть действительно субьективная штука, только наверное не внешними (по отношению к проекту/процессу) личностями, а самой командой

Хорошим показателем качества требований является количество запросов на изменения после начала реализации и поставки системы заказчику.

Ни разу не согласен - например, одному попалась разработка справочников системы (относительно стабильной части) а другому - требования по новой (развивающейся) ветке бизнеса...
Кроме того, качество требований не равно тождественно качеству аналитика!!!!! Ведь они отчасти создаются и бизнесом (заказчиком)
Название: Re: Методы оценки эффективности Аналитика
Отправлено: bas от 16 Ноября 2009, 01:01:41
Такое впечатление, что все метрики применяют на автомате (или вообще не применяют) ...
Возьмем кол-во запросов на изменение (ЗИ), топ смотрят проект на 6 месяцев и видит, что их кол-во в 1,5 раза больше чем следовало бы для такого типа проекта с этими трудозатратами. Он поручаем МП разораться. МП идет к Аналитикам и собирает сколько ЗИ было у каждого, получается что у Васи ЗИ в два раза больше среднего, почему? Да п.ч. Вася описывал "требования по новой (развивающейся) ветке бизнеса", а вот у Пети и Нади ЗИ под среднее, а они описывали Справочники к примеру. Тут и сразу понятно кому нужно настучать по башке.
Опять же параметр Тр - Сложность, никто не отменял.
Как-то так ...
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Denis Beskov от 16 Ноября 2009, 01:20:55
Качество -не есть соответствие чьим либо ожиданиям. Мне кажется, что качество аналитика - это…
Вы правда считаете, что можно вести дискуссию подобным образом?
Во-первых, один из принципов управления и поддержки мотивации — оценивается не человек, а его деятельность.
Во-вторых, если хотите оспаривать чьи-либо слова, приводите аргументы.

Цитировать
Короче вывод получается такой - что оценка аналитика (персоны, работника) есть действительно субьективная штука, только наверное не внешними (по отношению к проекту/процессу) личностями, а самой командой
1. Кто такие «внешние»? 2. Что такое «сама команда», если в процесс управления требованиями вовлечено, например, 9 производственных ролей?
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Виталий Григораш от 16 Ноября 2009, 09:56:17
Качество -не есть соответствие чьим либо ожиданиям.
Ожидание - есть потребность в чем-то.
Джозеф Джуран:
«Качество есть степень удовлетворения потребителя и для реализации качества производитель должен изучить требования потребителя и произвести свою продукцию так, чтобы она удовлетворяла этим требованиям»

ISO 9001:2000:               
Качество – совокупность свойств и характеристик продукции, способных удовлетворить установленные и предполагаемые потребности заказчика.
   
Ни разу не согласен - например, одному попалась разработка справочников системы (относительно стабильной части) а другому - требования по новой (развивающейся) ветке бизнеса...
Кроме того, качество требований не равно тождественно качеству аналитика!!!!! Ведь они отчасти создаются и бизнесом (заказчиком)
Никто и не говорит про то, что руководитель должен "тупо" смотреть на статистику. Если вы знаете все нюансы работы в команде и кто чем занимается, можно и без статистики оценить работу сотрудников. Однако это ваши личные оценки, а иногда требуется доказательства например высшему руководству для повышения должности и/или зарплаты сотрудника. Для больших команд или отделов, это всего лишь один из множества методов.
Kirillss, расскажите про свой опыт и то, как вы оцениваете эффективность.               
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Виталий Григораш от 16 Ноября 2009, 10:03:37
этот подход не учитывает командную работу. бывает так, что у одного аналитика действительно мало запросов на изменения, но когда доходит до объединения результатов с другими аналитиками, то всё оказывается совсем не так радужно.
Учитывает. Общее количество требований на все запросы на изменение. Можно придумать разные выборки, отношение это лишь одна из них. Графики можно строить помесячно, или по бейзлайнам. Также можно отследить источник запроса на изменение.
Если запрос приходит из разработки и тестирования, скорее всего слабо проработана детальная аналитика и сотрудникам не хватает времени или технического бекграунда. В таком случае можно привлекать например архитектора.
Если запрос на изменение приходит со стороны заказчика - слабое выявление требований и коммуникации (я не считаю сейчас случай изменения процессов у заказчика в момент поставки продукта)
Если запрос приходит со стороны поддержки, то скорее всего не проработаны пользовательские требования - в таком случае ищите "чемпионов". Заказчик часто не пользуется системой самостоятельно.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kirillss от 16 Ноября 2009, 10:07:03
2Ontology Nazi
 Прежде чем повышать градус в обсуждении попытатесь понять собеседника...

На самом деле то что вы сказали про качество (его определение) относится к качеству УСЛУГИ. И, как мне кажется, не очень подходит для определения качества требований и, тем более, работы аналитика.
Никому ведь в голову не приходит оценивать качество кода через то насколько этот код соответсвует ожиданиям заказчика - оценивается продукт/решение целиком
Мне представляется что оценивать качество требований нужно через колво дефектов. Если затруднительно оценить колво дефектов через призму "много"/"мало" то важно хотя бы видеть что их колво падает...

Теперь еще одна проблема - "качество требований" != "качество аналитика". Точнее не всегда они тождественны. А тема всетаки про АНАЛИТИКА а не про требования!!!!
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Сless от 16 Ноября 2009, 10:17:09
Думаю что следует задать главный вопрос:
Для какой цели Вы планируете использовать количественную оценку работы аналитика ?
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Виталий Григораш от 16 Ноября 2009, 11:05:20
Думаю что следует задать главный вопрос:
Для какой цели Вы планируете использовать количественную оценку работы аналитика ?
Кому вопрос?
Если мне, как инициатору топика, то фраза "Кто-нибудь на практике  этим занимается?"
Имеет примерно следующий смысл - А нафига вся эта теория в жизни? :)

А если серьезно, то вещь нужная, просто до нее необходимо дорасти.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kirillss от 16 Ноября 2009, 11:13:29
Kirillss, расскажите про свой опыт и то, как вы оцениваете эффективность.               

В том то и дело, что никаких обьективных и утвержденных компанией методик оценки работы аналитика у нас нет!!! Исключительно субьективные оценки.
Кстати, на тему субьективности могу могу рассказать невыдуманную историю.
Както взяли человека на работу. Аналитика. Банковский проект. Поработал с полгода - моя оценка - звезд с неба не хватает, но худо-бедно работу делает. Руководству както он не приглянулся. Расстались с человеком - не жестко, компенсацию выплатили за пару месяцев вперед. Волей судьбы столкнулся с ним некоторое время назад (еще до кризиса) - работал он аналитиком в очень крупном банке (в филиале). А тут пару недель назад еще раз столкнулись - он работал в том же банке, но уже в головной конторе. В общем в рост пошел человек!  Так что то что одной организации не покатило, очень даже покатило другой.. Ну это так, лирическое отступление!!!
Название: Re: Методы оценки эффективности Аналитика
Отправлено: SALar от 16 Ноября 2009, 13:03:27
Бытует мнение, что создание, внедрение и использование различных шкал оценки персонала относится к "смертельным грехам менеджмента". Не верите мне, почитайте метров. Деминга почитайте (http://findbook.ru/redir/book?url=http%3A%2F%2Fwww.bolero.ru%2Fcgi-bin%2Fdsc.cgi%3F66641528%26partner%3Dfindbook%26new%3D1).
Или Генри Нива : http://findbook.ru/redir/book?url=http%3A%2F%2Fmy-shop.ru%2Fshop%2Fbooks%2F132831.html%3Fpartner%3D00519 (у него язык попроще)
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kirillss от 16 Ноября 2009, 13:15:19
2Salar
а в двух словах можете сказать почему?
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Виталий Григораш от 16 Ноября 2009, 13:47:17
Бытует мнение, что создание, внедрение и использование различных шкал оценки персонала относится к "смертельным грехам менеджмента". Не верите мне, почитайте метров. Деминга почитайте (http://findbook.ru/redir/book?url=http%3A%2F%2Fwww.bolero.ru%2Fcgi-bin%2Fdsc.cgi%3F66641528%26partner%3Dfindbook%26new%3D1).
Или Генри Нива : http://findbook.ru/redir/book?url=http%3A%2F%2Fmy-shop.ru%2Fshop%2Fbooks%2F132831.html%3Fpartner%3D00519 (у него язык попроще)
Де Марко вроде бы по другому считает :)
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Григорий Печенкин от 16 Ноября 2009, 13:55:36
Де Марко вроде бы по другому считает :)

Ты бы ещё Макконнелла вспомнил. :)

А правда, расскажи, как у вас используются эти показатели качества? Это числовые метрики? Вы их используете просто как индикаторы в динамике (в этом месяце стало больше запросов на изменения - красная лампочка зажглась), числа как ориентировочные значения (должно быть не более 10% "плохих" требований) или для сравнения аналитиков между собой?
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Виталий Григораш от 16 Ноября 2009, 14:27:14
Ты бы ещё Макконнелла вспомнил. :)

А правда, расскажи, как у вас используются эти показатели качества? Это числовые метрики? Вы их используете просто как индикаторы в динамике (в этом месяце стало больше запросов на изменения - красная лампочка зажглась), числа как ориентировочные значения (должно быть не более 10% "плохих" требований) или для сравнения аналитиков между собой?

Да никак они у нас не используются!
Сам не знаю как их применять нужно по правильному - не дорос еще.
Я их делал исключительно для себя.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Oleg Voronov от 16 Ноября 2009, 17:07:02
У нас эффективность оценивается путем подсчета заявок на доработку того или иного функционала. То есть если аналитик отработал хорошо, то функционал практически не дорабатывается первые три четыре месяца. Если анализ был проведен неверно, то как правило возникает большое колличество доработок.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kirillss от 16 Ноября 2009, 19:27:12
...то функционал практически не дорабатывается первые три четыре месяца. Если анализ был проведен неверно, то как правило возникает большое колличество доработок.

Огласите плз в какой бизнес-области работаете, делаете продукт или заказная разработка, методология разработки - используется ли agile-подходы, outsourcing или внутренняя разработка? Просто интересно в каком случае такой подход работает!!!!!!

Если применять подход дословно то это презумпция виновности аналитика))))
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Сергей Атрощенков от 16 Ноября 2009, 20:58:57
Ошибку мог допустить раработчик - тестировщики ее пропустили - а пнут аналитика.
доработка функционала - как-то на ошибку не тянет.
Я автора понял так - что доработка - это ещё внезапное желание заказчика, или когда заказчик говорит: ну блин, я же не про это говорил.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: SALar от 16 Ноября 2009, 21:22:57
Да никак они у нас не используются!
Сам не знаю как их применять нужно по правильному - не дорос еще.
Я их делал исключительно для себя.
Управление рисками по модели риск-оптимувов не хотите попробовать?
Блин. И сослаться то не на кого, кроме своей статьи  и своего же семинара...

У нас эффективность оценивается путем подсчета заявок на доработку того или иного функционала. То есть если аналитик отработал хорошо, то функционал практически не дорабатывается первые три четыре месяца. Если анализ был проведен неверно, то как правило возникает большое колличество доработок.
Круто. Посмотрите у Деминга, кто в процентном отношении виноват в браке. Результат вас неприятно удивит.

Огласите плз в какой бизнес-области работаете, делаете продукт или заказная разработка, методология разработки - используется ли agile-подходы, outsourcing или внутренняя разработка? Просто интересно в каком случае такой подход работает!!!!!!

Если применять подход дословно то это презумпция виновности аналитика))))
А какая разница в какой области?
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kirillss от 16 Ноября 2009, 22:38:17
2Salar
Вы не могли бы изьясняться более конкретно - а то одни отсылы к толстым фолиантам, а конкретики не видно
1 "Бытует мнение, что создание, внедрение и использование различных шкал оценки персонала относится к "смертельным грехам менеджмента"." Тема так и не раскрыта
2 "Посмотрите у Деминга, кто в процентном отношении виноват в браке." Тема так и не раскрыта.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kirillss от 16 Ноября 2009, 22:40:23
.. параметр "количество запросов на изменение" ..бесполезен для отслеживания эффективности работы аналитика..

+100
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kirillss от 16 Ноября 2009, 22:45:39
Не забывайте что работа аналитика - не только и не столько сбор требований. Основная работа - на мой взгляд - построение МОДЕЛИ проектируемой системы. А все что до сих пор пришлось услышать касалось ИСКЛЮЧИТЕЛЬНО сбора требований.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Григорий Печенкин от 16 Ноября 2009, 23:20:14
2Salar
Вы не могли бы изьясняться более конкретно - а то одни отсылы к толстым фолиантам, а конкретики не видно
1 "Бытует мнение, что создание, внедрение и использование различных шкал оценки персонала относится к "смертельным грехам менеджмента"." Тема так и не раскрыта
2 "Посмотрите у Деминга, кто в процентном отношении виноват в браке." Тема так и не раскрыта.

Всего Деминга здесь, конечно, не пересказать, но несколько цитат (http://www.greesha.ru/index.php?book_quotes&book_id=1256056438) для затравки привести можно.


Цитировать
Кто отвечает за качество? Ответ: высшее руководство. Качество продукции компании не может быть выше уровня, который был определён наверху.

Цитировать
Ранжирование — это фарс. Производительность труда на самом деле зависит большей частью от системы, в которой работает человек, а не от него самого.

Цитировать
Убеждение в том, что, если проблему нельзя измерить, то её невозможно решить, — это очень дорогостоящий миф.

Цитировать
По моему опыту, большинство проблем и возможностей улучшить ситуацию соотносятся примерно так: 94% приходится на систему (ответственность руководства) и 6% — на особенные причины.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Oleg Voronov от 17 Ноября 2009, 11:07:57
Ошибку мог допустить раработчик - тестировщики ее пропустили - а пнут аналитика.
На самом деле немного не так. Речь идет не о багах кода, а о багах ТЗ ( например отсутствие заложенного функционала необходимого пользователю, или некорректная работа разрабатываемого функционала с другими модулями системы)
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Oleg Voronov от 17 Ноября 2009, 11:12:23
Огласите плз в какой бизнес-области работаете, делаете продукт или заказная разработка, методология разработки - используется ли agile-подходы, outsourcing или внутренняя разработка? Просто интересно в каком случае такой подход работает!!!!!!

Если применять подход дословно то это презумпция виновности аналитика))))

Я занимаюсь поддержкой и развитием внутреннего решения поддержки бизнеса ( CRM + ERP + шлюз для обмена с системами бухгалтерского и склодского учета). Работаем по системе "релизов" ( я к сожелению не знаю к каой методологии можно это отнести :( ) Из оутсорсинга есть несколько интернет проектов которые обмениваются данными с нашей системой.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Oleg Voronov от 17 Ноября 2009, 11:20:06
Вот и программист - прочитает по-русски, а поймет "так". Потом "так" сделает.

Меня удивляет, что на форуме аналитиков ни один аналитик не обратил внимание на то, что запросы на изменение могут иметь какую угодно причину. далеко не всегда эта причина существовала в момент, когда аналитик зафиксировал, а заказчик согласовал требования. Она могла появиться позже и к аналитику не иметь никакого отношения.

Поэтому параметр "количество запросов на изменение" так же бесполезен для отслеживания эффективности работы аналитика, как стрельба из пистолета в ручей - если долго стрелять, обязательно попадешь в рыбу. Когда-нибудь.

Необходимо еще устанавливать причину этих запросов: являются ли они новыми требованиями заказчика, недовыявленными аналитиком требованиями или следствиями ошибок программистов.
1. По поводу неправильного понимания программистом. У нас существует практика проверки того что написал программист аналитиком ( то есть насколько написанный функционал соответствует изначально задуманному аналитиком).
2. Речь идет не о всех запросах на изменение, а о тех случаях когда запрос поражден некорректой работой разработанного функционала ( с точки зрения логики, а не реализации), либо когда разработаннный функционал не решает поставленной проблемы ( или решает ее некорректно). Опять же, если проблема изменилась после или в течении реализации, то это не считается ошибкой.
3. По поводу стрельбы из ружья, я бы не был так категоричен. Может быть это и не самый достоверный показатель, но лучьше чем ничего.

Название: Re: Методы оценки эффективности Аналитика
Отправлено: SALar от 17 Ноября 2009, 14:51:17
2Salar
Вы не могли бы изьясняться более конкретно - а то одни отсылы к толстым фолиантам, а конкретики не видно
Простите, а как вы собираетесь стать профессионалом, не читая толстых фолиантов? Конкретно Деминга и Голдрата читать нужно.

2 "Посмотрите у Деминга, кто в процентном отношении виноват в браке." Тема так и не раскрыта.
На это Григорий ответил. Мне остается только добавить, что Деминг неоднократно пересматривал свою оценку, все время увеличивая долю ответственности руководства за брак.
Игра "Красные бусы" - это модель иллюстрирующая это.

1 "Бытует мнение, что создание, внедрение и использование различных шкал оценки персонала относится к "смертельным грехам менеджмента"." Тема так и не раскрыта

Цитировать
СМЕРТЕЛЬНЫЕ БОЛЕЗНИ
...

3. СИСТЕМЫ АТТЕСТАЦИИ И РАНЖИРОВАНИЯ ПЕРСОНАЛА

Системы аттестации и ранжирования персонала, оценка личного вклада, ранжирование по значимости, оценка качества функционирования, ежегодная аттестация, премиальные системы, плата по труду — оказывают разрушительный эффект.

"Управление по Целям" — зло того же порядка; "управление на основе страха" было бы более подходящим его названием. Результаты подобной практики следующие:

Развивается "близорукое" мышление, взращивается соперничество, интриганство и страхи, уничтожается перспективное планирование, разрушается дух команды; Одни люди испытывают чувство горечи, другие — отчаяние, некоторые работники переживают депрессию, из-за которой они неработоспособны в течение недель после получения оценки своей деятельности, причем они не в состоянии понять, в чем их вина. Эти методы несправедливы, т. к. они приписывают людям в группах такие различия, которые могут быть полностью обусловлены системой, в которой работает группа. (см. главу 30).
Может все таки найти книгу и прочитать?
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Oleg Voronov от 17 Ноября 2009, 15:29:57
ткните пальцем, где из предыдущего обсуждения четко и ясно следует, что речь шла именно об этом?...

речь шла о запросах на изменение - из 20 человек, участвующих в обсуждении, каждый может подразумевать под "запросами на изменение" все, что угодно.

вот это типичная программерская логика: "а я думал, что это не то, а это..." Елы-палы, ну мало ли кто что думал - не можем же мы друг другу залезть в мозги и поправить там нужные шестеренки.
Остается только один инструмент взаимопонимания - язык. Если пользоваться им по назначению.

В предыдущем обсуждении я нигде не говорил о багах произведенных программистами. В моем понимании запрос на изменение это определенная доработка функционала не связанная с ошибками в реализации (изменения в логике работы). А ошибка реализации, это баг ИМХО. 

Причем тут программерская логика? Да и не писал я нигде о том что я что то там думал о способах мышления других.

По поводу использования языка по назначению, я бы с удовольствием взял у вас несколько уроков :).
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Galogen от 17 Ноября 2009, 22:35:13
Простите, а как вы собираетесь стать профессионалом, не читая толстых фолиантов? Конкретно Деминга и Голдрата читать нужно.
Сергей, т.е. ты полагаешь, что без прочтения этих авторов ну никуда? И специалист не специалист?
Название: Re: Методы оценки эффективности Аналитика
Отправлено: div от 18 Ноября 2009, 01:06:58
У нас эффективность оценивается путем подсчета заявок на доработку того или иного функционала. То есть если аналитик отработал хорошо, то функционал практически не дорабатывается первые три четыре месяца. Если анализ был проведен неверно, то как правило возникает большое колличество доработок.
Если я правильно понял, причина сомнения многих коллег относительно эффективности этого способа оценки основывается на уверенности в том, что за 3 месяца у заказчика требования поменяются в любом случае, так как он более глубоко осознает задачу по мере наблюдения за разработкой. Я раньше придерживался такого же мнения, тем более, что эта точка зрения помогает аналитику снимать с себя ответственность за большое количество чейндж реквестов на функционал.
Но в последнее время мне кажется, что действительно профессиональный аналитик, умеющий докапываться до корневых проблем, разбирающийся в предметной области, и представляющий современные технологические и бизнес - тенденции должен предвидеть (хотя бы на 90%) такие изменение требований и заранее предлагать их заказчику.
 Другое дело, что когда появляется такой человек, то он за одну зарплату долго не работает ;)
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Oleg Voronov от 18 Ноября 2009, 09:31:09
Если я правильно понял, причина сомнения многих коллег относительно эффективности этого способа оценки основывается на уверенности в том, что за 3 месяца у заказчика требования поменяются в любом случае, так как он более глубоко осознает задачу по мере наблюдения за разработкой. Я раньше придерживался такого же мнения, тем более, что эта точка зрения помогает аналитику снимать с себя ответственность за большое количество чейндж реквестов на функционал.
Но в последнее время мне кажется, что действительно профессиональный аналитик, умеющий докапываться до корневых проблем, разбирающийся в предметной области, и представляющий современные технологические и бизнес - тенденции должен предвидеть (хотя бы на 90%) такие изменение требований и заранее предлагать их заказчику.
 Другое дело, что когда появляется такой человек, то он за одну зарплату долго не работает ;)

Если заказчик изменит изначальные требования, то это не ошибка аналитика. Лучьше привести пример наверно. Например ставится задача разработки интернет магазина. Аналитик исследует предметную область и собирает требования. После реализации оказывается, что интернет - магазин не обладает функционалом для заказа товара (утрированыый такой случай). То есть разработанный механизм не удовлетворяет изначальному требованию (что либо продавать). Вот это прямая ошибка аналитика. А если после разработке заказчик говорит, я тут полазила по сайтам и хочу что бы меню было справа, а не слева, как мы сначала договаривались. Это не ошибка аналитика, а простое изменение требований (аналитик не виноват).
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kirillss от 18 Ноября 2009, 12:35:34
2LastLegion86
даже в Вашем упрощенном примере (нет заказа товара) не совсем очевидно что это вина аналитика! По крайней мере есть доводы и за и против. Что уж говорить о сложностях в оценке аналитика в "боевых" задачах. Основная проблема (риск аналитика, если хотите) - нечеткость правил и неоднозначность их толкования
Название: Re: Методы оценки эффективности Аналитика
Отправлено: div от 18 Ноября 2009, 12:48:23
Если заказчик изменит изначальные требования, то это не ошибка аналитика. Лучьше привести пример наверно. Например ставится задача разработки интернет магазина. Аналитик исследует предметную область и собирает требования. После реализации оказывается, что интернет - магазин не обладает функционалом для заказа товара (утрированыый такой случай). То есть разработанный механизм не удовлетворяет изначальному требованию (что либо продавать). Вот это прямая ошибка аналитика. А если после разработке заказчик говорит, я тут полазила по сайтам и хочу что бы меню было справа, а не слева, как мы сначала договаривались. Это не ошибка аналитика, а простое изменение требований (аналитик не виноват).
LastLegion86:
Чтобы внести ясность, я как раз в целом согласен с Вашим способом оценки работы аналитика.
Применительно к приведенному очень хорошему примеру: интернет - магазин не обладает функционалом для заказа товара скорее всего потому, что заказчик об этом явным образом не попросил, т.к. считал это само собой разумеющимся. В требованиях, собранных аналитиком, этого не было. Потом заказчик попробовал работать, пришел в ужас, и это требование появилось в явном виде. С одной стороны, налицо "простое изменение требований" (аналитик не виноват), с другой стороны, мало кто согласится с тем, что это был хороший аналитик, т.к. современная тенденция для интернет-магазинов - позволять заказывать товары - для всех очевидна.  

Второй случай - меню справа/слева. Заказчик ни с того ни с сего (как потом оправдывается перед ПМом аналитик) решает, что меню должно быть не слева, а справа. Но, как говорил Воланд, ни с того ни с сего ничего на свете не происходит. Конечно же, принять решение о том, что меню должно быть справа, заказчика сподвигли совершенно объективные обстоятельства, не выявленные аналитиком первоначально. В данном случае ("я тут полазила по сайтам и хочу...") - тенденция моды на дизайн сайтов.
Я совершенно уверен, что все так называемые "неожиданные изменения хотелок" заказчика на самом деле неожиданны только для аналитиков, квалификация и опыт которых недостаточны для данной работы. Конечно, в случае сложных и новых систем просто в природе может не существовать достаточно квалифицированного аналитика, чтобы все требования выявить с первой итерации. Но тенденция именно такая - чем лучше аналитик, тем меньше "неожиданных" изменений возникнет.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Водолей от 18 Ноября 2009, 12:53:59
Цитата: div
Но в последнее время мне кажется, что действительно профессиональный аналитик, умеющий докапываться до корневых проблем, разбирающийся в предметной области, и представляющий современные технологические и бизнес - тенденции должен предвидеть (хотя бы на 90%) такие изменение требований и заранее предлагать их заказчику.

В целом присоединяюсь. Однако имею альтернативное мнение - в подобных случаях аналитик должен предлагать целостное решение, охватывающее выявленную проблематику и учитывающее как текущие требования, так и возможность их трансформации во времени. При этом решение должно учитывать текущий (и, возможно, перспективный) уровень затрат на реализацию таких возможностей (всё стоит денег, а также ресурсов и времени) - и аналитик должен это тоже понимать. Иначе фирма вылетит в трубу довольно быстро.

Впрочем, такая возможность также является одним из способов создания нишевых решений и захвата рынков. Но такого рода решения находятся уже в ведении бизнесменов.

P.S. Возможно термин "целостное решение" примирит оппонентов
Название: Re: Методы оценки эффективности Аналитика
Отправлено: bustor от 18 Ноября 2009, 13:24:37
Лично мне больше импонирует оценивать эффективность сотрудника по связке:

Поставленная цель - Достигнутый результат.

Но такой подход не менее субъективен, чем обсуждаемые выше, и также оставляет открытыми очень и очень много вопросов, включая:

Ведь по сути, в большинстве случаев важен именно результат.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kayten от 18 Ноября 2009, 14:32:54
По поводу запросов на изменение...
А как вам такой случай - заказчик пустил аналитиков только на один из своих объектов, с мотивацией - у нас бизнес процесс единый и этот объект лучший. На все наши доводы, что дайте нам хотя бы сделать экспресс анализ нескольких объектов для получения сравнительной оценки только отмахнулся.
Что имеем в итоге - по закону подлости это оказался единственный объект, в котором отсутствовал важный элемент бизнеса. В итоге получили серьезную проблему и МНОГО запросов на изменение. Но аналитик не виноват...
Если уж судить работу аналитика по количеству запросов на изменение, то надо брать каждый (запрос) и анализировать его природу. Трудоемкая работа.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Oleg Voronov от 18 Ноября 2009, 15:19:49
По поводу запросов на изменение...
А как вам такой случай - заказчик пустил аналитиков только на один из своих объектов, с мотивацией - у нас бизнес процесс единый и этот объект лучший. На все наши доводы, что дайте нам хотя бы сделать экспресс анализ нескольких объектов для получения сравнительной оценки только отмахнулся.
Что имеем в итоге - по закону подлости это оказался единственный объект, в котором отсутствовал важный элемент бизнеса. В итоге получили серьезную проблему и МНОГО запросов на изменение. Но аналитик не виноват...
Если уж судить работу аналитика по количеству запросов на изменение, то надо брать каждый (запрос) и анализировать его природу. Трудоемкая работа.

В данном случае это не проблема аналитика, а тупость заказчика. Если при обсждении ТЗ он не заметил того что там отсутствует выжный аспект бизнеса.
А по поводу оценки эффективности, то я выше писал о том что заявки на доработку диференцируются. Анализируются их причины. По поводу трудоесмкости, я бы не сказал что это трудно. В любом случае когда возникает какая либо задача(запрос на доработку), то явно или неявно задается вопрос: "А почему заказчик это хочет, зачем оно ему и почему не сделано раньше?". Поэтому это как бы побочный результат от основного процесса. Плюч ко всему необезательно переводить данный показатель в числовые значения. Его можно использовать для получения обшей картины работы аналитика/ов.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: div от 18 Ноября 2009, 17:51:34
А как вам такой случай - заказчик пустил аналитиков только на один из своих объектов...
Что имеем в итоге - по закону подлости это оказался единственный объект, в котором отсутствовал важный элемент бизнеса. В итоге получили серьезную проблему и МНОГО запросов на изменение.
Для аналитика это из разряда "Бывает"... Самый ловкий спецназовец может попасть под шальную бомбу. Надо набирать статистику по работе аналитика по разным проектам,с учетом их сложности.
 А по данному случаю это недоработка ПМа - он должен был после отказа пустить на другие объекты заставить закзачика подписать бумагу, что если на других объектах обнаружатся дополнительные  требования, то это будет расширение рамок договора и, следовательно, доп. соглашение по деньгам.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kayten от 18 Ноября 2009, 23:35:32
В данном случае это не проблема аналитика, а тупость заказчика. Если при обсждении ТЗ он не заметил того что там отсутствует выжный аспект бизнеса.

А по данному случаю это недоработка ПМа - он должен был после отказа пустить на другие объекты заставить закзачика подписать бумагу, что если на других объектах обнаружатся дополнительные  требования, то это будет расширение рамок договора и, следовательно, доп. соглашение по деньгам.

Ну не все так просто и очевидно именно по этому примеру - ТЗ и договор подписывались после того, как проект был реализован на 90%. Это называется "пролезть через черный вход", когда один из топов решает автоматизировать что-то и в рамках своей компетенции "помогает" потенциальному исполнителю создать ПО, а потом склоняет остальных топов к покупке "готовой" системы. Ну это так... Если кому интересно...
Если по теме.
Наверно, можно оценить эффективность аналитика по количеству запросов на изменение, вот только анализ этих самых запросов должен быть очень качественным.
LastLegion86, а можно пару уточняющих вопросов - т.е. вы анализируете каждый запрос на изменение и типизируете (дифференцируете) его. Кто участвует в этом процессе (РП, нач. отдела аналитики, ведущий разработчик, архитектор или...).

По поводу трудоесмкости, я бы не сказал что это трудно. В любом случае когда возникает какая либо задача(запрос на доработку), то явно или неявно задается вопрос: "А почему заказчик это хочет, зачем оно ему и почему не сделано раньше?". Поэтому это как бы побочный результат от основного процесса. Плюч ко всему необезательно переводить данный показатель в числовые значения. Его можно использовать для получения обшей картины работы аналитика/ов.
Перевести "в числовые значения" (некие абсолютные показатели) не сложно. Проблематично провести детальный анализ запросов в условиях большого числа изменений вцелом по фирме. А проводить анализ в рамках проекта неправильно - не та компетенция: аналитики проекта - лица заинтересованные, РП могут не обладать необходимой глубиной знания предметной области (если предметка достаточна сложна) и понять природу изменения. Нужно привлекать специалистов из других проектов, подразделений (или даже заказчиков систмы...).
Возможно, приведенные трудности типичны для определенного (узкого) круга проектов.
А есть ли универсальные для любого проекта методы оценки эффективности аналитика? Ведь эта самая пресловутая оценка не только какие-то метрики, это еще и процесс, который нужно организовать в рамках существующих ресурсов проекта, компании (временных, кадровых...)
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kayten от 18 Ноября 2009, 23:55:11
При работе по найму первым, что я делала, получив отчет заказчика о тестировании очередной версии - разбрасывала замечания в три кучки (какие именно, писала выше).
Если пользоваться моим примером, то некоторое представление об эффективности даст соотношение размеров кучек.
Не нашлись описания про кучки ((
Если не сложно, можно ссылку или повторное описание? А то не понятно, как соотношение количества замечаний разных типов друг к другу могут помочь в определении эффективности...
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Алексей Шемис от 18 Ноября 2009, 23:58:45
А как вам такой случай - заказчик пустил аналитиков только на один из своих объектов, с мотивацией - у нас бизнес процесс единый и этот объект лучший.
А это, как нам Гриша пояснил на конференции ReqLabs, - "Персональные риски аналитика" :). Спасибо ему, хороший был доклад!
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Oleg Voronov от 19 Ноября 2009, 10:03:49
Наверно, можно оценить эффективность аналитика по количеству запросов на изменение, вот только анализ этих самых запросов должен быть очень качественным.
LastLegion86, а можно пару уточняющих вопросов - т.е. вы анализируете каждый запрос на изменение и типизируете (дифференцируете) его. Кто участвует в этом процессе (РП, нач. отдела аналитики, ведущий разработчик, архитектор или...).
Перевести "в числовые значения" (некие абсолютные показатели) не сложно. Проблематично провести детальный анализ запросов в условиях большого числа изменений вцелом по фирме.

Да, каждый запрос сначала анализируется. Мы не делаем внешний продукт, а поддерживаем и активно развиваем внутренюю ИС. Поэтому организация процесса несколько другая, чем в фирмах делающих "продукт" на заказ или что-то коробочное.

У нас релизная схема работы. То есть все изменения вводятся поэтапно. То есть, если заказчик (тут имеется ввиду сотрудник нашей фирмы который инициирует доработку, например начальник отдела закупок) хочет что - либо доработать в ИС он пишет заявку. Заявка рассматривается на предмет критичности для бизнеса. И если она кретична (какой то явный баг мешающий функционоровать бизнесу) то она сразу берется в работу (такой хот фикс), если заявка некритична (например изменилось законодательство и бухгалтерия должна перейти на другую форму отчетности к 2011 году), то такие заявки собираются и раз в 2 месяца происходит их обсуждение, в котором принимают участие заявители, начальник отдела сис. анализа, тим лид програмеров, некотороые аналитики. Там каждая заявка рассматривается, оговариваются сроки реализации (то есть этот или следующий релиз, или вообще через 2 релиза и т.д.), назначаются ответственные лица ( у нас нет PM в явном виде, часть их фукнций берет на себя аналитик, а часть заявитель. Аналитик контролирует сроки и со всеми договаривается, заказчик занимается финансовыми вопросами. ) и решается ряд других вопросов. В результате подобного обсуждения становится понятно в чем причина заявки. Вобщем как-то так :).
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kirillss от 19 Ноября 2009, 13:39:44
2LastLegion86

Ага процесс становится понятнее....
Некоторые замечание/мысли
1 Какова средняя трудоемкость доработки (если не секрет конечно) в человеко-месяцах например.
2 Оценка колва запросов на изменение по Вашей методологии будет скорее характеризовать тройку (персонал автоматизируемого подразделения,аналитик,автоматизируемый бизнес). Кстати а аналитики могут участвовать в автоматизации разных бизнес подразделений или в основном "сидят" в "своем" бизнесе?
3 Для такой методы оценки должна быть хорошо отлажена трассируемость требования-фича-релиз-баг. Ну то есть если у вас эта прослеживаемость есть то большой комплимент вашему IT!!
4 Какие последствия (финансовые,организационные) у Вашей оценки аналитика?
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Oleg Voronov от 19 Ноября 2009, 14:30:42
kirillss

1. Средняя труоемкость порядка 4 - 6 человекомесяцев.
2. Конкретно аналитика характеризует определенная часть от заявок на доработку. Аналитик участвует в автоматизации разных бизнес-подразделений.
3.  Не совсем понимаю что значит 'Для такой методы оценки должна быть хорошо отлажена трассируемость требования-фича-релиз-баг'. Поясните плиз. :)
4. Последствия. Наверно как и везде. Изменение в показателях KPI и как следствие этого уменьшение или увелечение размера примиальных. Других прецедентов пока не было.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kirillss от 19 Ноября 2009, 19:07:58
kirillss
3.  Не совсем понимаю что значит 'Для такой методы оценки должна быть хорошо отлажена трассируемость требования-фича-релиз-баг'. Поясните плиз. :)

Ну пример такой - вы выпустили несколько реализов (пусть в календарном выражении достаточно быстро) и тут к вам приходит баг. Вы должны понять к какому из предыдущих релизов относилась фича/требование, чтобы в свою очередь понять на какого аналитика "повесить" этот баг. Я это и называю трассируемостью или, по русски говоря, возможность проследить связку баг-релиз.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Oleg Voronov от 21 Ноября 2009, 21:40:14
kirillss
Тогда у нас действительно хорошо отлажена трассируемость. Хотя как показывает практика, баги всплывают довольно быстро ( в следующим или через 1 релизе). Плюс существует четкая привязка аналитика к тому или иному проекту.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: AlexTheRaven от 22 Ноября 2009, 02:54:41
IMHO проблема в том, что качество требований зависит не только от системного аналитика, но и ещё от множества людей и факторов. И выделить влияние на него системного аналитика трудно, хотя и наверняка возможно.

В целом согласен, но IMHO часто будут важные исключения, к-рые нужно учитывать. Ну например:

1.   Оценка требований продукт-менеджером и менеджером проекта относительно общего качества и эффективности продукта на рынке после разработки продукта.
Для менеджера продукта - системные требования отвратительные: в них не вошла и половина того "турбулентного потока сознания", который он выплеснул на системного аналитика. Ну и что, что это потому что архитектор с ведущим разработчиком сказали, что реализовать невозможно.
Для менеджера проекта требования - отвратительные, т.к. чтобы их реализовать, придётся работать много и напряжённо, и риски большие: проект можно не сдать в срок, а можно и вообще не сдать. Ну и что, что именно это нужно Заказчику.

2.   Отзывы ключевых клиентов о реализации процесса управления требованиями
3.   Показатели удовлетворенности клиентов
Для ключевого клиента требования отвратительные: его "хотелки" не будут реализованы сейчас же, как он хотел! Клиент этим не удовлетворён, ну и что, что он сменил "элитную" поддержку на самую дешёвую, и хочет сделать из АСУ склада систему SCADA. Да к тому же он же написал "сделайте, чтобы мне было хорошо, нажимаешь кнопку и ага!", чего уж непонятного, а этот глупый системный аналитик зачем-то расспрашивает...

4.   Соблюдение или превышение планов разработки требований, ограничений по ресурсам и качественных целей
План не соблюли! Хотели сделать за неделю 20 UC на 15 страниц, а пришлось 3 месяца делать 1500 требований и UC на 2000 страниц. Ну и что, что оказалось, что это - естественная сложность предметной области, помноженная на то, что решили делать подробное ТЗ для аутсорсеров...

5.   Контроль расползания требований, связанный с пропущенными требованиями и просачиванием "неформальных" требований в проект
Требования "расползлись", разработчики всеми правдами и неправдами добились того, что в SRS прошло их представление о том, что нужно Заказчикам. Ну и что, что именно благодаря этому продукт имел оглушительный успех.

По сумме 5 оценок имеем 0 из 10. При успешном продукте. Увольняем?
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Denis Beskov от 22 Ноября 2009, 03:03:17
Саша, я лишь процитировал Вигерса. Ща всё проверим в бою :)
Название: Re: Методы оценки эффективности Аналитика
Отправлено: cintyao от 23 Ноября 2009, 22:45:28
Если вы планируете производить количественную оценку эффективности с целью понять, кто из аналитиков лучше, то, полагаю, нет смысла заморачиваться, так как лучше при любом раскладе тот, кого больше любит начальство. И так оно бывает даже вопреки всем объективным показателям.

Если же задача более глубокая, а именно - оценить реальное положение дел с анализом на определенном проекте, то целесообразно пойти по классическому пути: проводим измерения и накапливаем статистику, а потом анализируем отклонения метрик проекта от средних по компании. Сразу оговорюсь, что для воплощения в жизнь идеи проектных измерений необходима добрая воля руководства компании (те самые 85% качества по Демингу в действии).
Измеряем объем кода, объем требований (в каких "попугаях" - надо придумать, например, отдельно количество страниц и количество бизнес-правил), трудозатраты  (для этого в компании должна быть хотя бы примитивная система учета рабочего времени). Предварительно фиксируем оценочные значения для всего перечисленного, чтобы потом оценить точность нашего прогноза.

Особый вопрос о фиксации дефектов требований. Бытует мнение, что после того, как требования утверждены, любое изменение - это change request. На самом деле практически всегда в процессе разработки возникают ситуации, когда в требованиях описаны не все альтернативы определенного сценария, специфицированы не все параметры и пр. Это - недоработки аналитика, дефекты, негативно отражающиеся на качестве системы. Их надо своевременно находить, фиксировать и устранять.

Анализ метрик, на мой взгляд, похож на работу врача-диагноста. Например, если отношение объема требований к объему кода существенно меньше, чем в среднем по компании, есть вероятность, что пишут "отсебятину",  система слабо документирована, и, соответственно, могут возникнуть проблемы при сопровождении этой системы.
Если оценка трудодозатрат на документирование требований совпала с фактическим значением, но фактический объем требований меньше планового, аналитики работали "в щадящем режиме". В этом случае производительность анализа будет, вероятно, ниже средней.

Если много дефектов закрыли путем корректировки требований, вероятно, аналитики плохо поработали на начальном этапе проекта, небрежно относились к своим обязанностям. А если таких дефектов намного меньше среднего или их вообще нет, то очень вероятно, что требования не актуализировались и расходятся с реализацией. А может быть и так, что аналитик тщательно продумал все до мелочей и аккуратно задокументировал.
Слишком высокая производительность документирования требований (единиц требований в час) чаще всего свидетельствует о низком качестве требований (много copy-paste). Кстати, при измерении производительности  программирования не учитывают автоматически сгенерированный код.

Так, на мой взгляд, выглядит идея проектных измерений в общих чертах. В любом случае метрики - это просто информация к размышлению, позволяющая выявить риски и проблемные области с большой долей объективности.   
Название: Re: Методы оценки эффективности Аналитика
Отправлено: oduduka от 23 Ноября 2009, 23:17:04
Саша, спасибо :) +1 Очень важные вещи подметил.

Как мне показалось, тема беседы имеет тенденцию к оценке не эффективности аналитика, а его неэффективности. Очень много уже озвучено признаков неэффективности, низкого качества, ошибок, недочетов, недодумок, слабой прозорливости. Возникает резонный вопрос: а есть ли идеал, пусть недостижимый, но к которому реально стремиться? Или аналитик обречен ощущать всеобщее недовольство?
И что еще интересно, все участники беседы, как я предполагаю, аналитики. Либо в настоящем, либо в прошлом. А как вы собственную работу сами оцениваете (оценивали)?
К тем, кто уже аналитики в прошлом вопрос даже еще интереснее - какие критерии качества позволили вам сделать карьеру? :)
Название: Re: Методы оценки эффективности Аналитика
Отправлено: bas от 23 Ноября 2009, 23:30:18
Так, на мой взгляд, выглядит идея проектных измерений в общих чертах. В любом случае метрики - это просто информация к размышлению, позволяющая выявить риски и проблемные области с большой долей объективности.  
+100, о чем я и пытался сказать в самом начале. А народ хочет все свести к автоматизму, это невозможно! Нужно  еще мозгами и руками потом поработать.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: InfinitI от 24 Ноября 2009, 00:05:39
Возникает резонный вопрос: а есть ли идеал, пусть недостижимый, но к которому реально стремиться? Или аналитик обречен ощущать всеобщее недовольство?

Хороший вопрос! :) Правда, когда мы говорим о "всеобщем недовольстве", мы должны понимать, что здесь мы как раз говорим об ожиданиях тех или иных лиц: представителей заказчика, менеджера проекта, разработчиков, тестировщиков... Можно ли по субъективным ожиданиям давать оценку эффективности? Исходя из определения эффективности (например, вот такого: "ЭФФЕКТИВНОСТЬ — относительный эффект, результативность процесса, операции, проекта, определяемые как отношение эффекта, результата к затратам, расходам, обусловившим, обеспечившим его получение", http://slovari.yandex.ru/dict/economic), скорее всего, нет.

Поэтому чтобы говорить об эффективности необходимо сравнивать характеристики полученного результата с затратами тех или иных ресурсов, выраженных количественно. Чтобы иметь такую возможность сравнивать, нужно определить, описать заранее, каков должен быть результат (например, что и в какие сроки и с каким качеством должно быть сделано) и какие допустимы затраты (например, такая-то задача должна быть решена за столько-то часов).

Вот хороший показательный пример. Задача моей коллеги заключалась в том, чтобы обеспечить формирование отчета, содержащего около 100 столбцов. Ей необходимо было сказать разработчикам, какая информация, по какому алгоритму и из какого места системы должна была браться в каждый из столбцов. У нее была инструкция, полученная от заказчика, в которой было описано, что должно содержаться в каком столбце отчета. При этом, согласно этой инструкции, часть столбцов отчета заполняться не должна была. Логично, что прорабатывала она в итоге оставшуюся часть, т.е. те столбцы, которые заполнять было нужно. В результате, спустя несколько месяцев выяснилось, что один из столбцов, которые по инструкции заполняться не должны были, заполнять было нужно. Коллега получила нагоняй за то, что "не подумала" об этом заранее. Правильно ли это? На мой взгляд, нет. Потому что тогда, получается, она должна была отдельно проанализировать каждый из не подлежащих заполнению столбцов (согласно инструкции) на предмет необходимости его заполнения. (А нагоняй она получила именно за этот конкретный столбец, что именно про него она не подумала.) Но такой задачи перед ней никто не ставил. Более того, в виду очень ограниченного количества времени, отведенного на реализацию, у нее просто даже физически не было возможности этим заниматься.

Вот... а для того, чтобы иметь возможность четко определить, какой результат и при каких затратах должен быть получен, нужна статистика, нужны какие-то показатели, метрики - т.е. чтобы еще и было понятно, что реально за такое-то время сделать можно вот столько-то с таким-то качеством... Иначе оценки с большой долей вероятности будут субъективными, на мой взгляд. :)
Название: Re: Методы оценки эффективности Аналитика
Отправлено: oduduka от 24 Ноября 2009, 00:17:57
NB: Субъективные оценки важны и нужны, потому что качество — это соответствие ожиданиям ключевых ЗЛ, а ожидания всегда субъективны.
Вот... а для того, чтобы иметь возможность четко определить, какой результат и при каких затратах должен быть получен, нужна статистика, нужны какие-то показатели, метрики - т.е. чтобы еще и было понятно, что реально за такое-то время сделать можно вот столько-то с таким-то качеством... Иначе оценки с большой долей вероятности будут субъективными, на мой взгляд. :)
Никуда мы не денемся от субъективности. Даже если мы вводим показатели, шкалы, каталоги компетенций, их КТО-ТО вводит, КТО-ТО отбирает исходные данные для оценки. Даже для оценки 360 КТО-ТО отбирает людей, которые будут оценивать специалиста. Всем хочется, чтобы этим КТО-ТО был либо он сам, либо тот, кому он доверяет и очень страшно, что оценивать будет какой-то не понятно откуда взявшийся человек по непонятным никому правилам.
Где-то это было у Дилберта "Забавно, что ВЫ оцениваете меня, потому что я могу выполнять Вашу работу, а Вы мою - нет". Согласитесь, что такая ситуация неприятна всем.

Оценка эффективности обычно завязана на плюшки, раздаваемые по результатам отчетного периода или по завершению проекта. Поэтому оцениваемым этот вопрос совсем не безразличен.
Что предпримет человек (а тем более не обделенный аналитическими способностями), если знает, по каким показателям его оценивают? Если показатели не точны и позволяют улучшить значения обходными путями, человек ими воспользуется. Если оценка зависит от чьего-то мнения, он подстроится под это мнение. Если критерии оценки или способы соответствовать этим критериям не ясны, лучше сидеть тихо и не высовываться.

Что это? Плохие специалисты или низкое качество системы оценки, не учитывающей альтернативные сценарии и с плохой проработкой требований к входной информации? Ничего не напоминает? :) Система оценок - это тоже информационная система, требующая анализа целей, заинтересованных лиц, требований, согласованной аналитической модели, разработки (пусть и не кода, а процессов) и тестирования на такие вот кривости, которые я описала выше. Может начать анализ по всей форме? :)
Название: Re: Методы оценки эффективности Аналитика
Отправлено: bas от 24 Ноября 2009, 00:43:56
InfinitI,

Кстати, когда начал читать про незаполненные столбцы, у меня сразу возник вопрос (кот я бы наверное задал Заказчику) - а почему они пустые :)
Название: Re: Методы оценки эффективности Аналитика
Отправлено: InfinitI от 24 Ноября 2009, 00:58:36
А там отчет такой специфический был... :) Заказчик (дочерняя организация) должен был предоставлять этот отчет в головную организацию... А форма отчета общая для всех - и для дочек, и для головной... И типа дочкам (или такого типа дочкам, они еще разных типов были и есть) эти столбцы заполнять было не нужно - как-то так... С удовольствием ответила бы более развернуто, но я-то этим отчетом не занималась... А вопрос, да, возник и был разрешен таким вот образом.

Т.е. понятно, что можно было бы дальше задаться вопросом: а почему дочкам не нужно?... Но, на мой взгляд, все равно пришли бы к тому, что тогда, по-хорошему, надо было разбираться с каждым столбцом в отдельности. :) И в итоге все равно приходим к тому, что это дополнительные трудозатраты...
Название: Re: Методы оценки эффективности Аналитика
Отправлено: InfinitI от 24 Ноября 2009, 02:43:28
очень страшно, что оценивать будет какой-то не понятно откуда взявшийся человек по непонятным никому правилам
Вот поэтому правила-то и должны быть понятны, т.е. заранее определены и озвучены всем оцениваемым и, желательно, с ними согласованы... Хотя, по-моему, это уже попахивает утопией...  ::)
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kirillss от 24 Ноября 2009, 10:15:13
Некоторые выводы:
1 Существуют способы оценки конкретного аналитика. Но без ручного привода они не обходятся. Ручной привод неприятен возможностью использовать его как способ наказать неугодных (вариант для руководства) или формального подстраивания под него низов (дело при этом может и пострадать)
2 Обьективных вариантов оценки в жизни видимо всетаки никто (по крайней мере из тех кто участвовал в обсуждении) не использует, по разным причинам.. Такие оценки неизвестны или трудоемки в реализации

Вывод получается что оценивать все таки надо не аналитиков, а целиком команду или решение/продукт полученный этой командой

Согласны?
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Алексей Шемис от 24 Ноября 2009, 12:02:06
Хороший вопрос! :) Правда, когда мы говорим о "всеобщем недовольстве", мы должны понимать, что здесь мы как раз говорим об ожиданиях тех или иных лиц: представителей заказчика, менеджера проекта, разработчиков, тестировщиков... Можно ли по субъективным ожиданиям давать оценку эффективности? Исходя из определения эффективности (например, вот такого: "ЭФФЕКТИВНОСТЬ — относительный эффект, результативность процесса, операции, проекта, определяемые как отношение эффекта, результата к затратам, расходам, обусловившим, обеспечившим его получение", http://slovari.yandex.ru/dict/economic), скорее всего, нет.

Поэтому чтобы говорить об эффективности необходимо сравнивать характеристики полученного результата с затратами тех или иных ресурсов, выраженных количественно. Чтобы иметь такую возможность сравнивать, нужно определить, описать заранее, каков должен быть результат (например, что и в какие сроки и с каким качеством должно быть сделано) и какие допустимы затраты (например, такая-то задача должна быть решена за столько-то часов).

Готов согласиться с Галиной.
Хочу немного дополнить.
1. Кто оценивает эффективность и цель оценки?
   Руководитель отдела СА для принятия решений в управлении деятельности по выполнению отделом своих функций в рамках обозначенных компетенции, а именно:
-   планирование деятельности (включая планирование требований);
-   организацию деятельности (включая распределение ресурсов);
-   контроль;
Скорее всего, так же руководитель проекта.

2. GLITBA Competency Model предусматривает несколько видов деятельностей аналитика:
а) анализ коммерческой деятельности предприятия и подготовка проекта;
б) планирование и управление требованиями;
в) сбор требований;
г) анализ и документирование требований;
д) реализация требований;
е) коммуникации с заинтересованными лицами и визуализация информации о проекте;
ж) обеспечение качества;
з) инженерия требований к удобству использования системы.

3. Какие затраты осуществляются?
Как сказала Галина, что эффект  м.б. охарактеризован, как отношение полученного результата к затратам. А затрачивают обычно, да и принято оценивать: время, деньги, ресурсы. Исходя из пропорции, при сокращении их (время, деньги, ресурсы) и получении одинакового результата мы повышаем эффективность.
Думаю всем понятно, для чего нам нужно изменять затраты и варьировать ими. Возьмем, к примеру, проблему которую пытаются решить с помощью аналитика «убрать риски непонимания заказчика и недобора требований», при нехватке аналитических ресурсов проблему нужно решать комплексно и возможно другими методами, за счет других ресурсов.

4. Методы оценки эффективности.
На основе примеров из других отраслей (например, «МЕТОДИКА оценки эффективности деятельности органов исполнительной власти субъектов Российской Федерации»), к методам оценки можно отнести совокупность операций по измерению некоторых показателей деятельности.
Показатели можно объединять в группы, например:
-   общие;
-   коммуникации;
-   выявления;
-   анализа и документированная и т.п.

5. Немного о самих показателях.
Скорее всего, можно говорить о качественных и количественных показателях. Показатели можно разделить на: показатели, динамика роста которых отражает эффективность деятельности; показатели, динамика снижения которых отражает эффективность деятельности.
Примеры (подготовлены на скорую руку, прошу отнестись с пониманием).
Общие:
а) количество видов деятельностей, в которых аналитик компетентен.
Если, например, знания и опыт, синтезированные в навыки позволяют ему эффективно выполнять все вышеобозначенные виды деятельностей, значит он по этому показателю эффективен – насколько, можно определить пропорцией «x/8».

Выявления (для задачи «идентификация и описание заинтересованных в проекте лиц»):
а) знание всех областей в которых осуществляется идентификация;
б) знание принципов и методов идентификации ЗЛ из каждой области;
в) время затраченное на выделение;
г) время затраченное на описание;
Название: Re: Методы оценки эффективности Аналитика
Отправлено: Andrey Verbitsky от 24 Ноября 2009, 12:46:41
Вывод получается что оценивать все таки надо не аналитиков, а целиком команду или решение/продукт полученный этой командой
Согласны?
Да. Так оно и есть.

Аналитик как и консультант или юрист (или другие т.п.), производит товар, способы оценки которого весьма затратны, и в силу доверитеотности - могут быть премущественно получены уже после или в ходе процесса оказания услуги.

Основная проблема с аналитаком заключается в том, что его резутьтат - только часть общего процесса, и его успешность очень зависит от деятельности людей на предидущем этапе.
Аналитика можно оцениь на знание им разнообразных техник и методов анализа (более-менее обьективно) и оценить его способ мышления (уже менее обьективно).

Однако, если говорить о работе на проекте - то выделить отдельно его  работу независимо от предшествующих ей этапов и оценить отдельно - имхо - невозможно.

Если аналитик выходит на "нерасчищенную территорию" - кто будет виноват в его плохих результатах? Как оценивать - он сам виноват в том, что не смог договориться с заказчиком или это вина ПМ (или сейлза), который имел конфликт с этим заказчиком на предварительных переговорах (и ничего ему не сказал об этом, или даже сказал)?

Название: Re: Методы оценки эффективности Аналитика
Отправлено: InfinitI от 24 Ноября 2009, 17:28:03
5. Немного о самих показателях.
Скорее всего, можно говорить о качественных и количественных показателях. Показатели можно разделить на: показатели, динамика роста которых отражает эффективность деятельности; показатели, динамика снижения которых отражает эффективность деятельности.
Примеры (подготовлены на скорую руку, прошу отнестись с пониманием).
Общие:
а) количество видов деятельностей, в которых аналитик компетентен.
Если, например, знания и опыт, синтезированные в навыки позволяют ему эффективно выполнять все вышеобозначенные виды деятельностей, значит он по этому показателю эффективен – насколько, можно определить пропорцией «x/8».

Выявления (для задачи «идентификация и описание заинтересованных в проекте лиц»):
а) знание всех областей в которых осуществляется идентификация;
б) знание принципов и методов идентификации ЗЛ из каждой области;
в) время затраченное на выделение;
г) время затраченное на описание;

Идея мне очень понравилась! Потому что понятно было, что надо выделять какие-то показатели, понятно, что один из способов выделения показателей - это разложение процесса на действия... Но как-то не связывала эти моменты друг с другом до сих пор... Вообще, мне было бы интересно развить эту тему. :)
Название: Re: Методы оценки эффективности Аналитика
Отправлено: cintyao от 25 Ноября 2009, 15:53:40
Метрики, которые целесообразно использовать для оценки качества анализа, следующие:

- плотность дефектов требований (отношение количества дефектов требований к объему требований);
- производительность разработки требований (отношение объема требований к трудозатратам на их разработку);
- точность оценки трудозатрат на разработку требований (отношение модуля разницы между оценочным и фактическим значением этих трудозатрат к фактическим трудозатратам, выраженное в процентах);
- точность оценки объема требований (то же, но вместо трудозатрат - объем требований);
- относительное покрытие кода требованиями (отношение объема требований к объему кода);
- доля дефектов, закрытых путем уточнения требований (отношение количества дефектов, закрытых путем уточнения требований, к общему количеству дефектов, выраженное в процентах);
- время простоя до уточнения требований (отношение трудозатрат, списанных как простой по причине неоднозначости в требованиях, к общепроектным трудозатратам, выраженное в процентах);
- наверное, можно найти другие метрики, специфичные для определенной компании).

Большинство из этих метрик у нас в компании реально используются, причем дя оценки не только анализа, но также программирования, тестирования... Некоторые метрики еще не введены в практику, так как нужна добрая воля руководства на то, чтобы активно заниматься улучшением процессов. Пока ждем. ))

Как это работает? В конце каждого релиза или раз в N месяцев, если проект длинный, производятся измерения кода, трудозатрат etc. и составляется отчет по количественным параметрам проекта. В нем выделяются значения, которые сильно отличаются от средних по компании для проектов данного типа (типизация проектов нужна для корректного измерения кода, написанное на различных языках программирования). Руководитель проекта, получив отчет, должен прокомментировать причины отклонений.

Это очень хорошая информация к размышлению. Например, на одном проекте проекте было два случая, когда фактические трудозатраты на анализ очень сильно превысили прановые.  Стали разбираться, как так получилось, и пришли к выводу, что в обоих случаях речь шла о доработке функциональности автоматических сервисов. Для конечного пользователя работа этих сервисов мало заметна, а описывать их работу в требованиях нужно было тщательно и подробно. Теперь на описание таких требований мы планируем больше времени и, самое главное, можем это аргументированно обосновать для заказчика.

А если отчет показал, что отклонения значений метрик от средних по компании незначительные, то можно предположить, что все проектные процессы близки к норме.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: kirillss от 25 Ноября 2009, 16:30:01
2cintyao
Можно конечно обсуждать все написанные метрики дополнять их и т.д., только в общем случае все перечисленное относится именно к процессу анализа. В котором участвует как команда (причем местами не только аналитик) так и заказчик

То есть это не качество/эффективность Аналитика
Название: Re: Методы оценки эффективности Аналитика
Отправлено: cintyao от 25 Ноября 2009, 18:45:10
2kirillss
Ну почему же? Производительность, точность прогноза и плотность дефектов можно рассматривать как персонифицированные показатели.

Но я не ставлю своей целью определить для себя или для кого-то еще, что аналитик А эффективнее аналитика Б или наоборот. Просто если метрики, связанные с анализом, попали в красную зону, значит, аналитика проекта в данный момент - проблемная область. И при этом не имеет значения то, что на проекте работает самый заслуженный аналитик с огромным опытом. Важно определить, что этому аналитику и всей команде нужно предпринять, чтобы нормализовать процессы.

Возможно, я ошибаюсь, но у меня сложилось мнение, что некоторые из участников этого обсуждения пытаются найти своеобразный "философский камень", некие критерии, соответствуя которым можно всегда претендовать на то, чтобы в любых обстоятельствах быть объективно правым, хорошим, эффективным... Думаю, что существование таких универсальных критериев невозможно в принципе по причине многообразия этих самых обстоятельств. Например, можно аргументированно доказывать, что ты знаешь много нотаций и предметных областей, что на твоем счету куча успешных проектов, но в каком-то конкретном случае ты можешь оказаться "не ко двору", потому что начальство ценит не профессионализм, а личную преданность. И в этом нет ничего удивительного.

Наверное, нужно просто оставаться самим собой и работать так хорошо, как ты только умеешь, независимо от того, какими метриками измеряют твою работу и по каким субъективным критериям тебя оценивают.
Название: Re: Методы оценки эффективности Аналитика
Отправлено: InfinitI от 26 Ноября 2009, 00:10:52
но в каком-то конкретном случае ты можешь оказаться "не ко двору", потому что начальство ценит не профессионализм, а личную преданность.
а причем тут тогда "объективная правота" и эффективность?;)