Форум Сообщества Аналитиков

Общий раздел => Для всех => Тема начата: AlyonaS от 08 Октября 2015, 11:14:38

Название: Измерить качество требований
Отправлено: AlyonaS от 08 Октября 2015, 11:14:38
Коллеги, как вы собираете обратную связь от ЗЛ по качеству требований? Опрос для всех? Интервью с каждым? Или только личное ощущение?
Название: Re: Измерить качество требований
Отправлено: Леонид от 08 Октября 2015, 13:26:12
Коллеги, как вы собираете обратную связь от ЗЛ по качеству требований? Опрос для всех? Интервью с каждым? Или только личное ощущение?

Уточните, в каких целях в данном случае собирается "обратная связь". Измерять качество можно из различных соображений, и подходы будут разными.

Также, о каких ЗЛ идет речь? Функциональный заказчик, менеджер проекта, менеджер продукта, программист и тестировщик - все они заинтересованы в требованиях по-своему, устроены по-разному, оценивают разное и, соответственно, "как собирать" для них нужно разное.
Название: Re: Измерить качество требований
Отправлено: AlyonaS от 08 Октября 2015, 14:03:00
Обратная связь собирается с целью оценить качество требований. На основании чего оценить работу аналитиков и повысить качество будущих требований.

ЗЛ - это все перечисленные. И заказчик, и менеджеры, и тестировщики с разработчиками, интеграторами. Аналитик пишет требования для каждого из них, поэтому важно получить оценку от всех ЗЛ и по всем типам требований - бизнес, пользователя, функциональным и не функциональным.
Название: Re: Измерить качество требований
Отправлено: Леонид от 08 Октября 2015, 14:40:49
Коли так, то для ответа нужен фундаментальный труд. Или сферические тезисы из оного. Навроде:

(про заказчика)
1. В течение какого времени согласуются требования? Отклонение от среднего по проектам?
2. Сколько проведено итераций их изменения, инициированных заказчиком?
3. Есть ли претензии к формулировкам у смежных (помимо функциональной) служб заказчика?
4. Какая часть требований на итоговых испытаниях вызывает вопрос заказчика "а нафига нам это надо?"
...

или (немного с другой стороны):
1. Соответствуют ли требования политической ситуации у заказчика? (не вызывают ли локальные очаги агрессии в давних терках между его подразделениями).
2. Соответствуют ли формулировки финансово-экономической политике заказчика? (т.е. если он проводит контракт по статье бюджета "доработка", никакой "разработки" в требованиях фигурироваьт не должно)
3. Соответствует ли общий объем требований ожиданиям заказчика (заплатил он 100500 млн рублей, и через 2 месяца работы получил 10 страниц требований).
4. и т.д.

И это мы еще не дошли до смысловой нагрузки требований.

Ну или не морочить себе всем этим голову, пойти проторенным путем и:
- взять приличную книжку по работе с информацией, почитать про полноту, непротиворечивость, актуальность, достоверность и т.п.
- привлечь человека, который в этих вопросах неплохо разбирается, и поручить это дело ему.

Название: Re: Измерить качество требований
Отправлено: Леонид от 08 Октября 2015, 14:45:14
На основании чего оценить работу аналитиков

Корреляция есть не всегда. Хороший аналитик может запросто разрабатывать отвратительные требования по 9 из 10 разделам оценки. Зато в десятом разделе есть тот самый единственный критерий, который требуется задрать в данной конкретной ситуации. Гм... Зато наоборот гораздо реже. У плохих аналитиков хороших требований почти не получается.
Название: Re: Измерить качество требований
Отправлено: AlyonaS от 08 Октября 2015, 16:06:43
Собственно хотелось узнать делал ли кто такой фундаментальный труд и какой результат.

Не морочить голову - не вариант. Даешь KPI!) Даже если ты и есть тот самый человек "который не плохо разбирается в этих вопросах", то тебе все равно хочется знать на сколько требования последовательны, атомарны, не двусмысленны и т.д. Эту оценку должны давать люди, которые используют требования. Для человека, который их пишет - они идеальны, иначе требования не ушли бы в производство. 

Конечно, результат такой оценки - это не истина в последней инстанции. Стоит учитывать не только вес каждого из 10 параметров, но и ситуацию в целом. Заказчика, сроки, команду, ограничения бюджета и т. д. Пусть такая оценка не точна, но она измерима и не субъективна - в этом ценность. Веса, приоритеты и параметры оценки можно редактировать по мере внедрения. А в результате следить за изменением оценки для каждого аналитика от проекта к проекту, от команды к команде. Выводы будут полезны как руководителю (в каких проектах и командах человек эффективен) так и аналитику (ясность в слабых сторонах).
Название: Re: Измерить качество требований
Отправлено: bas от 08 Октября 2015, 18:58:02
Я тут немного затрагивал этот вопрос:
http://www.slideshare.net/alexgolder/requirements-quality-cmcons2010
Название: Re: Измерить качество требований
Отправлено: Denis Beskov от 08 Октября 2015, 19:04:40
Я собираю обратную связь от коллег лично в разговоре и комментариях к документу/текстам требований/постановок задач
Название: Re: Измерить качество требований
Отправлено: SALar от 09 Октября 2015, 14:53:08
Может быть поможет: "Приоритизация методов верификации требований" http://sqadays.com/ru/talk/11180
Название: Re: Измерить качество требований
Отправлено: AlyonaS от 12 Октября 2015, 09:10:19
Спасибо за ответы! В личном разговоре и я собираю, но не регулярно и за динамикой не слежу. К тому же мало кто в личной беседе может по-честному сказать о плохом.
Название: Re: Измерить качество требований
Отправлено: Леонид от 12 Октября 2015, 13:17:47
Не морочить голову - не вариант. Даешь KPI!)

"Когда я слышу слово KPI, рука тянется к предохранителю браунинга" почти (с). :)
Вообще, KPI - самый надежный из всех известных мне способов убить естественную мотивацию. В теории подходкрасивый. Но вот с практикой, особенно в творческих областях, как-то не складывается. 

Но Вы пробуйте, вдруг получится.

Даже если ты и есть тот самый человек "который не плохо разбирается в этих вопросах", то тебе все равно хочется знать на сколько требования последовательны, атомарны, не двусмысленны и т.д. Эту оценку должны давать люди, которые используют требования.

Зачем, если этот человек видит не только результат, но и весь путь к нему? И может на лету править тот или иной момент? Кстати, вот эти вот "последовательны", "недвусмысленны" очень зависят не только от разработчика, но и от потребителя. Особенно последнее.

Для человека, который их пишет - они идеальны, иначе требования не ушли бы в производство. 

Гм. Я вот, в роли аналитика, за последние 4 года не припомню разработанный мной лично или командой идеальных требований. За все стыдно, где больше, где меньше. Ибо, как сказал т.Сталин еще в 34 году, "Ведь инженер, организатор производства работает не так, как он хотел бы, а так, как ему прикажут, как велит интерес хозяина."

Конечно, результат такой оценки - это не истина в последней инстанции. Стоит учитывать не только вес каждого из 10 параметров, но и ситуацию в целом.

То есть, поправить ручками, если КПИ начинают показывать что-то не то? :)

Пусть такая оценка не точна, но она измерима и не субъективна - в этом ценность.

Чем неточная несубъективная оценка ценнее неточной субъективной? А вот стоит она неизмеримо дороже.
И, скажу по секрету, в творческих областях несубъективных оценок быть не может. Не верите - попробуйте самостоятельно разделить 100 условных рублей премии между программистом, аналитиком и тестировщиком проекта. Соразмерно вкладу. Да хоть между тремя программистами. Можно пользоваться любыми КэПэАйями, БээСЦами и прочими "системами". :)


Веса, приоритеты и параметры оценки можно редактировать по мере внедрения.

Да. Это очень понравится тем, кто уже успел соптимизировать свою работу под предыдущую версию КПИ.

А в результате следить за изменением оценки для каждого аналитика от проекта к проекту, от команды к команде. Выводы будут полезны как руководителю (в каких проектах и командах человек эффективен) так и аналитику (ясность в слабых сторонах).

O sancta simplicitas!
Впрочем, как говаривали в пору моего студенчества, "Если седой профессор говорит, что что-то возможно - это точно возможно. А если он говорит, что что-то невозможно - вполне может быть, что он заблуждается".
Название: Re: Измерить качество требований
Отправлено: AlyonaS от 12 Октября 2015, 14:23:36
Леонид, спасибо! Вы чудо как мотивируете)
Название: Re: Измерить качество требований
Отправлено: Леонид от 12 Октября 2015, 14:43:45
Леонид, спасибо! Вы чудо как мотивируете)

Рад стараться! :)
Название: Re: Измерить качество требований
Отправлено: SALar от 12 Октября 2015, 18:21:09
"Когда я слышу слово KPI, рука тянется к предохранителю браунинга" почти (с). :)
Вообще, KPI - самый надежный из всех известных мне способов убить естественную мотивацию. В теории подходкрасивый. Но вот с практикой, особенно в творческих областях, как-то не складывается. 

По поводу мотивации согласен. Но черт даже с ней, с мотивацией.
KPI - самый надежный из всех известных мне способов убить производственный поток. Голдратт в книге "Критическая цепь" наглядно показал, что отмена KPI необходимый и достаточный способ превратить безнадежно убыточную фирму в золотую жилу.
http://software-testing.ru/forum/index.php?/topic/29619-performance-evaluation-ili-ezhegodnye-razgovory-o-glavnom/page-2#entry135399

В нетворческих областях "совсем не складывается".
Цитировать
Одно из очень распространенных заблуждений: "Все сотрудники должны быть заняты работой на 100%". Это заблуждение приводит к огромным финансовым потерям, а иногда и к банкротству.
 
Несколько лет назад я имел честь беседовать с директором  одной из наших аутсорсинговых компаний. В свое время они провели исследование, с целью выяснить, сколько процентов должно находиться на "скамейке запасных" для максимизации прибыли фирмы. Результат, который они получили, в точности соответствовал теории массового обслуживания. Оптимальная цифра для их бизнеса - 25% простаивающего персонала.

Название: Re: Измерить качество требований
Отправлено: SALar от 12 Октября 2015, 18:38:19
...Выводы будут полезны как руководителю (в каких проектах и командах человек эффективен) так и аналитику (ясность в слабых сторонах).
Зачем такие сложности? Все проще.

"Если аналитик не умеет верифицировать требования, то он не умеет их писать. Не надо учить писать требования, учите их верифицировать."

Берете любой документ требований, отдаете их нескольким аналитикам на верификацию.  Потом проводите совещание - сравнение недочетов. После выпуска в продакшен выявляете ошибки, вызванные плохими требованиями и снова проводите сессию анализа. На выходе у вас будут пропущенные аналитиками ошибки. Не тем, кто писал - это неинтересно, а теми, кто верифицировал. После этого ищете корневые причины пропуска. И совсем не факт, что виноват аналитик. "За 94% брака ответственность несет менеджмент."

Be happy.

Название: Re: Измерить качество требований
Отправлено: Леонид от 13 Октября 2015, 11:12:59
Но черт даже с ней, с мотивацией.

Тут не могу согласиться. Мотивация в творческих зачадах меняет производительность на порядок. По мне, так она  важнее квалификации, а местами - даже внешней организации производственного потока (просто потому, что сама этот поток организует по-своему). Местами.
Так что я делаю ставку на мотивацию. При этом не факт, что я прав и что нет путей лучше.

Голдратт в книге "Критическая цепь" наглядно показал, что отмена KPI необходимый и достаточный способ превратить безнадежно убыточную фирму в золотую жилу.

Так вот он какой - бизнес-Грааль! :)

KPI - самый надежный из всех известных мне способов убить производственный поток.
В нетворческих областях "совсем не складывается".

Почему? Чисто теоретически, КПИ, как естественное развитие идей Тейлора, должны неплохо работать в хорошо нормируемой и детерминированной обстановке. Например, на кассирах супермаркетов или рядовых макдональдсов. Там, где понятно, из чего складывается производительность, каковы возможности среднего человека, широко применяется внешнее мотивирование и прочая, и прочая. Достоверной информации у меня нет, но то что слышал и видел, такую точку зрения не опровергает.
Но стоит только чуть выйти из зоны предсказуемости, или начать иметь дело с областями, где производительность человека при прочих равных скачет в диапазоне не десятков процентов, а на сотен и тысяч - всё, тейлорианство не тянет. Тянет подход "холодная голова, чистые руки и горячее сердце".
Название: Re: Измерить качество требований
Отправлено: SALar от 13 Октября 2015, 12:52:11
Мотивация в творческих зачадах меняет производительность на порядок. По мне, так она  важнее квалификации,
Вторая теорема Деминга: «Больше всего вреда приносит тот, кто работает изо всех сил».
На русском есть похожая поговорка: "Опаснее всего дурак с мотивацией".


а местами - даже внешней организации производственного потока (просто потому, что сама этот поток организует по-своему).
Тайичи Оно разработал производственную систему, которая резко увеличила прибыль Тойоты. Но сотрудниками она воспринималась как "ужасная система".
Я видел такие разработки (этот поток организует по-своему) сделанные людьми, у которых было много мотивации и мало квалификации.
В газенваген.


Почему? Чисто теоретически, КПИ, как естественное развитие идей Тейлора, должны неплохо работать в хорошо нормируемой и детерминированной обстановке. Например, на кассирах супермаркетов или рядовых макдональдсов. Там, где понятно, из чего складывается производительность, каковы возможности среднего человека, широко применяется внешнее мотивирование и прочая, и прочая. Достоверной информации у меня нет, но то что слышал и видел, такую точку зрения не опровергает.
Но стоит только чуть выйти из зоны предсказуемости, или начать иметь дело с областями, где производительность человека при прочих равных скачет в диапазоне не десятков процентов, а на сотен и тысяч - всё, тейлорианство не тянет. Тянет подход "холодная голова, чистые руки и горячее сердце".
Это работает для вырожденного производственного потока из одного рабочего центра и то не всегда. Организация как система так не работает. Смотри "Критическая сеть" Голдратта.

> Например, на кассирах супермаркетов
Я работал к крупной (оборот более миллиарда долларов) розничной сети. Мне рассказывали истории про попытки введения KPI на продавцах в супермаркетах. Эти истории можно счесть весьма забавными, если у вас специфическое чувство юмора. Надо ли говорить что все эти KPI были быстро отменены?
Название: Re: Измерить качество требований
Отправлено: Леонид от 13 Октября 2015, 13:42:55
Вторая теорема Деминга: «Больше всего вреда приносит тот, кто работает изо всех сил».
На русском есть похожая поговорка: "Опаснее всего дурак с мотивацией".

Только "с инициативой", а не с мотивацией. А зачем нам дураки?

Тайичи Оно разработал производственную систему, которая резко увеличила прибыль Тойоты. Но сотрудниками она воспринималась как "ужасная система".

Ну так давно известно, что для того, чтобы корова меньше ела и больше давала молока, ее надо меньше кормить и больше доить. Я, будучи в стане коров, с такой постановкой вопроса не очень согласен. И в Тойоту работать не пойду, покуда есть альтернативы. И, будучи ответственным за коров поменьше, такой участи им не пожелаю - наоборот, буду делать от меня зависящее для того, чтобы луга были зеленые, выпас привольный а дойка - по расписанию и без применения промышленных компрессоров.
А так - кто ж Тойоте запретит-то? Еще можно сотрудников на органы продавать, это даст взрывной рост прибыли.

Я видел такие разработки (этот поток организует по-своему) сделанные людьми, у которых было много мотивации и мало квалификации.
В газенваген.

И я видел. И такие, которые в ваген, и другие - глядя на которые, разве что по ляжкам себя хлопать можно от восхищения. Раз на раз не приходится.

Это работает для вырожденного производственного потока из одного рабочего центра и то не всегда. Организация как система так не работает. Смотри "Критическая сеть" Голдратта.

Надо бы. Давно откладываю на почитать.

> Например, на кассирах супермаркетов
Я работал к крупной (оборот более миллиарда долларов) розничной сети. Мне рассказывали истории про попытки введения KPI на продавцах в супермаркетах. Эти истории можно счесть весьма забавными, если у вас специфическое чувство юмора. Надо ли говорить что все эти KPI были быстро отменены?

Расскажешь подробнее? Любопытно.

Я на заре своей трудовой деятельности внедрял и в течение пары лет эксплуатировал BSC в милицейской структуре. BSC устанавливалась поверх "палочной" системы, была рассчитана не на персоналии, а на структурные подразделения и в целом "производственному процессу" никак не мешала. Ну, получали 2-3 отстающих свой пистон ежемесячно на общих совещаниях. Ну так они и так его получали, за куда большие косяки. Зато 2-3 передовика получали почет, поощрения с занесением и плюшки в виде  призов вроде телевизоров, видеомагнитофонов и прочей мелочи. Призы обратно не личные, а на подразделение. Ставились в дежурках, комнатах отдыха личного состава.
Отдельные командиры вдохновились и активно участвовали не только в подтягивании нужных показателей, но и в развитии самой BSC. В целом, считаю тот опыт довольно удачным.
Название: Re: Измерить качество требований
Отправлено: SALar от 13 Октября 2015, 14:38:51
Надо бы. Давно откладываю на почитать.
Не откладывай. После изучения теорий Деминга и Голдратта мое мышление изменилось кардинально. 10 лет назад я бы согласился с тобой по гораздо большему числу пунктов.

Начать рекомендую с "Цель. Процесс непрерывного улучшения." Она очень легко читается и ее можно осилить за один день.
Потом, пожалуй, "Синдром стога сена". Не откажи себе в удовольствии, попытайся решить задачу, не заглядывая в ответ.
Потом "Цель-2" и "Критическая цепь"

И параллельно "Пространство доктора Деминга" http://www.ozon.ru/context/detail/id/28347894/ Книга очень глубокая, ее лучше читать постепенно, осмысливая каждую главу.

PS. Полагаю, без знания этих книг управление будет не очень хорошим.
Название: Re: Измерить качество требований
Отправлено: Леонид от 13 Октября 2015, 15:13:34
Начать рекомендую...

Благодарю. Любопытно будет взглянуть.
Название: Re: Измерить качество требований
Отправлено: SALar от 13 Октября 2015, 16:20:46
"Когда я слышу слово KPI, рука тянется к предохранителю браунинга" почти (с). :)
Не. Тут нужен ТОС-1 «Буратино» https://ru.wikipedia.org/wiki/%D0%91%D1%83%D1%80%D0%B0%D1%82%D0%B8%D0%BD%D0%BE_(%D0%A0%D0%A1%D0%97%D0%9E)