method
Как собираются отчёты DORA
Мигрированный разбор того, как устроен сам отчёт DORA: охват опроса, три пути анкетирования, ежегодная кластеризация групп эффективности и что менялось в методологии.
Охват опроса и три пути анкетирования
Отчёт строится на ежегодном опросе практиков, а не на телеметрии репозиториев: выборка набирается через рассылки, партнёров и открытый доступ, поэтому она самоотобранная. В 2024 году анкета была разведена на три пути с разными наборами вопросов, так что часть показателей считается не по всей выборке, а по её ветви. Читая любую цифру из отчёта, сначала найдите, по какому пути и на каком n она получена.
Кластеризация и изменения методологии
Группы low/medium/high/elite не имеют фиксированных порогов: кластеры пересобираются на данных каждого года по четырём delivery-метрикам, поэтому границы двигаются от отчёта к отчёту и сравнение «мы были high в прошлом году» некорректно. В 2024 delivery-факторы дополнительно сведены в throughput и stability при сохранении кластерного формата итоговой классификации.
Полный разбор из прежнего каталога
Текст перенесён целиком: короткие секции выше — это его конспект, а ниже идёт исходный разбор с ссылками и материалами.
Primary Source
DORA (DevOps Research and Assessment)
Официальный сайт исследований DORA.
Primary Source
DORA (DevOps Research and Assessment)
Официальный сайт исследований DORA.
DORA — одно из самых длительных и системных исследований в области engineering productivity. Эта глава разбирает, как именно собираются отчеты, как формируются группы эффективности и чем обеспечивается валидность выводов.
Основа главы
Telegram пост #3705
Разбор методологии DORA в двух частях.
Основа главы
Telegram пост #3705
Разбор методологии DORA в двух частях.
Охват опроса 2024
~3,000
Респондентов (2024)
36%
Технологии
16%
Финтех
9%
Ритейл
Четыре базовые метрики для кластеризации
Change Lead Time
Скорость прохождения изменений от коммита до продакшена.
Deployment Frequency
Частота поставки изменений в production.
Change Failure Rate
Доля изменений, которые приводят к инцидентам/деградации.
Failed Deployment Recovery Time
Время восстановления после неуспешного релиза.
Группы эффективности (low/medium/high/elite) строятся ежегодно из свежих данных, а не по фиксированным «магическим» порогам. Поэтому границы кластеров могут меняться от отчета к отчету.
Что изменилось в методологии
- С 2023 года DORA ушли от одной большой модели к набору более компактных моделей с проверяемыми связями.
- Границы performance-групп (low/medium/high/elite) не фиксированы: кластеры формируются на текущих данных каждого года.
- Для репрезентативности выборки ориентируются на отраслевые внешние обследования (например, Stack Overflow Developer Survey).
- В 2024 добавлен фокус на rework rate через вопрос о незапланированных деплоях для исправления багов.
В 2024 авторы дополнительно свели delivery-факторы в две группы: throughput и stability, при этом сохранив традиционный кластерный формат итоговой классификации.
Три пути опроса в 2024
AI path: влияние GenAI на процессы и результаты.
Platform engineering path: влияние платформенной инженерии.
Workplace path: влияние трансформационного лидерства и организационной среды.
Валидность и причинность
Внутренняя валидность
Проверяется через Confirmatory Factor Analysis (CFA) с использованием lavaan (R): ответы на вопросы внутри одного конструкта должны быть консистентны.
Внешняя валидность
Проверяется ожидаемыми связями между конструктами и outcomes в «реальном мире»; несоответствия требуют новых гипотез.
Causal inference
Используются DAG-модели (DAGitty) для учета confounders и оценки более правдоподобных причинных путей.
Байесовская оценка эффектов
Параметры оцениваются через posterior-распределения и симуляции (1000+ draws) вместо одной точечной оценки.
Практические выводы для лидеров и платформенных команд
- DORA-метрики лучше использовать как часть системы гипотез и экспериментов, а не как «табло KPI» без контекста.
- Сравнение команд между собой без учета контекста, домена и architecture constraints часто приводит к ложным выводам.
- Ценность подхода в повторяемом цикле: измерение -> интерпретация -> изменения в practices/culture -> повторное измерение.
Связанные главы
RIMS #13 - Review of DORA Methodology
Подкаст-разбор методологии DORA и ее ограничений.
RIMS #16 - Impact of Generative AI in Software Development
Пример применения DORA-рамки к теме влияния GenAI.
RIMS #17 - Measuring the Impact of Early-2025 AI on Developer Productivity
Контрастный кейс про ограничения дизайна эксперимента и интерпретацию метрик.