Фонд «Сколково» опубликовал исследование «Российские Low-code платформы 2023», призванное помочь заказчикам в выборе платформ для автоматизации бизнес-процессов.

Оценка выполнялась в три этапа:

1. На российском рынке был обнаружен 31 вендор, им были отправлены анкеты.
2. Прислали заполненные анкеты 24 участника. По информации из анкет эксперты проставили первичные оценки по трем группам критериев: функциональность, технический потенциал, организационный потенциал.
3. По сумме первичных оценок были отобраны 12 финалистов. С каждым из финалистов были проведены онлайн-встречи с демонстрацией продуктов в реальном времени, вопросами и ответами. По результатам демонстраций эксперты проставили свои оценки.

Итоговая оценка рассчитывалась как произведение первичной оценки и оценки экспертов:

Общий рейтинг	Платформа	Общий балл первичной оценки (макс. 14,0)	Оценка экспертов (макс. 10,0)	Итоговый балл
1	Первая Форма	13,88	9,08	12,60
2	BPMSoft	13,52	8,82	11,92
3	GreenData	12,36	9,01	11,14
4	ELMA	13,56	8,03	10,89
5	Knowledge Space	11,87	7,56	8,98
6	1С	13,19	6,78	8,95
7	Comindware	13,83	6,38	8,82
8	ТУРБО X	12,08	6,93	8,37
9	Security Vision	12,51	6,50	8,13
10	Case Studio	13,09	6,14	8,04
11	PIX Robotics	12,61	4,66	5,87
12	Jmix	11,81	4,85	5,73

Оценка методологии оценки

Хотя отчет и не содержит полного описания методологии оценки (так, заявлены 366 параметров оценки, но их перечня мы не обнаружили), все же она представлена достаточно подробно, чтобы вызвать ряд вопросов:

Выбор участников исследования

Исследование озаглавлено «Российские Low-code платформы 2023». При этом в первой фразе введения говорится: «Исследование российских Low-code платформ для автоматизации бизнес-процессов проводилось…».

Но low-code платформы и платформы автоматизации бизнес-процессов – это понятия пересекающиеся, но не совпадающие: не все low-code платформы позволяют автоматизировать процессы (пример – ServiceNow) и не все платформы автоматизации бизнес-процессов позиционируют себя как low-code (пример – Camunda).

Что же содержит отчет – low-code платформы, платформы автоматизации бизнес-процессов или платформы автоматизации бизнес-процессов, следующие подходу low-code? По факту ни то, ни другое и не третье:

• «Первая Форма» позиционирует себя как no-code, а не low-code платформа
• Jmix является сторонником подхода high-code и активно разоблачает low-code
• PIX Robotics содержит средства оркестровки роботов RPA, но это далеко не то же самое, что автоматизация сквозных, кросс-функциональных процессов

Хотелось бы порекомендовать авторам более строго подходить к формулированию предмета исследования и к отбору участников. Согласитесь, странно, знакомясь с обзором яблок, обнаружить внутри апельсин.

Критерии оценки

Цитируем отчет:

В качестве основы для конкурентного анализа была выбрана платформа Pega Platform – лидирующий по оценке международного аналитического агентства Gartner продукт на рынке Low-code платформ (скачать отчет можно на сайте Pega Platform). На базе Pega Platform была создана референтная модель оценки функционала Low-code платформ. Таким образом, платформы сравнивались не между собой, а с референтной моделью.

Это очень оригинальный подход, мягко выражаясь.

Во-первых, на наш взгляд, порочна сама идея сравнивать с неким продуктом, представляемым в качестве идеала. Идеальных программных продуктов в природе не существует, у каждого свои преимущества и недостатки. Есть они и у программного продукта Pegasystems.

Во-вторых, согласно отчету Gartner, на который ссылаются авторы исследования (Magic Quadrant for Enterprise Low-Code Application Platforms, August 2023), Pega даже не входит в квадрант лидеров, а делит с Oracle и Creatio места 7-9. Дальше в тексте исследования авторы совсем уже не стесняются, называя Pega «лучшей Low-code платформой мира (по мнению Gartner)».

Хотелось бы порекомендовать авторам сохранять нейтральность по отношению к вендорам и выработать более сбалансированный подход к критериям оценки.

Конфликт интересов

О составе экспертов в отчете сказано следующее:

Исследование проведено независимыми от какого-либо вендора специалистами в области Low-code платформ, имеющих практический опыт разработки, внедрения и эксплуатации различных систем данного класса. Для получения обратной связи по методологии, материалам и результатам исследования были привлечены эксперты из крупнейших компаний металлургической, химической, финансовой, нефтегазовой отраслей, а также системного интегратора ЛАНИТ — Би Пи Эм — крупнейшей практике Pega Platform в России и Восточной Европе, специалистами по внедрению low-code платформ других производителей.

Что ж, становится понятно, почему в качестве идеала выбрана Pega Platform. Но как можно заявлять о независимых от вендоров специалистах и тут же – об участии в качестве экспертов специалистов ЛАНИТ?

Кроме того, одним из участников является BPMSoft (ранее известный как Creatio, ранее известный как Terrasoft), принадлежащий компании Ланит Омни (входит в Группу компаний ЛАНИТ). На наш взгляд, представители одной группы компаний не могут участвовать в исследовании одновременно и в качестве вендора, и в качестве экспертов.

Веса критериев

Стандартная проблема получения интегральной оценки путем суммирования баллов по каждому критерию, помноженному на вес критерия, в том, что какие веса критериям назначишь – такие результаты и получишь.

Помочь здесь могут два подхода:

• Метод анализа иерархий позволяет преобразовать качественные и субъективные оценки экспертов в количественные и объективные.
• Компания Forrester в своих отчетах помимо баллов, посчитанных по собственным весам, публикует оценки по каждому критерию в виде файла Excel. Это дает потенциальным заказчикам возможность проставить веса, исходя из собственных критериев, и построить таким образом персональный рейтинг продуктов. Причем Forrester специально обращает внимание на то, что вес критерия «цена» в его версии рейтинга равен нулю, и предлагает читателям проставить его самим.

Выводы

Поскольку методология оценки и состав экспертов вызвали у нас определенные вопросы, мы рекомендуем относиться к баллам и к итоговому рейтингу от Сколково с осторожностью.

В то же время безусловным достоинством отчета, на наш взгляд, является перечень выявленных экспертами сильных и слабых сторон каждой из 12 платформ-финалистов.

В этой ситуации мы бы рекомендовали потенциальным заказчикам выбирать оптимальную платформу исходя из сильных и слабых сторон каждой. Определите, какие функциональные и нефункциональные критерии являются наиболее важными именно для вас, и составьте собственный рейтинг.

Приоритеты у всех разные, поэтому платформа, оптимальная для других, не обязательно будет оптимальной для вас. Например, такой критерий, как цена, вообще не учитывался в оценке. Важен ли он для вас? Подозреваем, что да.

Обсудить

---