Везде
Agent-based modeling of large socio-economic systems based on the general theory of functional systems of P.K. Anokhin
Table of contents
Annotation Estimate Publication content
References Comments
Share
QR
Metrics
Agent-based modeling of large socio-economic systems based on the general theory of functional systems of P.K. Anokhin
Annotation
PII
S207751800021924-5-1
DOI
10.18254/S207751800021924-5
Publication type
Article
Статус публикации
Published
Authors
Valery Makarov 
Occupation: Scientific Director
Affiliation: Central Economics and Mathematics Institute of the Russian Academy of Sciences
Address: Russian Federation, Moscow
Albert Bakhtizin
Occupation: Director
Affiliation: Central economic and mathematical Institute of the Russian Academy of Sciences
Address: Russian Federation, Moscow
Elena Sushko
Affiliation: Central economic and mathematical Institute of the Russian Academy of Sciences
Address: Russian Federation, Moscow
Edition
Volume 17 Issue 3
Abstract

A new methodology for modeling the dynamics of a large socio-economic system as an living organism, developing in accordance with the internal structure and inertia and capable of self-organization under the influence of external factors, including control actions, is presented. The methodology is based on the application of the general theory of functional systems by P.K. Anokhin, as well as its formalization - the category theory of systems, according to which the internal architecture of a functional system is represented as a huge graph of connections between its individual elements. In the agent-based model, the elements are agents of two types (people and organizations), and their connections indicate the direction of the transfer of information, material and financial resources. The minimum necessary structure of the properties of agents and their environment, as well as algorithms for their interaction, providing imitation of the formation of inter-agent links, building production chains and creating new economic agents, has been developed.

Keywords
agent-based modeling, large socio-economic systems, theory of functional systems of P.K. Anokhin, category theory of systems, methodology for creating a digital twin of society, evidence-based decision-making management
Acknowledgment
This study was supported by the Russian Science Foundation, project no. 19-18-00240 “Supercomputer Technologies in the Social Sciences”.
Received
18.08.2022
Date of publication
24.09.2022
Number of purchasers
11
Views
314
Readers community rating
0.0 (0 votes)
Cite Download pdf
Additional services access
Additional services for the article
Services benefits
100 RUB / 1.0 SU
1

Введение

В современном мире наблюдается бурное развитие информационных технологий и проникновение их во все сферы общественной жизни, а также колоссальный и все увеличивающийся объем циркулирующей в цифровом пространстве информации о свойствах, предпочтениях и поведении социально-экономических акторов любого уровня, вплоть до отдельных групп людей. Очевидно, что новые условия и наблюдаемые тенденции делают все более актуальными методы и технологии, позволяющие использовать эти возможности для разработки инструментов управления социальными процессами.
2 Также следует отметить, что при увеличении масштаба планируемых управленческих решений возрастает и численность акторов, вовлекаемых в их реализацию, а также и тех, чьи интересы будут затронуты через социальные и экономические связи, возрастает и период реализации решений, и период дальнейшего их комплексного влияния на социум. Особенно это очевидно при переходе к управленческим решениям стратегического характера на региональном уровне и уровне страны в целом. Все это в совокупности означает, что неизмеримо возрастает значимость такого рода решений, как следствие, и значимость верной предварительной оценки их последствий, но при этом неизмеримо возрастает и сложность научного прогнозирования этих последствий.
3 В этих условиях насущной задачей становится разработка инструмента моделирования динамики большой социально-экономической системы, а также реакции этой системы на изменение внешних системообразующих факторов, предназначенного для получения научно обоснованной оценки последствий планируемых решений, в том числе количественной. Постановка такой цели представляется тем более актуальной, что есть соответствующий запрос со стороны управляющих государственных структур, выраженный в Указе Президента «Об утверждении Основ государственной политики в сфере стратегического планирования в Российской Федерации», в котором не просто указывается на необходимость «развития методов и средств прогнозирования и выявления рисков и угроз недостижения целей, предусмотренных документами стратегического планирования» [19, с. 12], но и прямо предписывается осуществлять информационно-аналитическое обеспечение стратегического планирования, в том числе, путем «моделирования последствий принятия управленческих решений» [19, с. 14].
4 Одним из наиболее востребованных методов моделирования социально-экономических систем и происходящих в них процессов в последние годы становится агент-ориентированное имитационное моделирование, хорошо зарекомендовавшее себя при решении самых сложных научных и практических задач. Например, в работе [25] представлены агент-ориентированные модели (АОМ), созданные для имитации распространения эпидемий, демографических процессов, движения пешеходов, функционирования транспортных систем, для решения экологических задач и задач землепользования, а также многие-многие другие. Для нашей работы важно то, что развитие агент-ориентированного подхода при моделировании больших социально-экономических систем направлено на создание все более реалистичных их цифровых аналогов (двойников), воссоздающих в искусственной среде и масштаб, и социально-экономическую структуру общества, и взаимное влияние различных происходящих в нем процессов. Следующим этапом развития методологии создания АОМ является переход к моделированию общества как живого организма, развивающегося в соответствии с внутренней структурой и инерцией и при этом реагирующего на изменение/появление внешних факторов. Такой подход подразумевает учет множественных связей отдельных подсистем целого организма, а также их способность подстраиваться под изменившиеся условия, изменяясь (в пределах своих возможностей) и образуя новые связи. При этом в качестве подсистем в обществе могут выступать как отдельные акторы (агенты), так и группы взаимосвязанных акторов.
5

Подходы к анализу и управлению в больших социально-экономических системах

Элементами социально-экономической системы являются экономические акторы, производящие и потребляющие разного рода блага и взаимодействующие с другими самостоятельными акторами. При этом каждый такой актор, будь то отдельный человек-член общества или же организация (предприятие), сам является системой, обладающей собственными ресурсами и стремящейся к достижению собственных целей. Возникает вопрос: каким образом, за счет каких внутренних механизмов все эти разнородные элементы соединяются в систему и обеспечивают сохранение ее выживаемости, то есть, способности к адаптации и развитию для подержания целостности в условиях постоянно изменяющейся внешней среды? Без понимания механизмов соотнесения различных частей (подсистем) и целого (системы) невозможно создать модель общества, адекватно имитирующую динамику состояний реально существующей социально-экономической системы. А именно подобная модель необходима как инструмент для решения управленческих задач, таких как:
6
  • мониторинг состояния управляемой социально-экономической системы для определения момента, когда ее параметры выходят за допустимые пределы и необходимо управляющее воздействие;
  • определение целевого состояния системы, достижению которого должно способствовать будущее управляющее воздействие;
  • разработка управляющих мер и программы их реализации;
  • реализация обратной связи для оценки соответствия достигнутого состояния системы желаемому результату.
7 Существуют признанные методы, используемые для решения практических задач организации эффективного управления экономическими системами с учетом их сложной структуры, различных систем оценки результата и различных факторов, влияющих на результат. Примером может служить классический метод, разработанный Д. Нортоном и Р. Капланом [5] для управления реализацией корпоративной стратегии и названный сбалансированной системой показателей (ССП) (Balanced Scorecard). Этот метод помогает выстроить в целостную и непротиворечивую структуру множество разноплановых и разноуровневых целей корпорации, характеризующих не только ее финансы, но и нематериальные активы, такие как персонал, организация бизнес-процессов, отношения с клиентами и т.п. Что позволяет соотносить разные по характеру и значимости цели, а также обеспечивать взаимодействие и сбалансированность соответствующих показателей (принцип сбалансированности не допускает манипулирования одной группой показателей за счет других). Полученная в результате структура служит основой для установления связей между успешной реализацией отдельных управляющих воздействий (то есть, достижением частных целей) и продвижением к достижению целей стратегических. Сами авторы этого метода идеальными объектами для разработки системы сбалансированных показателей считали компании, деятельность которых охватывает всю цепочку создания стоимости от инноваций и производства до продаж и сервиса, хотя и указывали, что ССП могут хорошо формулироваться и для других стратегических хозяйственных единиц. Стратегическими здесь считались такие более мелкие единицы (например, на уровне отдела компании), которые имеют свою цель, стратегию, клиентов, а также внутренние бизнес-процессы, позволяющие им достигать эти цели и претворять стратегию в жизнь [5, с. 36]. Однако подобный подход может быть применен и для более масштабных систем. Так, авторам довелось применять метод ССП при разработке систем мониторинга реализации стратегий развития крупных систем как уровня региона – для Стратегии социально-экономического развития Ивановской области до 2020 года [15], так и отраслевого уровня – для Федеральной целевой программы развития российского образования на 2006-2010 годы [6].
8

Развитие метода ССП в направлении большей детализации внутренних процессов хозяйствующих единиц, а также внутренних акторов, в них участвующих, было осуществлено Х. Рамперсадом, который предложил универсальную систему показателей деятельности [26]. Распространив метод ССП на отдельного человека — работника компании, Х. Рамперсад разработал для него личную сбалансированную систему показателей, которая через присущую компании организационную культуру согласуется с ССП компании в целом. Суть организационной культуры компании заключается в ее «системе ценностей» как соотношении значимости различных целей, которые ставит перед собой компания, а значит и в соотношении значимости соответствующих критериев оценки ее эффективности [22]. Очевидно, что с этими критериями эффективности связаны и требования к качествам работников, особенно лидеров, что и создает условия для согласования целей организации и личных устремлений ее работников. В работе [26] рассматривается, в том числе, и процесс согласования ССП организации и личных ССП ее работников.
9 Отметим, что метод сбалансированной системы показателей включает выделение ключевых показателей системы и определение их пороговых значений для выявления критических состояний системы в целом и ее отдельных составляющих. Поэтому, на наш взгляд, использование метода ССП при разработке АОМ большой социально-экономической системы может быть продуктивно как для выбора отслеживаемых в модели показателей для агентов разного уровня, так и для организации мониторинга состояний всей системы и отдельных ее агентов и подсистем.
10 Особо следует остановиться на другом известном направлении исследований организационных систем, то есть, исследовании особенностей функционирования и управления организациями, в которых деятельность их отдельных «активных» элементов координируется для достижения определенных общих целей. Активными здесь называются такие системы, управляемые элементы в которых «активны» в том смысле, что обладают собственными интересами и способны к целенаправленным действиям, причем их цели не обязательно совпадают с целями системы в целом (откуда следует, что они способны к оппортунистическому поведению). Это направление называется теорией активных (больших) систем, и начало ему положила работа В.Н. Буркова [3]. Уже в этой работе были рассмотрены экономические организационные системы (системы, целью которых является выпуск некой продукции) различных типов, такие как: а) линейные, в которых активные элементы подчиняются одному центру; б) иерархические, в которых присутствуют активные элементы разного рода, связанные отношениями подчиненности; в) динамические, в которых планирование выпуска и управление осуществляется на перспективу нескольких периодов; и г) стохастические системы, в которых учитывается вероятностная природа коэффициента эффективности отдельных активных элементов как соотношения объема выпуска ими продукции и использованного для этого сырья. Там же предложены для этих типов систем математические методы и модели решения задач планирования, распределения ресурсов, контроля, стимулирования и др., задающие механизмы согласования частных интересов отдельных элементов-акторов с целью побуждения их к «правильному» (желаемому) поведению в процессах производства общей продукции для обеспечения эффективного функционирования системы в целом.
11 В ранних работах по теории активных систем формализованное представление организации включало такие составляющие как ее структура, модель ограничений и механизм функционирования, подробно рассмотренные в работе [4]. В этих работах под структурой системы понимается совокупность образующих ее взаимосвязанных подсистем, представленная в виде графа, вершинами которого являются отдельные подсистемы, а дугами обозначены связи между ними, в содержательном плане обозначающие направления передачи информации и/или продукции. Моделью ограничений названо описание ограничений, определяющих возможные состояния организации как совокупности состояний ее элементов при заданной структуре. А механизм функционирования представляет собой набор правил (функций, процедур, инструкций и т.п.), которые регламентируют действия управляющего центра и отдельных элементов системы [4, с. 14-15]. К настоящему времени перечень составляющих модели организационной системы расширен и включает ее состав, структуру, ограничения и нормы деятельности, а также предпочтения и информированность. Соответственно, управление организационными системами заключается в целенаправленном воздействии на эти составляющие, причем, механизмы управления каждого вида детально разработаны и подробно рассмотрены, например, в работе Д.А. Новикова [9].
12 Очевидно, что использование методов теории организационных систем при создании АОМ большой социально-экономической системы может быть продуктивно при разработке структуры связей агентов разного уровня, а также алгоритмов имитации поведения агентов в процессе производства некоторых благ, их взаимодействия между собой и согласования их интересов. На этой теоретической основе также возможно разработать технологию имитации перестройки технологических связей отдельных агентов и/или их групп между собой в ответ на изменение условий внешней среды и/или введение управляющих воздействий.
13 Однако использования обоих отмеченных выше методов недостаточно для организации в модели большой системы процесса эндогенного появления новых агентов и образования их связей с другими агентами. Мы же ставим перед собой задачу имитации жизни общества, способного к самоорганизации подобно живому организму. И это побуждает нас обратиться к теории, объясняющей законы функционирования и поведения именно живых организмов – к теории функциональных систем П.К. Анохина, раскрывающей механизмы целенаправленного поведения.
14

Теория функциональных систем П.Л. Анохина и ее формализация

В соответствии с современным пониманием теории, функциональные системы — это «динамические, самоорганизующиеся, саморегулирующиеся построения, все составные компоненты которых содружественно объединяются для достижения полезных для самой системы и организма в целом — приспособительных результатов» [12, с. 1].
15 Основоположник теории функциональных систем физиолог П.К. Анохин рассматривал функциональные системы как методологический принцип организации процессов жизнедеятельности. По П.К. Анохину, существуют два типа функциональных систем: функциональные системы первого типа обеспечивают внутреннюю стабильность организма в условиях изменения внешней среды (гомеостаз), а второго типа – обеспечивают приспособительный эффект благодаря выходу за пределы организма через связь с внешним миром, через изменения поведения. Именно функциональные системы второго типа лежат в основе различных поведенческих актов, логическая схема которых представлена на рисунке 1 [1, с. 275]. То есть, взаимодействия индивида со средой носят циклический характер, и в интервале между стимулом со стороны среды и реакцией индивида на этот стимул выделяются процессы, образующие стандартную последовательность:
16
  • Идентификация ситуации взаимодействия с внешней средой как требующей принятия каких-либо мер – афферентный синтез (от лат. afferens — приносящий);
  • Определение типа и направленности поведения (принятие решения). Реализуется через сложную и очень важную стадию поведенческого акта – формирование аппарата, программирующего результаты будущих событий (акцептора результатов действия);
  • Формирование программы действия, которая внешне еще не реализуется – эфферентный синтез (от лат. efferens — выносящий);
  • Выполнение программы поведения;
  • Оценка достигнутого результата. Благодаря аппарату акцептора результатов действия, в котором программируется цель и способы поведения, индивид имеет возможность сравнивать их с поступающей извне информацией о результатах и параметрах совершаемого действия. Именно результаты сравнения определяют последующее построение поведения – либо оно корректируется, либо оно прекращается, как в случае достижения желаемого результата.
17

Рис. 1. Общая схема функциональной системы как логической модели поведенческого акта

18 В многочисленных работах по теории функциональных систем представителями научной школы П.К. Анохина были исследованы состав, роли и механизмы взаимодействия всех представленных на схеме рис. 1 блоков, участвующих в формировании поведенческого акта, таких как: блок обработки информации о внешней среде; влияние мотивации и пускового стимула; работа с памятью; создание образа будущего; формирование программы действия и ее реализация; и наконец, мониторинг полученных результатов. Также в этих работах можно найти примеры того, как общая схема функциональных систем по результатам экспериментальных исследований была конкретизирована до роли отдельных подсистем организма в регулировании самых разнообразных физиологических процессов, таких, например, как поддержание температуры организма или же уровня гормонов в крови [13, с. 271].
19 Важно то, что физиолог П.К. Анохин распространил содержание и схему поведенческого акта на структуру любого целенаправленного поведения, то есть, поведения, направляемого опережающим отражением действительности. Таким образом, теория П.К. Анохина равно применима и для описания целенаправленного поведения отдельного человека, и для описания поведения других более крупных экономических акторов, и для описания поведения общества в целом. Причем, если на уровне отдельного человека мы можем ограничиться рассмотрением (моделированием) стадий поведенческого акта, абстрагируясь от тех физических структур в организме, которые обеспечивают механизмы гомеостаза и поведения организма во взаимодействии со средой (выбора и реализации решений), то моделируя общество в целом, мы можем и должны более подробно рассмотреть именно внутренние структуры общества и механизмы их взаимодействия. И здесь уже следует обратиться к принципам системной организации функций, сформулированным П.К. Анохиным в общей теории функциональных систем [2], в рамках которой он обосновал фундаментальные свойства систем, а именно:
20
  1. Наличие системообразующего фактора – результата, к которому система стремится и который определяет состав ее отдельных подсистем и структуру связей между ними.
  2. Наличие иерархии, означающей, что каждая подсистема сама является системой, вносящей свой вклад в получение общего результата.
  3. Изоморфизм, означающий общность ключевых шагов алгоритмов целенаправленного поведения для системы в целом и ее отдельных подсистем.
21 Перечисленные свойства функциональных систем объясняют их чрезвычайную пластичность, способность мобилизоваться и динамически формировать состав своих подсистем, структуру их связей и перераспределять между ними роли в процессе получения общего результата с тем, чтобы обеспечивать достижение заданного результата при изменении внешних условий. Подчеркивая ведущую роль системообразующего фактора, теория П.К. Анохина раскрывает, как иерархия системы создается «сверху вниз» – от целого к частям: «Результат является неотъемлемым и решающим компонентом системы, инструментом, создающим упорядоченное взаимодействие между всеми другими ее компонентами» [2, с. 35]. Этот же принцип «от целого к частям» можно считать принятым в общей теории систем как основа системного подхода [24].
22 Общая схема иерархических взаимоотношений функциональных подсистем различных уровней – начиная от молекулярного, клеточного, тканевого, гомеостатического и заканчивая поведенческим, которые в совокупности обеспечивают нужную реакцию организма на внешний стимул, представлена в работе, посвященной роли теории функциональных систем в формировании у студентов-медиков системного мировоззрения [14, с. 32]. Схема, представленная в этой работе, раскрывает структуру «субстрата» функциональной системы, ее «аппаратных средств», обеспечивающих динамическую, конфигурируемую и реконфигурируемую организацию соответствующих систем и подсистем организма для реализации алгоритмов поведения [11, с. 151].
23 Отметим, что рассмотренные выше подходы к анализу и управлению в больших социально-экономических системах фактически также подразумевали наличие системообразующего фактора, но не формулировали это в явном виде в качестве ведущего компонента системы. Так, разработанные в рамках теории организационных систем механизмы управления различными свойствами систем с активными элементами настроены на оптимизацию функционирования подобных систем в соответствии с заданными целями – планами выпуска, регламентирующими его объем и график поставки, что в данном случае и является образом результата. Аналогично, разработчикам ССП для обеспечения успеха деятельности всей организации рекомендуется начинать ее построение именно с формулирования миссии, чтобы затем настраивать мониторинг разного рода внутренних показателей деятельности подразделений организации на обеспечение выполнения этой миссии как результата, который востребован внешней средой.
24

Для практического применения теории функциональных систем при моделировании искусственного общества необходима ее математическая формализация, и наиболее полно суть теории П.К. Анохина отражает формализация на основе категорной теории систем, подробно рассмотренная в работах [16-17]. Так, Г.К. Толоконникову удалось в рамках этой теории осуществить строгую формализацию принципов изоморфизма и иерархии, а также системообразующего фактора на основе свёрточных поликатегорий, то есть, на основе представления архитектуры связей между отдельными подсистемами функциональной системы, которые являются категориями (наборами связей между элементами). Связи (морфизмы) в категорной теории обозначаются стрелками и могут иметь вид как простых стрелок (от одного элемента к другому элементу), так и мультистрелок (несколько входящих стрелок у одного элемента и одна выходящая), а также полистрелок (несколько входящих и несколько выходящих стрелок у одного элемента). Связи также допускают операцию композиции (свёртки), и таким образом, функциональная система в целом принимает вид графа, включающего вершины и связи между ними. В работах [17, 23] показано, что в рамках категорной теории внешние связи системы как ее системообразующий фактор позволяют восстановить ее внутреннюю структуру, включая элементы и архитектуру их связей.
25 У П.К. Анохина речь идет об использовании теории функциональных систем как инструмента, позволяющего при исследовании работы реальных систем переходить от уровня целого к его устройству и взаимодействию отдельных его частей/подсистем. Для нас же важно то, что эта же теория может послужить основой воссоздания в искусственной среде структуры и поведения реально существующих социально-экономических систем, включая имитацию не только их адаптации к изменению внешних условий, но и возникновения внутри них новых подсистем путем самоорганизации под воздействием системообразующего фактора.
26 В соответствии с категорным подходом модель общества будет являться огромным графом, в котором вершины – действующие акторы разных типов соединены стрелками, обозначающими их взаимосвязи, в том числе, иерархические. Сущность этих связей – направленные информационные и/или материальные потоки. Такая конструкция позволяет моделировать процессы, происходящие в обществе, не просто с позиций механически сводимого баланса, а учитывая способность внутренних подсистем общества (подграфов) видоизменяться, в том числе, модифицируя свою структуру, подстраиваясь под изменившиеся внешние обстоятельства.
27

Концепция модели

Теория функциональных систем П.К. Анохина обладает еще одним важным достоинством – она операциональна, так как включает описание ресурсов и механизма «собирания» целостной системы из подсистем и последующего поддержания ее состояния (гомеостаза). Подчеркнем еще раз, что система строится сверху вниз – от необходимого результата к подбору нужных для его получения элементов и выстраиванию их связей. В то же время агент-ориентированный подход опирается на имитацию поведения отдельных элементов – агентов, действия которых агрегируются по заданной в модели иерархии и в совокупности влияют на состояние (результат) системы в целом, то есть, моделирование осуществляется снизу вверх. Таким образом, для воссоздания в АОМ сложной социально-экономической структуры реального общества и имитации его функционирования, необходимо разработать механизмы детализации заданного результата, то есть, алгоритмы его автоматического разложения на отдельные подзадачи для подсистем, которые будут участвовать в его получении. Затем уже результаты выполнения отдельными подсистемами поставленных перед ними задач должны будут агрегироваться для имитации получения результата общего.
28 В АОМ социально-экономической системы естественным способом выделения элементов, которые должны получать «задания» при детализации задачи достижения общего результата, является определение экономических акторов, обладающих собственными целями, ресурсами и технологиями производства некоего блага (продукции) как промежуточного результата. Такими акторами являются люди и организации (предприятия), которые в модели будут представлены вершинами графа, а их взаимодействие в процессе производства – стрелками, указывающими направления материальных, информационных и финансовых потоков. Акторы каждого типа будут представлены своим типом агентов, образующих соответствующую иерархию: агент-человек → агент-организация, в которой человек работает, то есть, которой он отдает свой труд как ресурс, необходимый организации для производства блага. Для получения заданного результата как производства необходимого объема какого-либо блага, агенты могут объединяться в производственные цепочки – подсистемы, в которых результат одного агента служит ресурсом для получения результата следующим в цепочке агентом. Таким образом в модели обеспечивается выполнение принципа иерархичности функциональной системы, а «…иерархия систем превращается в иерархию результатов каждой из подсистем предыдущего уровня» [2, с. 44].
29 Межагентные связи реализуются в АОМ через механизм «контрактов», указывающих вид передаваемого ресурса (труд, материалы, информация, финансовые средства, технология), его источник и получателя, а также регламентирующих объемы и график поставки. Задание в явном виде периода взаимодействия агентов как срока действия контракта между ними позволяет реализовать с помощью одной конструкции как функциональные системы первого типа, отвечающие за гомеостаз, так и функциональные системы второго типа, которые отвечают за реакцию на изменение внешней среды и распадаются (или «затормаживаются») по достижении результата. То есть, создается конструкция, для случая гомеостаза в которой практически осуществляется модификация общей схемы функциональной системы по П.К. Анохину (рис. 1) до схемы вырожденной, где блок афферентного синтеза имеется, но порождает только один вариант, и где имеется блок принятия решения, также выбирающий единственный существующий вариант (результат) [17, с. 86].
30 Агенты разного уровня в создаваемой имитации общества наделяются общей целью – стремлением выжить, и производство некой продукции является только инструментом достижения этой цели, так как в обмен на свою продукцию они получают необходимые им ресурсы. Выживаемость агентов – это их способность для получения нужного результата:
31
  • продолжать функционировать в условиях изменяющегося спроса на свою продукцию и/или ограничений на необходимые для производства промежуточные материалы (поддерживать гомеостаз);
  • переформатировать свои производственные связи и осваивать новые технологии (адаптироваться к изменению условий среды);
  • выстраивать новые конфигурации функциональных систем и/или создавать новых агентов разных типов для получения востребованного внешней средой результата (развиваться).
32 Помимо самих агентов в качестве «аппаратных средств» функциональных систем разного уровня в модели присутствует их среда, которая организует взаимодействие агентов, задает его правила, а также накладывает ограничения на контракты. В соответствии с теорией систем, двигаясь от желаемого полезного результата – имитации общества – рассмотрим, какими свойствами должны в модели обладать агенты, какие алгоритмы необходимо разработать для имитации их поведения, а также какими свойствами среды должно обеспечиваться взаимодействие агентов (содержательное наполнение связей-стрелок), а затем и имитация получения результатов всех уровней.
33 Для обеспечения выполнения принципа изоморфизма в модели необходимо, чтобы алгоритмы поведения агентов разных типов, призванные имитировать перечисленные выше способы реакции на изменение внешней среды, были основаны на общей схеме поведенческих актов из функциональной системы П.К. Анохина. Так, обстановочная афферентация для агента должна заключаться в мониторинге его внутреннего состояния и состояния его связей (контрактов). Если условия существующих контрактов соответствуют потребностям агента, а срок действия контрактов не истек, и все его контрагенты выполняют свои обязательства (то есть, не изменились спрос на готовую продукцию и доступность факторов производства), то агент остается в прежнем состоянии. Если же условия изменились, то это служит для агента пусковым стимулом к действию и он переходит к следующему этапу поведенческого акта.
34 Следует остановиться на понятии доступности для агентов факторов производства, которое может включать разные аспекты, такие как:
35
  • наличие необходимого объема некоторого ресурса, что должно обеспечиваться его производством/добычей самим агентом или же другим агентом – предшественником в производственной цепочке. Здесь в модели можно учесть различия ресурсов разного вида. Например, такой фактор производства как технология может тиражироваться владельцем, то есть, его объем не убывает при передаче другому агенту. Важнейшим видом ресурса для всех агентов-предприятий является труд, который формируется агентами-людьми трудоспособного возраста. Блок воспроизводства этого вида ресурса является базовым для АОМ социально-экономических систем, и на его устройстве мы остановимся ниже.
  • возможность получения ресурса в заданное время, что должно обеспечиваться соответствующей инфраструктурой его доставки. Здесь можно учесть как пространственное размещение агентов и элементов необходимой инфраструктуры, так и ограничения, связанные с пропускной способностью этих элементов. Это относится и к транспорту, обеспечивающему логистику материалов, и к системам передачи информации, и к системам передачи платежей.
  • разрешение на пользование ресурсом (лицензия). Здесь можно учесть ограничения институционального характера, такие, например, как требование разрешения на добычу природных ископаемых, разрешения доступа к ведомственной информации или же доступа к инфраструктуре доставки ресурса.
  • стоимость ресурса. Здесь можно учесть не только наличие собственных финансовых средств, но и условия их привлечения со стороны.
36 Таким образом, для имитации первого этапа поведенческого акта агент в модели должен обладать такими характеристиками, как: месторасположение, критерии благополучия (целевая функция), индикатор состояния (в терминах заданной шкалы), а также коллекция (список) собственных действующих контрактов. Кроме того, агент должен обладать процедурой, позволяющей рассчитывать его удовлетворенность по каждому из критериев, а затем сворачивать их в интегральный показатель для последующего выражения в терминах его состояний и определения момента его активизации.
37 Отметим, что ориентация агента на внутреннее состояние удовлетворенности позволяет естественным образом моделировать способность экономических агентов нарушать контракты, в том числе, способность агентов-людей к оппортунистическому поведению, отмечавшуюся еще В.Н. Бурковым.
38 На этапе формирования акцептора результатов действия определяется, на каком шаге имитации должен быть получен результат в виде баланса спроса на законтрактованную продукцию агента и обеспечения своевременного поступления ресурсов, необходимых для ее производства при имеющейся технологии. То есть, для имитации второго этапа поведенческого акта агент в модели должен обладать неким таймером, который призван отслеживать наступление контрольной точки проверки фактического состояния.
39 Имитация третьего этапа поведенческого акта агента – формирование программы действия – представляет собой итеративную процедуру поиска контрагентов и образования новых связей (заключения контрактов), которая реализуется с помощью механизма заявок. Так, если изменился спрос на продукцию, то агент пытается пересмотреть контракты с поставщиками ресурсов для балансировки спроса и объема производства. Если же спрос не изменился, но объемы законтрактованных ресурсов недостаточны для его удовлетворения, агент ищет дополнительных поставщиков. Процедура поиска новых контрагентов должна учитывать ограничения на доступ к информации, а согласование условий новых контрактов – возможности инфраструктуры доставки нужных ресурсов, а также имеющиеся собственные запасы ресурсов и готовой продукции – дополнительные характеристики агента.
40

Имитация четвертого этапа поведенческого акта агента – выполнение программы действия – представляет собой имитацию его «производственной деятельности» в соответствии с объемом ресурсов, поступивших по заключенным контрактам с поставщиками, а также «производственной функцией» агента – технологией, после чего произведенная продукция передается далее по цепочке. То есть, для агента должны быть определены понятия продукция, факторы производства и технология как зависимость объема продукции от факторов производства с учетом длительности производственного процесса (в терминах шагов имитации). Этап оценки достигнутого результата возвращает нас к этапу обстановочной афферентации как ревизии выполнения действующих контрактов по реализации своей продукции и поступления платежей за нее с учетом заданных контрольных точек.
41 Таким образом, мы определили тот минимальный перечень свойств и процедур, присущих агентам обоих типов, который необходим для имитации их функционирования согласно структуре поведенческого акта из теории функциональных систем, а также их способности образовывать производственные связи для достижения общего результата. Однако агенты-люди в модели одновременно участвуют еще в одном процессе – в создании трудового ресурса, что должно быть основано как на имитации воспроизводства населения, так и на имитации формирования у людей-работников нужных для рынка труда компетенций. Смерть людей имитируется в модели на основе использования коэффициентов смертности, а рождение – на основе процедуры создания семей как объединения агентов-мужчин с агентами-женщинами репродуктивного возраста с последующим созданием новых агентов-детей. Родственные связи при этом обозначают наличие «контрактов» другого рода – они служат для передачи информации, а также для формирования общего дохода домохозяйств для поддержания их жизни. Агенты в модели, как и в жизни, объединяются в семьи под влиянием заложенной в них внутренней потребности иметь детей [21], то есть, без явного внешнего запроса на численность новых членов общества в качестве «продукции» семьи. Общество, конечно, заинтересовано в том, чтобы детей рождалось как можно больше, но оно не может этого требовать, а пытается стимулировать рождаемость с помощью мер поддержки семей с детьми. Подробнее механизмы имитации естественного движения населения в базовом демографическом блоке АОМ социально-экономической системы на примере демографической модели России, а также влияния на репродуктивное поведение людей программ материнского капитала, представлены в работе [8].
42 Формирование трудового ресурса происходит по мере взросления агентов-людей и приобретения ими знаний и навыков в процессе достаточно длительного прохождения этапов обучения, предусмотренных системой образования. Причем, разные виды деятельности (отрасли) предъявляют и разные требования к уровню образования своих работников, что показано на рисунке 2 (рассчитано по данным Росстата [18, с. 31]). То есть, для имитации производственной деятельности агента-предприятия недостаточно в качестве фактора труда просто учитывать численность его агентов-работников, а следует также учитывать разный «вес» вклада отдельных работников в соответствии с требованиями используемой технологии к квалификации занятых. В итоге, ценность для той или иной отрасли экономической деятельности отдельного агента-работника (его трудовой потенциал) зависит как от уровня его соответствующего профессионального образования, так и от стажа его работы в данной отрасли.
43

Рис. 2. Распределение занятых по уровню образования и видам экономической деятельности в 2018 г., %

44 Рассмотрим теперь, какими свойствами и процедурами должна быть снабжена в модели среда агентов, чтобы выполнять функции «аппаратных средств» системы в целом и обеспечивать агентам условия для поддержания имеющихся подсистем и создания новых, то есть, обеспечивать доступность необходимых для этого ресурсов.
45 В первую очередь, это функция коммуникатора, организующего взаимодействие агентов и снабжение их информацией, необходимой для принятия решений, а затем для подбора контрагентов и заключения с ними контрактов. Причем, взаимодействие может осуществляться как непосредственно между агентами с помощью обмена ими сообщениями, так и косвенно – через среду. В работе С.И. Паринова подробно разбираются особенности основных форм персонифицированного и косвенного согласования деятельности экономических агентов, такие как рынок, иерархия и сеть, причем отмечается, что при современных возможностях коммуникаций сетевая форма становится достаточно эффективной и набирает популярность [10]. В условиях сетевого регулирования, как показано, например, в работе Е.В. Устюжаниной, главными способами координации хозяйствующих агентов в цепочках создания ценностей являются совещательный (согласование интересов), ценовой (сопоставление агентами выгод и издержек) и нормативный (требования к результатам деятельности) [20, с. 32]. В нашей модели агенты образуют сеть, и их взаимодействие будет осуществляться в два этапа: на первом это взаимодействие косвенное, организованное в виде формирования банка заявок на требуемые ресурсы, а на втором этапе агенты для согласования условий контракта вступают в непосредственный контакт с выбранными контрагентами, предлагающими нужный ресурс.
46 Таким образом, среда в модели должна содержать банк заявок, структурированный по видам ресурсов, а также процедуру организации взаимодействия с ним агентов, включающую упорядочение обращений агентов к банку заявок, учет различного доступа агентов к информации, а также скорость ее распространения.
47

Следующей функцией среды является организация логистики ресурсов, для чего требуется описание объектов транспортной инфраструктуры и их связей с привязкой к геоинформационной системе (ГИС), а также наличие процедуры перемещения ресурсов по возможным маршрутам с учетом пропускной способности маршрутов и скоростных характеристик различных видов транспорта. Причем, для учета внешних связей моделируемой социально-экономической системы – ее экспорта и импорта – ГИС должна охватывать (или учитывать) территории, находящиеся за пределами моделируемого региона. Сказанное в полной мере относится и к инфраструктуре передачи финансовых ресурсов – платежным системам, сам доступ к которым может зависеть от юрисдикции агентов.
48

И наконец, третьей функцией среды в модели является имитация институционального окружения действующих в реальной действительности экономических акторов, которое задает рамочные условия, является для агентов аналогом «коллективной ментальной модели» [10, с. 25] действительности и оказывает значимое влияние на их поведение. Для этого среда должна в какой-то форме играть роль управляющего центра (государства) с имитацией основных его атрибутов, таких как административное деление территории; отраслевая структура экономики; налоговая система; формирование доходной части бюджета и его распределение по статьям расходов, в первую очередь, на социальную сферу. Последнее, например, необходимо для создания блока воспроизводства трудового потенциала агентов-людей. Таким образом, среда должна хранить соответствующую метаинформацию как о самих мезоэкономических объектах, таких как отдельные регионы или же отрасли (виды экономической деятельности, производящие ресурсы различных типов), так и о действующих нормативах организации их деятельности. Среда также должна содержать процедуры, позволяющие агрегировать результаты действий агентов и их групп для оценки результатов на всех уровнях рассмотрения. Особенное значение процедуры агрегирования приобретают с точки зрения оценки состояния мезоэкономических подсистем, а также системы в целом как выполнения соответствующих критериев благополучия, которые учитывают особенности каждой подсистемы и разрабатываются на основе ССП. Такой подход призван обеспечить эмерджентность системы – несводимость ее свойств к свойствам отдельных элементов.
49 Отдельно следует остановиться на том, каким образом в модели обеспечиваются убыль агентов-предприятий и создание новых. Смерть агентов-предприятий равносильна их банкротству, которое наступает, если агент не в состоянии выполнить свои обязательства по контрактам. А новые агенты-предприятия, в отличие от агентов-детей, которые создаются взрослыми агентами-людьми, создаются средой с использованием механизма проектов. Так, если агенту-предприятию не удается на текущем шаге имитации подобрать контрагента, производящего необходимую ему для производства промежуточную продукцию, то он отправляет соответствующую заявку в банк инвестиционных проектов. По завершении шага имитации среда запускает процедуру обработки этих заявок, в результате чего для создания нужного продукта или собирается цепочка из нескольких имеющихся агентов-производителей, или же создается новый агент-предприятие, для которого подбираются технология и поставщики, месторасположение определяется на основе минимизации расходов на логистику, а минимальное время получения запрошенной продукции рассчитывается в соответствии с технологией производства. При имитации реализации проекта нового производства учитываются также финансовые и временные затраты на создание основных средств, подбор агентов-работников и развертывание производства.
50 Подытоживая сказанное выше, получим свойства среды, представленные в таблице 1, а также следующую минимальную структуру свойств обоих типов агентов:
51
  • Месторасположение;
  • Набор критериев благополучия;
  • Индикатор состояния и таймер;
  • Собственные ресурсы (запасы);
  • Производственные мощности (для агента-человека трудовой потенциал, основанный на таких характеристиках как пол, возраст, уровень образования, стаж работы);
  • Набор видов продукции (для агента-человека вид деятельности);
  • Технологии (производственные функции для каждого вида продукции);
  • Коллекция связей (контрактов) с поставщиками ресурсов;
  • Коллекция связей (контрактов) с потребителями продукции;
  • Процедуры расчета состояния с учетом значимости критериев благополучия;
  • Процедуры заключения контрактов, в том числе, создание агентом-человеком семьи и нового агента-человека;
  • Процедуры расширения производства (увеличения производственного потенциала), в том числе, повышение уровня образования агентом-человеком.
52 Таблица 1. Элементы среды в агент-ориентированной модели большой социально-экономической системы и связанные с ними процедуры
Элементы среды Процедуры
База статистических данных
  • Процедуры ввода исходных данных, необходимых для построения модели.
  • Процедуры сопоставления полученных результатов моделирования с имеющимися статистическими данными для оценки качества моделирования.
Институциональное окружение агентов
  • Процедуры ввода действующих институциональных условий среды, таких как ограничения на доступ к ресурсам разного вида.
  • Процедуры смерти / банкротства агентов.
  • Процедуры организации очередности взаимодействия агентов с банками заявок на ресурсы и на проекты.
Параметры модели
  • Процедуры приема параметров модельного эксперимента и учета их влияния на элементы среды и поведение агентов.
  • Процедура установки стартового состояния системы.
Интерфейс модели Процедуры, обеспечивающие коммуникацию пользователя с моделью в процессах ввода управляющих параметров, а также визуализации результатов моделирования.
Реестр агентов
  • Процедуры обеспечения передачи сообщений для коммуникации агентов.
  • Процедуры добавления и удаления агентов.
Административное деление
  • Процедуры агрегирования результатов деятельности агентов на всей территории, а также на территории отдельных административных единиц.
  • Процедуры определения состояния системы в целом и отдельных единиц с учетом критериев его оценки.
Геоинформационная система (ГИС) Процедура пространственного размещения агентов с прикреплением их к административным единицам.
Реестр элементов транспортной инфраструктуры
  • Процедура выстраивания маршрутов доставки ресурсов от одного контрагента к другому с учетом пропускной способности маршрутов.
  • Процедура имитации движения ресурсов по маршрутам с учетом возможностей видов транспорта.
Отраслевая структура
  • Процедуры агрегирования результатов деятельности агентов-предприятий по видам деятельности для всей территории, а также для территории отдельных административных единиц.
  • Процедуры определения состояния видов деятельности для системы в целом и для отдельных единиц с учетом критериев его оценки.
Реестр технологий
  • Процедура подбора технологии под заданный результат;
  • Процедура подбора технологии, использующей заданные ресурсы.
Налоговая система и бюджет Процедуры сбора налоговых платежей и формирования доходов бюджетов разных уровней в соответствии с действующим законодательством и с учетом ограничений платежных систем.
Социальная система Процедура распределения средств бюджетов на финансирование здравоохранения, образования, системы социальных выплат в соответствии с приоритетами социальной политики и действующими нормативными актами, а также с учетом ограничений платежных систем.
Банк заявок на ресурсы Процедуры согласования спроса на факторы производства и соответствующего предложения, имитирующие:
  • рынок труда;
  • рынок материальных ресурсов;
  • финансовый рынок.
Банк проектов
  • Процедура подбора цепочки из нескольких имеющихся агентов-производителей для создания нужного продукта;
  • Процедура создания нового агента-предприятия с определением вида и объема его продукции, технологии производства, местоположения, связей с поставщиками и потребителями.
База данных агрегированных показателей
  • Процедуры ведения базы данных и обращения к ней.
  • Процедуры расчета статистических характеристик для рядов выходных показателей.
53

Заключение

В работе представлена методология создания цифрового двойника большой социально-экономической системы с максимально приближенным к реальности воспроизведением ее сложной внутренней структуры и взаимодействия ее активных подсистем. Методология предназначена для имитации функционирования большой системы как живого организма, включая его способность адаптироваться к изменениям внешней среды, сохраняя целостность. Показано, что сочетание агент-ориентированного подхода с категорной формализацией теории функциональных систем П.К. Анохина позволяет создать модель, способную выполнять роль акцептора результатов действия, то есть, способную предсказывать реакцию системы на изменения внешней среды, в том числе, последствия управляющих воздействий. Разработаны алгоритмы подстройки внутренней иерархической структуры искусственного общества для обеспечения гомеостаза в ответ на изменение внешних условий с учетом реакции экономических акторов разного уровня, обладающих собственными целями и располагающих ограниченными ресурсами. Разработана структура свойств агентов-людей, агентов-организаций и окружающей их среды, а также алгоритмы их взаимодействия, минимально необходимые для обеспечения соответствия цифрового двойника реально существующей системе с тем, чтобы полученные в ходе компьютерных экспериментов прогнозы и выводы можно было бы распространить на реальный прототип.
54 Разработка программного обеспечения для практической реализации предложенной методологии будет осуществлена на базе системы МЁБИУС – системы проектирования масштабируемых агент-ориентированных моделей для с запуска на суперкомпьютерах [7], которая была апробирована при реализации полномасштабной демографической АОМ России [8]. Там же был апробирован и механизм включения в модель «проектов», представляющих в искусственной среде комплексные управляющие воздействия. При создании новой модели необходимо будет разработать структуру подобных «проектов» для имитации воздействия на различные составляющие системы (структуру связей, нормы деятельности агентов, их информированность и др.), учитывающие соответствующие им особенности управления.
55

Таким образом, речь идет о создании модели общества, способной стать инструментом реализации доказательного подхода в стратегическом управлении, включающего научно обоснованную оценку последствий планируемых решений, в том числе количественную. Использование подобного инструмента позволит в ходе компьютерных экспериментов оценивать «выживаемость» моделируемой системы, границы ее устойчивости (границы адаптационных возможностей) и ключевые зоны риска. Таким образом, его использование будет продуктивным как на этапе планирования – для оценки возможных эффектов, так и на этапе мониторинга реализации стратегических планов – для корректировки траектории достижения стратегических целей.

References

1. Anokhin P.K. Izbrannye trudy: Kibernetika funktsional'nykh sistem / Pod red. K.V. Sudakova. Sost. V.A. Makarov. M.: Meditsina. 1998.

2. Anokhin P.K. Printsipial'nye voprosy obschej teorii funktsional'nykh sistem // Printsipy sistemnoj organizatsii funktsij. M.: Nauka. 1973.

3. Burkov V.N. Osnovy matematicheskoj teorii aktivnykh sistem. M.: Nauka. 1977.

4. Burkov V.N., Kondrat'ev V.V. Mekhanizmy funktsionirovaniya organizatsionnykh sistem. M.: Nauka. Glavnaya redaktsiya fiziko-matematicheskoj literatury. 1981.

5. Kaplan R., Norton D. Sbalansirovannaya sistema pokazatelej. Ot strategii k dejstviyu. M.: Olimp-Biznes. 2003.

6. Klejner G.B., Kotlyar Eh.A., Sushko E.D. Sozdanie mnogourovnevoj mnogofaktornoj kriterial'noj sistemy otsenki protsessov razvitiya rossijskogo obrazovaniya. Strategicheskoe planirovanie i razvitie predpriyatij. Sbornik materialov VIII Vserossijskogo simpoziuma. M.: TsEhMI RAN. 2007.

7. Makarov V.L., Bakhtizin A.R., Sushko E.D., Sushko G.B. Sistema proektirovaniya masshtabiruemykh agent-orientirovannykh modelej, vklyuchayuschikh populyatsii agentov raznykh tipov s dinamicheski izmenyayuschejsya chislennost'yu i slozhnymi mnogoehtapnymi vzaimodejstviyami agentov, obrazuyuschikh sotsial'nye seti. Svidetel'stvo o registratsii programmy dlya EhVM RU 2020612410, 20.02.2020.

8. Makarov V.L., Bakhtizin A.R., Sushko E.D., Sushko G.B. Sozdanie superkomp'yuternoj imitatsii obschestva s aktivnymi agentami raznykh tipov i eyo aprobatsiya // Vestnik Rossijskoj akademii nauk, 2022. Tom 92, № 5. DOI: 10.31857/S0869587322050115.

9. Novikov D.A. Teoriya upravleniya organizatsionnymi sistemami. 4-e izd., ispr. i dopoln. M.: LENAND. 2021.

10. Parinov S.I. Vliyanie razvitiya kommunikatsij na svojstva ehkonomiki // Tsifrovaya ehkonomika, 2020. №1(9). DOI: 10.34706/DE-2020-01-02.

11. Skoptsov O.P. Popytka rasshireniya Teorii Funktsional'noj Sistemy P.K. Anokhina // Biomashsistemy. 2018. T. 2, №4.

12. Sudakov K.V. Razvitie teorii funktsional'nykh sistem v nauchnoj shkole P.K. Anokhina // EhPNI Vestnik Mezhdunarodnoj akademii nauk. Russkaya sektsiya. 2011, №1.

13. Sudakov K.V. Skhematicheskie izobrazheniya (infograficheskie modeli) funktsional'nykh sistem v nauchnoj shkole P.K. Anokhina. Innovatsii v otraslyakh narodnogo khozyajstva, kak faktor resheniya sotsial'no-ehkonomicheskikh problem sovremennosti. Sbornik dokladov i materialov 2-j Mezhdunarodnoj nauchno-prakticheskoj konferentsii. M.: Institut nepreryvnogo obrazovaniya. 2012.

14. Sudakov K.V., Andrianov V.V. Teoriya funktsional'nykh sistem kak osnova formirovaniya sistemnogo mirovozzreniya studentov-medikov // Sechenovskij vestnik. 2012, № 1 (7).

15. Sushko E.D. Nauchno-metodologicheskie osnovy monitoringa realizatsii strategii sotsial'no-ehkonomicheskogo razvitiya Ivanovskoj oblasti. V kn.: Pivovarov Yu.S. (otv. red.). Rossiya: Tendentsii i perspektivy razvitiya. Ezhegodnik. Vyp.4 Chast' II. M.: INION RAN. 2008.

16. Tolokonnikov G.K. Matematicheskaya kategornaya teoriya sistem // Biomashsistemy. Teoriya i prilozheniya. 2016, T. 2. M.: Rosinformagrotekh.

17. Tolokonnikov G.K. Neformal'naya kategornaya teoriya sistem // Biomashsistemy. 2018, T. 2, №4.

18. Trud i zanyatost' v Rossii. 2019. Stat. sb. M.: Rosstat. 2019.

19. Ukaz Prezidenta Rossijskoj Federatsii ot 8 noyabrya 2021 g. № 633 «Ob utverzhdenii Osnov gosudarstvennoj politiki v sfere strategicheskogo planirovaniya v Rossijskoj Federatsii».

20. Ustyuzhanina E.V. Voprosy postroeniya teorii koordinatsii khozyajstvennogo vzaimodejstviya // Journal of Institutional Studies. 2022. No 14(1), DOI: 10.17835/2076-6297.2022.14.1.025-035.

21. Shabunova A.A., Rostovskaya T.K. O neobkhodimosti razrabotki modeli optimal'nykh uslovij dlya formirovaniya i realizatsii demograficheskikh ustanovok // Ehkonomicheskie i sotsial'nye peremeny: fakty, tendentsii, prognoz. 2020, T. 13, № 4. DOI: 10.15838/esc.2020.4.70.2.

22. Cameron K., Quinn R. Diagnosing and Changing Organizational Culture. Jossey-Bass. 2011.

23. Doring A., Isham C.J. A topos foundation for theories of Physics. Journal of Mathematical Physics. 2008. 49. No. 5. DOI:10.1063/1.2883740.

24. Forrest J.Y.-L. General Systems Theory. Foundation, Intuition and Applications in Business Decision Making. IFSR International Series in Systems Science and Systems Engineering. Vol. 32. Springer. 2018.

25. Makarov V.L., Bakhtizin A.R., Epstein J.M. Agent-based modeling for a complex world. 2nd edition, revised. – M.: Scientific publications department. GAUGN. 2022.

26. Rampersad H.K. Total performance scorecard: the way to personal integrity and organizational effectiveness. Measuring Business Excellence. 2005. Vol. 9 No. 3, pp. 21-35. https://doi.org/10.1108/13683040510616943.

Comments

No posts found

Write a review
Translate