Везде
Metamodels for Evaluating, Calibrating and Applying Agent-Based Models: A Review
Table of contents
Annotation Estimate Publication content
References Comments
Share
QR
Metrics
Metamodels for Evaluating, Calibrating and Applying Agent-Based Models: A Review
Annotation
PII
S207751800010678-4-1
DOI
10.18254/S207751800010678-4
Publication type
Article
Статус публикации
Published
Authors
Tatiana Konkova 
Affiliation: Cemi RAS
Address: Russian Federation, Moscow
Edition
Volume 15 Issue 3
Abstract

The development of agent-based modeling is characterized by higher requirements for parameterizing, evaluating, and documenting these computationally expensive models. Accordingly, there is also a growing demand for “easy to use” applications that just mimic the input-output behavior of such models. Metamodels are increasingly being used for these tasks. This paper provides an overview of common types of metamodels and their purposes in the context of agent-based modeling. Implementation efforts and performance were also evaluated to assist modelers in selecting and applying metamodels for their own needs. All applications found were classified according to specific types of metamodels and evaluated by researchers from various disciplines for implementation effort and effectiveness. Specifically, the authors evaluated the performance of the metamodel in accordance with (i) uncertainties, (ii) the assessment of suitability provided by the authors for a specific purpose, and (iii) the number of assessment criteria provided for assessing suitability. 40 different applications of metamodels were selected from studies published in peer-reviewed journals from 2005 to 2019. They were used for sensitivity analysis, calibration and scaling of agent-based models, and to simulate their predictions for various scenarios. This overview provides information on the most applicable types of metamodels for each purpose.

Keywords
agent-based modeling, emulator, calibration, sensitivity analysis, review
Received
01.08.2020
Date of publication
05.09.2020
Number of purchasers
25
Views
1669
Readers community rating
0.0 (0 votes)
Cite Download pdf
Additional services access
Additional services for the article
Services benefits
100 RUB / 1.0 SU
Additional services for all issues for 2020
Services benefits
1200 RUB / 24.0 SU
1

Введение

По сути, метамодель (MM) - это модель, которая описывает поведение исходной модели на более высоком иерархическом уровне. MM предоставляют эффективный способ облегчить глубокий анализ моделей и прогнозирование поведения агентных моделей в широком диапазоне комбинации параметров. Впервые термин MM появился в работе «Обзор методов метамоделирования для оптимизации инженерного проектирования» [1].
2 Целью этого обзора является анализ имеющейся информации об общих типах MM, используемых для различных задач, связанных с анализом агентных моделей и приложений, чтобы помочь разработчикам выбрать подходящий тип MM для их исследовательской задачи. Методология оценки качества ММ и усилий по их внедрению в контексте агентного моделирования была разработана и применена для рецензируемых публикаций восемью различными научными сотрудниками с различными математическими навыками и научным опытом.
3

Методы

Авторами был проведен обзор литературы в базах данных открытого доступа (см. таблицу 1), рассматривались только рецензируемые статьи. Для каждой используемой базы данных были выполнены десять поисков, объединивших термины «агентная модель» и «индивидуальная модель» с каждым из следующих ключевых слов: аппроксимация, эмулятор, метамодель, мета-модель и имитация. Временные рамки результатов не ограничивались, но учитывались только 50 результатов на каждый поиск, отсортированные по их релевантности. Для рецензирования были выбраны статьи, содержащие одно или несколько ключевых слов в заголовке, аннотации или разделе ключевых слов.
4 Таблица 1. Список всех баз данных, использованных для обзора. Выборка проводилась в январе 2019 года без ограничения по годам публикации.
База данных Сайт
Academic ebscohost.com/academic/academic
Web of Science Core Collection apps.webofknowledge.com
Google Scholar scholar.google.de
Scopus elsevier.com/solutions/scopus
5 Классификация ММ и цель применения. В работе ММ не разделялись на имитационные белые модели (уменьшенный порядок), серые (и физические уравнения, и стохастически оцененные параметры), и черный ящик (машинное обучение). Вместо этого они были разделены в соответствии с их методом описания связи между входными и выходными переменными на детерминированные (например, дифференциальное уравнение) и стохастические (например, машинное обучение) метамодели соответственно. Таким образом, дифференциальное уравнение с частными производными, используемое для масштабирования, были отнесены к семейству детерминированных MM, тогда как байесовские эмуляторы, применяемые для калибровки рассматриваются как стохастические MM.
6 ММ были сначала разделены на два основных класса, а именно детерминированные и стохастические модели, в зависимости от того, рассматривают ли они распределения вероятностей, связанные с входом, выходом или процессами, описанными агентными моделями. Классы были далее разделены на шесть модельных семейств, которые включают в себя разные типы ММ (таблица 2). В этом смысле все семейства MM не обязательно разделяют все атрибуты или требования своего тезки в математическом контексте. Названия типов моделей были напрямую извлечены из принятых документов без каких-либо корректировок.
7

Таблица 2. Классификация ММ получена из принятых работ с приложениями ММ в контексте агентного моделирования.

Класс модели Семейство модели Тип модели
Детерминированные Обычное функциональное уравнение Дифференциальное уравнение Разностное уравнение, Моделирование без уравнений, Модель системной динамики, Обыкновенное дифференциальное уравнение, Частичное дифференциальное уравнение
Стохастические Регрессия Регрессия первого порядка, Линейная регрессия, Полиномиальная регрессия, Метод наименьших квадратов
Байесовский эмулятор Приближенные байесовские вычисления, Динамическая линейная модель гауссовского процесса, Гауссовский процесс, Пространственная корреляция
Машинное обучение Дерево решений, Ансамбль деревьев решений, Радиально-базисная функциональная сеть, «Случайный лес», Регрессия опорных векторов, Символьная регрессия
Цепи Маркова Матрицы переходов
8 Оценка качества и усилий по реализации ММ. Качество ММ оценивалось на основе оценки авторами источника с использованием трех различных критериев (Таблица 3): рассмотрение неопределенности (CU), оценка пригодности источника (SuA) и количество критериев оценки (NE). С помощью критерия CU оценивалось, как авторы рассматривали неопределенности на входах и выходах соответствующего семейства MM. В этом критерии термин «нет» означает, что не было явного рассмотрения неопределенности, данной авторами, использующими MM, в то время как «да» относится к тем, в которых они использовали хотя бы некоторые (количественные) показатели. Термин «пригодность» в SuA относится к применимости данного типа MM (например, приближенные байесовские вычисления) для выполнения конкретной цели (например, калибровка агентной модели). Третий критерий NE самоочевиден. Например, базовая модель линейной регрессии предоставляет два критерия для оценки пригодности и, таким образом, получит среднюю оценку для этого конкретного критерия, если авторы представили эти критерии в своей рецензируемой исследовательской работе.
9


Таблица 3. Критерии, применяемые для оценки качества ММ с целью эмуляции агентной модели.

Критерий Качество ММ Ключевые вопросы
  низкое среднее высокое  
Рассмотрение неопределенности (CU) нет да с оценкой Дали ли авторы какую-либо оценку неопределенности допущений или результатов ММ?
Оценка пригодности источника (SuA) нет или плохо хорошо (качественно) хорошо (количественно) Как авторы заявили о пригодности ММ для данной цели?
Количество критериев оценки (NE) 1 2 >2 Сколько различных критериев было предоставлено авторами для оценки пригодности ММ?
10 Усилия по внедрению каждого семейства MM оценивались по следующим трем критериям (таблица 4): доступность источников открытого доступа (AG), покрытие R (RC) и готовность к применению (OA). Поскольку в данном обзоре важны исключительно усилия по внедрению MM, вычислительные затраты не учитывались. Критерий AG оценивает усилия по поиску помощи или дополнительной информации для потенциального применения MM для собственных нужд. Если не удалось найти источники, выполнив поиск в Google Scholar и Google.com, используя имя типа метамодели в качестве поискового запроса – значит была предпринята большая работа по внедрению, в то время как несколько доступных источников (например, страница на Wikipedia.org и математическая запись в блоге) были рассмотрены как средние усилия по реализации. Усилия оценивались как низкие, если был один источник, дающий всестороннее руководство по внедрению соответствующей MM. Критерий RC сфокусирован на свободном доступном статистическом языке R [2]. Если для реализации всей метамодели доступен один выделенный пакет, она оценивалась с минимальными усилиями по внедрению. Если было необходимо несколько пакетов R - было предпринято среднее усилие. Потребовались большие усилия по внедрению, если вся MM должна была быть разработана с нуля. Последний критерий ОА оценивает возможность немедленного использования ММ (частично зависит от существующего программного обеспечения).
11

Таблица 4. Критерии, применяемые для оценки усилий по реализации MM.

Критерий Усилия по реализации Ключевые вопросы
  низкие средние высокие  
Доступность источников открытого доступа (AG) 1 источник несколько источников нет Есть ли общедоступные источники, такие как книги или блоги, в которых содержатся рекомендации по внедрению этого семейства MM?
Покрытие R (RC) 1 пакет несколько пакетов нет Существуют ли специальные пакеты R для реализации данной MM?
Готовность к применению (OA) без настроек небольшие корректировки разработка с нуля Нужно ли разрабатывать собственное уравнение с нуля для применения ММ?
12

Результаты
13 Анализ чувствительности. Для анализа чувствительности байесовские эмуляторы и регрессии имеют наивысшие оценки, что указывает на доступные усилия по внедрению (Рисунок 1). Половина рецензируемых публикаций с упором на машинное обучение была оценена выше биссектрисы, что указывает на широкое использование ММ, в то время как остальные приложения были либо на биссектрисе, либо ниже. В целом, было сочтено разумным усилие по внедрению для трех семейств MM (байесовские эмуляторы, машинное обучение и регрессия) из-за преимущественно высокого RC (покрытие R) и широкого AG (наличие вспомогательных источников открытого доступа) для них. Однако недостатком в применении этих трех семейств MM для анализа чувствительности является необходимость их корректировки для применения в других агентных моделях: в этих семействах метамоделей не было ни одного типа MM, который можно было бы повторно использовать без каких-либо изменений. Превосходные качества байесовских эмуляторов и метамоделей регрессии обусловлены умеренным или хорошим SuA (оценка пригодности авторами) в дополнение к их умеренному или хорошему CU (рассмотрение неопределенности). Применяемые ММ машинного обучения для анализа чувствительности никогда не превышали умеренный NE (число критериев оценки), в то время как их критерии CU и SuA увеличивались в следующем порядке: ансамбль дерева решений, регрессия опорных векторов, символьная регрессия и случайный лес.
14

Рисунок 1. Результаты оценки качества ММ и усилий по реализации для анализа чувствительности.
15 Калибровка. Для калибровки байесовские эмуляторы, метамодели машинного обучения и регрессии, по-видимому, являются предпочтительными семействами ММ, поскольку они постоянно остаются выше биссектрисы (или на ней), что указывает на выгодное соотношение качества ММ к усилию внедрения (рисунок 2). Напротив, MM дифференциального уравнения и обыкновенного функционального уравнения не превышают или даже не достигают биссектрисы и, следовательно, кажутся менее благоприятными семействами MM, которые следует применять для калибровки агентных моделей.
16

Рисунок 2. Результаты оценки качества ММ и усилий по внедрению для целей калибровки.
17 Высокие усилия по реализации дифференциальных уравнений и обыкновенных функциональных уравнений обусловлены довольно низкой готовностью к применению (OA), поскольку их необходимо полностью перестраивать для каждой новой агентной модели. Их AG и RC остаются хорошими и средними, подчеркивая их широкое использование. Превосходные качества ММ байесовских эмуляторов обусловлены их высоким критерием NE, а также глубоким CU (рассмотрение неопределенности). Только SuA (оценка пригодности авторов) был плохим или средним, что указывало на то, что не каждый тип MM этого семейства удовлетворял задаче калибровки так же хорошо, как другие. Метамодели с машинным обучением всегда достигали хорошего SuA, в то время как их CU и NE (количество критериев оценки) варьировались от среднего до высокого. Довольно плохие качества, показываемые дифференциальными уравнениями и обыкновенными функциональными уравнениями, являются результатом их низких CU и NE. Тем не менее, авторы соответствующих источников оценили пригодность этих ММ как хорошую.
18 Прогнозирование. Для прогнозирования поведения агентных моделей, байесовские эмуляторы получили лучший рейтинг качества с различными усилиями по внедрению. Вторым лучшим семейством MM для прогнозирования поведения агентных моделей являются модели машинного обучения. Их довольно низкие усилия по внедрению обусловлены их широкими критериями RC и AG. Критерий готовности к применению (ОА) варьируется вокруг среднего рейтинга, а деревья решений достигают самого высокого рейтинга. Различное качество в этом семействе MM объясняется тем, что SuA (оценка пригодности) различается по соответствующим источникам, в то время как CU (учет неопределенности) является в целом низким, а NE (количество критериев оценки) находится между низким и средним. Наивысшее качество достигается у «случайного леса» для сопоставимых более высоких CU и NE.
19

Рисунок 3. Результаты оценки качества ММ и усилий по внедрению для цели прогнозирования.
20 Масштабирование. Для масштабирования агентных моделей только метамодель цепи Маркова превышала нейтральное соотношение качества и эффективности ММ (рисунок 4). Метамодель дифференциальное уравнение оставалась ниже биссектрисы, что делает ее менее подходящим выбором для целей масштабирования. ММ цепи Маркова достигла среднего качества из-за высокого SuA (оценка пригодности авторами источника), низкого среднего CU (учет неопределенности) и NE (количество критериев оценки). В усилиях по внедрению преобладает низкие значения OA (готовность к применению), а это означает, что для адаптации этого типа MM к другой агентной модели потребуется много корректировок. Единственное принятое дифференциальное уравнение (дифференциальное уравнение с частными производными) получило низкие значения ОА, поскольку новое уравнение должно быть получено для каждого приложения в агентной модели.
21

Рисунок 4. Результаты оценки качества ММ и усилий по внедрению для цели масштабирования.
22

Заключение
23 Этот обзор является «первой помощью» при имитационном моделировании. Цель состояла в том, чтобы поддержать выбор MM для различных потребностей ежедневной работы с агентными моделями, выделив наиболее перспективные в настоящее время типы MM с примерами, каждый из которых служит практическим руководством по применению:
24
  • Анализ чувствительности: простейшие ММ для реализации со средней производительностью - это модели регрессии (например, модель полиномиальной регрессии).
  • Калибровка: приближенные байесовские вычисления из семейства байесовских эмуляторов обеспечивают хороший баланс усилий и производительности.
  • Прогнозирование: гауссовские процессы из семейства байесовских эмуляторов MM обеспечивают наилучшее качество при минимальных усилиях по внедрению. В отличие от этого, метамодели «случайного леса» (семейство машинного обучения) предлагают усилие по внедрению ниже среднего, но качество только чуть выше среднего.
  • Масштабирование: матрицы переходов из семейства цепей Маркова, по-видимому, являются наиболее перспективным инструментом.

References

1. G. Gary Wang, S. Shan Review of Metamodeling Techniques in Support of Engineering Design Optimization // Journal of Mechanical Design. Apr 2007, 129(4) URL: https://asmedigitalcollection.asme.org/mechanicaldesign/article-abstract/129/4/370/466824/Review-of-Metamodeling-Techniques-in-Support-of?redirectedFrom=fulltext

2. The R project // URL: https://www.r-project.org

3. Pietzscha B., Fiedlerb S., Mertensc K., Richterd M., Scherere C., Widyastutia K., Wimmlera M-C., Zakharova L., Berger U. Metamodels for Evaluating, Calibrating and Applying Agent-Based Models: A Review // Journal of Artificial Societies and Social Simulation. 23 (2) 9 URL: http://jasss.soc.surrey.ac.uk/23/2/9.html

Comments

No posts found

Write a review
Translate