Везде
Обзор метамоделей для оценки, калибровки и применения агентных моделей
Оглавление
Аннотация Оценить Содержание публикации
Библиография Комментарии
Поделиться
QR
Метрика
Обзор метамоделей для оценки, калибровки и применения агентных моделей
Аннотация
Код статьи
S207751800010678-4-1
DOI
10.18254/S207751800010678-4
Тип публикации
Статья
Статус публикации
Опубликовано
Авторы
Конькова (Кураева) Татьяна Александровна 
Должность: научный сотрудник
Аффилиация: ЦЭМИ РАН
Адрес: Российская Федерация, Москва
Выпуск
Том 15 Выпуск 3
Аннотация

Развитие агентного моделирования характеризуется более высокими требованиями к параметризации, оценке и документированию этих вычислительно дорогих моделей. Соответственно, также растет спрос на «простые в использовании» приложения, просто имитирующие поведение ввода-вывода таких моделей. Для этих задач все чаще используются метамодели. В данной работе приводится обзор общих типов метамоделей и целей их использования в контексте агентного моделирования. Чтобы помочь разработчикам моделей в выборе и применении метамоделей для собственных нужд, также были оценены усилия по внедрению и производительность. Все найденные приложения были классифицированы по определенным типам метамоделей и оценены исследователями из различных дисциплин в отношении усилий по внедрению и эффективности. В частности, авторами была оценена эффективность метамодели в соответствии с (i) учетом неопределенностей, (ii) оценкой пригодности, предоставленной авторами для конкретной цели, и (iii) количеством критериев оценки, предоставленных для оценки пригодности. Были выбраны 40 различных приложений метамоделей из исследований, опубликованных в рецензируемых журналах с 2005 по 2019 годы. Они использовались для анализа чувствительности, калибровки и масштабирования агентных моделей, а также для имитации их прогноза для различных сценариев. Данный обзор предоставляет информацию о наиболее применимых типах метамоделей для каждой цели. 

Ключевые слова
агентное моделирование, калибровка, масштабирование, обзор, анализ чувствительности
Классификатор
Получено
01.08.2020
Дата публикации
05.09.2020
Всего подписок
25
Всего просмотров
1668
Оценка читателей
0.0 (0 голосов)
Цитировать Скачать pdf
Доступ к дополнительным сервисам
Дополнительные сервисы только на эту статью
Преимущества сервисов
100 руб. / 1.0 SU
Дополнительные сервисы на все выпуски за 2020 год
Преимущества сервисов
1200 руб. / 24.0 SU
1

Введение

По сути, метамодель (MM) - это модель, которая описывает поведение исходной модели на более высоком иерархическом уровне. MM предоставляют эффективный способ облегчить глубокий анализ моделей и прогнозирование поведения агентных моделей в широком диапазоне комбинации параметров. Впервые термин MM появился в работе «Обзор методов метамоделирования для оптимизации инженерного проектирования» [1].
2 Целью этого обзора является анализ имеющейся информации об общих типах MM, используемых для различных задач, связанных с анализом агентных моделей и приложений, чтобы помочь разработчикам выбрать подходящий тип MM для их исследовательской задачи. Методология оценки качества ММ и усилий по их внедрению в контексте агентного моделирования была разработана и применена для рецензируемых публикаций восемью различными научными сотрудниками с различными математическими навыками и научным опытом.
3

Методы

Авторами был проведен обзор литературы в базах данных открытого доступа (см. таблицу 1), рассматривались только рецензируемые статьи. Для каждой используемой базы данных были выполнены десять поисков, объединивших термины «агентная модель» и «индивидуальная модель» с каждым из следующих ключевых слов: аппроксимация, эмулятор, метамодель, мета-модель и имитация. Временные рамки результатов не ограничивались, но учитывались только 50 результатов на каждый поиск, отсортированные по их релевантности. Для рецензирования были выбраны статьи, содержащие одно или несколько ключевых слов в заголовке, аннотации или разделе ключевых слов.
4 Таблица 1. Список всех баз данных, использованных для обзора. Выборка проводилась в январе 2019 года без ограничения по годам публикации.
База данных Сайт
Academic ebscohost.com/academic/academic
Web of Science Core Collection apps.webofknowledge.com
Google Scholar scholar.google.de
Scopus elsevier.com/solutions/scopus
5 Классификация ММ и цель применения. В работе ММ не разделялись на имитационные белые модели (уменьшенный порядок), серые (и физические уравнения, и стохастически оцененные параметры), и черный ящик (машинное обучение). Вместо этого они были разделены в соответствии с их методом описания связи между входными и выходными переменными на детерминированные (например, дифференциальное уравнение) и стохастические (например, машинное обучение) метамодели соответственно. Таким образом, дифференциальное уравнение с частными производными, используемое для масштабирования, были отнесены к семейству детерминированных MM, тогда как байесовские эмуляторы, применяемые для калибровки рассматриваются как стохастические MM.
6 ММ были сначала разделены на два основных класса, а именно детерминированные и стохастические модели, в зависимости от того, рассматривают ли они распределения вероятностей, связанные с входом, выходом или процессами, описанными агентными моделями. Классы были далее разделены на шесть модельных семейств, которые включают в себя разные типы ММ (таблица 2). В этом смысле все семейства MM не обязательно разделяют все атрибуты или требования своего тезки в математическом контексте. Названия типов моделей были напрямую извлечены из принятых документов без каких-либо корректировок.
7

Таблица 2. Классификация ММ получена из принятых работ с приложениями ММ в контексте агентного моделирования.

Класс модели Семейство модели Тип модели
Детерминированные Обычное функциональное уравнение Дифференциальное уравнение Разностное уравнение, Моделирование без уравнений, Модель системной динамики, Обыкновенное дифференциальное уравнение, Частичное дифференциальное уравнение
Стохастические Регрессия Регрессия первого порядка, Линейная регрессия, Полиномиальная регрессия, Метод наименьших квадратов
Байесовский эмулятор Приближенные байесовские вычисления, Динамическая линейная модель гауссовского процесса, Гауссовский процесс, Пространственная корреляция
Машинное обучение Дерево решений, Ансамбль деревьев решений, Радиально-базисная функциональная сеть, «Случайный лес», Регрессия опорных векторов, Символьная регрессия
Цепи Маркова Матрицы переходов
8 Оценка качества и усилий по реализации ММ. Качество ММ оценивалось на основе оценки авторами источника с использованием трех различных критериев (Таблица 3): рассмотрение неопределенности (CU), оценка пригодности источника (SuA) и количество критериев оценки (NE). С помощью критерия CU оценивалось, как авторы рассматривали неопределенности на входах и выходах соответствующего семейства MM. В этом критерии термин «нет» означает, что не было явного рассмотрения неопределенности, данной авторами, использующими MM, в то время как «да» относится к тем, в которых они использовали хотя бы некоторые (количественные) показатели. Термин «пригодность» в SuA относится к применимости данного типа MM (например, приближенные байесовские вычисления) для выполнения конкретной цели (например, калибровка агентной модели). Третий критерий NE самоочевиден. Например, базовая модель линейной регрессии предоставляет два критерия для оценки пригодности и, таким образом, получит среднюю оценку для этого конкретного критерия, если авторы представили эти критерии в своей рецензируемой исследовательской работе.
9


Таблица 3. Критерии, применяемые для оценки качества ММ с целью эмуляции агентной модели.

Критерий Качество ММ Ключевые вопросы
  низкое среднее высокое  
Рассмотрение неопределенности (CU) нет да с оценкой Дали ли авторы какую-либо оценку неопределенности допущений или результатов ММ?
Оценка пригодности источника (SuA) нет или плохо хорошо (качественно) хорошо (количественно) Как авторы заявили о пригодности ММ для данной цели?
Количество критериев оценки (NE) 1 2 >2 Сколько различных критериев было предоставлено авторами для оценки пригодности ММ?
10 Усилия по внедрению каждого семейства MM оценивались по следующим трем критериям (таблица 4): доступность источников открытого доступа (AG), покрытие R (RC) и готовность к применению (OA). Поскольку в данном обзоре важны исключительно усилия по внедрению MM, вычислительные затраты не учитывались. Критерий AG оценивает усилия по поиску помощи или дополнительной информации для потенциального применения MM для собственных нужд. Если не удалось найти источники, выполнив поиск в Google Scholar и Google.com, используя имя типа метамодели в качестве поискового запроса – значит была предпринята большая работа по внедрению, в то время как несколько доступных источников (например, страница на Wikipedia.org и математическая запись в блоге) были рассмотрены как средние усилия по реализации. Усилия оценивались как низкие, если был один источник, дающий всестороннее руководство по внедрению соответствующей MM. Критерий RC сфокусирован на свободном доступном статистическом языке R [2]. Если для реализации всей метамодели доступен один выделенный пакет, она оценивалась с минимальными усилиями по внедрению. Если было необходимо несколько пакетов R - было предпринято среднее усилие. Потребовались большие усилия по внедрению, если вся MM должна была быть разработана с нуля. Последний критерий ОА оценивает возможность немедленного использования ММ (частично зависит от существующего программного обеспечения).
11

Таблица 4. Критерии, применяемые для оценки усилий по реализации MM.

Критерий Усилия по реализации Ключевые вопросы
  низкие средние высокие  
Доступность источников открытого доступа (AG) 1 источник несколько источников нет Есть ли общедоступные источники, такие как книги или блоги, в которых содержатся рекомендации по внедрению этого семейства MM?
Покрытие R (RC) 1 пакет несколько пакетов нет Существуют ли специальные пакеты R для реализации данной MM?
Готовность к применению (OA) без настроек небольшие корректировки разработка с нуля Нужно ли разрабатывать собственное уравнение с нуля для применения ММ?
12

Результаты
13 Анализ чувствительности. Для анализа чувствительности байесовские эмуляторы и регрессии имеют наивысшие оценки, что указывает на доступные усилия по внедрению (Рисунок 1). Половина рецензируемых публикаций с упором на машинное обучение была оценена выше биссектрисы, что указывает на широкое использование ММ, в то время как остальные приложения были либо на биссектрисе, либо ниже. В целом, было сочтено разумным усилие по внедрению для трех семейств MM (байесовские эмуляторы, машинное обучение и регрессия) из-за преимущественно высокого RC (покрытие R) и широкого AG (наличие вспомогательных источников открытого доступа) для них. Однако недостатком в применении этих трех семейств MM для анализа чувствительности является необходимость их корректировки для применения в других агентных моделях: в этих семействах метамоделей не было ни одного типа MM, который можно было бы повторно использовать без каких-либо изменений. Превосходные качества байесовских эмуляторов и метамоделей регрессии обусловлены умеренным или хорошим SuA (оценка пригодности авторами) в дополнение к их умеренному или хорошему CU (рассмотрение неопределенности). Применяемые ММ машинного обучения для анализа чувствительности никогда не превышали умеренный NE (число критериев оценки), в то время как их критерии CU и SuA увеличивались в следующем порядке: ансамбль дерева решений, регрессия опорных векторов, символьная регрессия и случайный лес.
14

Рисунок 1. Результаты оценки качества ММ и усилий по реализации для анализа чувствительности.
15 Калибровка. Для калибровки байесовские эмуляторы, метамодели машинного обучения и регрессии, по-видимому, являются предпочтительными семействами ММ, поскольку они постоянно остаются выше биссектрисы (или на ней), что указывает на выгодное соотношение качества ММ к усилию внедрения (рисунок 2). Напротив, MM дифференциального уравнения и обыкновенного функционального уравнения не превышают или даже не достигают биссектрисы и, следовательно, кажутся менее благоприятными семействами MM, которые следует применять для калибровки агентных моделей.
16

Рисунок 2. Результаты оценки качества ММ и усилий по внедрению для целей калибровки.
17 Высокие усилия по реализации дифференциальных уравнений и обыкновенных функциональных уравнений обусловлены довольно низкой готовностью к применению (OA), поскольку их необходимо полностью перестраивать для каждой новой агентной модели. Их AG и RC остаются хорошими и средними, подчеркивая их широкое использование. Превосходные качества ММ байесовских эмуляторов обусловлены их высоким критерием NE, а также глубоким CU (рассмотрение неопределенности). Только SuA (оценка пригодности авторов) был плохим или средним, что указывало на то, что не каждый тип MM этого семейства удовлетворял задаче калибровки так же хорошо, как другие. Метамодели с машинным обучением всегда достигали хорошего SuA, в то время как их CU и NE (количество критериев оценки) варьировались от среднего до высокого. Довольно плохие качества, показываемые дифференциальными уравнениями и обыкновенными функциональными уравнениями, являются результатом их низких CU и NE. Тем не менее, авторы соответствующих источников оценили пригодность этих ММ как хорошую.
18 Прогнозирование. Для прогнозирования поведения агентных моделей, байесовские эмуляторы получили лучший рейтинг качества с различными усилиями по внедрению. Вторым лучшим семейством MM для прогнозирования поведения агентных моделей являются модели машинного обучения. Их довольно низкие усилия по внедрению обусловлены их широкими критериями RC и AG. Критерий готовности к применению (ОА) варьируется вокруг среднего рейтинга, а деревья решений достигают самого высокого рейтинга. Различное качество в этом семействе MM объясняется тем, что SuA (оценка пригодности) различается по соответствующим источникам, в то время как CU (учет неопределенности) является в целом низким, а NE (количество критериев оценки) находится между низким и средним. Наивысшее качество достигается у «случайного леса» для сопоставимых более высоких CU и NE.
19

Рисунок 3. Результаты оценки качества ММ и усилий по внедрению для цели прогнозирования.
20 Масштабирование. Для масштабирования агентных моделей только метамодель цепи Маркова превышала нейтральное соотношение качества и эффективности ММ (рисунок 4). Метамодель дифференциальное уравнение оставалась ниже биссектрисы, что делает ее менее подходящим выбором для целей масштабирования. ММ цепи Маркова достигла среднего качества из-за высокого SuA (оценка пригодности авторами источника), низкого среднего CU (учет неопределенности) и NE (количество критериев оценки). В усилиях по внедрению преобладает низкие значения OA (готовность к применению), а это означает, что для адаптации этого типа MM к другой агентной модели потребуется много корректировок. Единственное принятое дифференциальное уравнение (дифференциальное уравнение с частными производными) получило низкие значения ОА, поскольку новое уравнение должно быть получено для каждого приложения в агентной модели.
21

Рисунок 4. Результаты оценки качества ММ и усилий по внедрению для цели масштабирования.
22

Заключение
23 Этот обзор является «первой помощью» при имитационном моделировании. Цель состояла в том, чтобы поддержать выбор MM для различных потребностей ежедневной работы с агентными моделями, выделив наиболее перспективные в настоящее время типы MM с примерами, каждый из которых служит практическим руководством по применению:
24
  • Анализ чувствительности: простейшие ММ для реализации со средней производительностью - это модели регрессии (например, модель полиномиальной регрессии).
  • Калибровка: приближенные байесовские вычисления из семейства байесовских эмуляторов обеспечивают хороший баланс усилий и производительности.
  • Прогнозирование: гауссовские процессы из семейства байесовских эмуляторов MM обеспечивают наилучшее качество при минимальных усилиях по внедрению. В отличие от этого, метамодели «случайного леса» (семейство машинного обучения) предлагают усилие по внедрению ниже среднего, но качество только чуть выше среднего.
  • Масштабирование: матрицы переходов из семейства цепей Маркова, по-видимому, являются наиболее перспективным инструментом.

Библиография

1. G. Gary Wang, S. Shan Review of Metamodeling Techniques in Support of Engineering Design Optimization // Journal of Mechanical Design. Apr 2007, 129(4) URL: https://asmedigitalcollection.asme.org/mechanicaldesign/article-abstract/129/4/370/466824/Review-of-Metamodeling-Techniques-in-Support-of?redirectedFrom=fulltext

2. The R project // URL: https://www.r-project.org

3. Pietzscha B., Fiedlerb S., Mertensc K., Richterd M., Scherere C., Widyastutia K., Wimmlera M-C., Zakharova L., Berger U. Metamodels for Evaluating, Calibrating and Applying Agent-Based Models: A Review // Journal of Artificial Societies and Social Simulation. 23 (2) 9 URL: http://jasss.soc.surrey.ac.uk/23/2/9.html

Комментарии

Сообщения не найдены

Написать отзыв
Перевести