По утверждению ряда источников, таких как IBM [2], Gatner [3] и других доля «темных», то есть неструктурированных и неразмеченных данных достигает 60 и более процентов. Одним из основных подходов и связанных с этим проблем является привлечение большого количества низкоквалифицированных операторов, необходимых для разметки или извлечения данных. Но такой подход имеет ряд недостатков как с экономической и социальной, так и с технической точки зрения [1]. И не обеспечивает высокой надежности ввиду таких факторов, как ограниченность знаний операторов, человеческого фактора, связанного с возникновением ошибок и ряда других. Процент ошибок может достигать от 10 и выше процентов (данные получены путем статистического анализа как отечественных, так и зарубежных клиентских данных поступающих на обработку с использованием сервисов IQDQ.RU). Таким образом, без решения вопросов, связанных с решением задачи автоматизации процессов извлечения и очистки (проверки релевантности и стандартизации) данных говорить об использовании BigData не приходится, за исключением довольно ограниченных предметных областей и задач.

1. Миграционные потоки. По данным ООН общий рост миграционных потоков с 2000 по 2015 год вырос на 41 процент и составил в 2015 году 244 миллиона человек [4]. В результате имеем такие проблемы, как большое различие трактовок одних и тех же лексических единиц, различный характер грамматических ошибок, связанных с различием культур, уровнем общей грамотности и знанием грамматики языка, на котором приходится писать.
2. Различие в фонемных рядах разных языков. Ввиду того, что не представляется возможным определить истинную национальность пишущего и его родной язык, становится невозможным предсказывать опечатки, а значит, невозможно создать «полную» базу вариантов написаний.
3. «Гаджетизация». На сегодняшний день смартфоны и планшеты являются одними из основных инструментов генерации текстов. В результате развитой системы подсказок и исправлений текстов возникает новый класс ошибок: появляются «выпадающие» из контекста слова.
4. Синонимия и полисемия понятий. Ярким примером данной проблемы является портал «Государственных услуг». Одной из проблем является тот факт, что наименования одних и тех же, по сути, услуг даются совершенно различными способами, имеется одновременно как сильная синонимия, так и полисемия понятий.
5. Превалирующее влияние английского языка и возникновение его упрощенного и усредненного варианта, что приводит к появлению большого количества заимствованных и искаженных как в написании, так и с точки зрения смысла лингвистических единиц в большинстве языков.

К сожалению, несмотря на наличие большого количества фундаментальных исследований, посвященных анализу текстов, современные исследователи и практики сталкиваются с рядом трудностей, главным образом связанных с недостаточным вниманием, в частности, к развитию семиотики как теории знаковых систем [9]. Большая часть исследований, которые создавались не позднее 60-х годов 20-го века, носили умозрительный характер и были связаны с изучением мышления как такового. Сегодня в рамках задач анализа текстов необходимо решать проблему различия в ассоциативных рядах представителей разных культур, учитывать устойчивые выражения, эмоциональные оттенки речи, недостаточность знания автором языка, на котором пишется та или иная работа и так далее.

1. Сравнение носит чисто прикладной характер, и имеет направленность, не связанную с задачами перевода. Анализ производится для решения задач извлечения и поиска данных.
2. В статье представлено сравнение самого принципа и возможностей тех или иных технологических подходов.

1. Широкое использование алгоритмов полнотекстового поиска.
2. Использование разного рода n-грамм.
3. Хеширование данных.
4. Норма вариантов написания одной и той же сущности составляет в среднем от 10 до 50. В качестве примера можно привести решения в области очистки адресных данных, где один из наиболее часто используемых сервисов указывает, что его «обучающая выборка» состоит из 50 миллионов вариантов при размере эталонной базы 1,2 миллиона вариантов.
5. Анализ производится путем прямого сравнения подстрок на полное соответствие с эталоном.
6. Требуется отдельная процедура верификации результатов для принятия окончательного решения.

• Относительная простота реализации.
• Высокая скорость перебора вариантов.

• Лавинообразный рост размера базы из-за необходимости хранения вариантов написаний отдельных сущностей.
• Сложность контроля непротиворечивости соответствия тому или иному варианту написания конкретному элементу эталонного справочника, что приводит к росту вероятности появления полисемии и синонимии вариантов написаний лексических единиц.
• Невозможность или сильная ограниченность анализа частичных совпадений и учета морфологии.
• Высокая стоимость первоначального создания алгоритмов, из-за необходимости накопления базы вариантов написаний. Это отражается, например, в сложности подключения новых стран при разборе адресов, поскольку для каждой страны необходимо создавать свою базу вариантов написаний.
• Невозможность применения эвристических подходов для анализа ситуаций за рамками известных вариантов.

Семантический анализ зависимости слова или фразы от общего контекста. Разрешение проблем полисемии, синонимии и т.д. Основой являются разного рода языковые корпуса, созданные в рамках целей корпусной лингвистики. Отдельно следует упомянуть исследования в области ассоциативной семантики, такие как теория неоднородных семантических сетей [7]. Основой являются лексические единицы, объединяемые по значениям (семантический принцип) или по выполняемым функциям (функциональный принцип). Методология ассоциативной семантики служит для сокращения семантической многозначности путем формирования семантической модели, позволяющей восстановить общий смысл текста в условиях многозначности его фрагментов, вычислить и оценить степень ее адекватности той цели, с которой̆ текст написан [5].

Прагматический анализ [11] смысла текста с учетом, иносказательностей, «ошибок перевода» связанных с разными культурологическими ассоциациями, понятиями и принятыми устойчивыми выражениями в контексте среды рассказчика. В настоящее время данная область является наименее изученной с точки зрения формализации. На сегодняшний день какого-либо рода «корпуса», аналогично языковым нет. С этой точки зрения одной из перспективных областей исследований было бы создание корпусов ассоциативных полей, напоминающих политические, с временными (историческими) и территориальными границами культур. Построение такого рода полей является естественным развитием теорий ассоциативной семантики. Главным различием является то, что в случае семантического подхода ассоциации строятся главным образом на анализе баз ассоциаций лингвистических единиц или (в соответствии с терминами Лемова [6]) экспонентов, а прагматический – на основе баз ассоциаций сигнификатов и денотатов. Хорошие результаты в этом случае получены, например, с использованием нейронных сетей как инструмента кластеризации различного рода устойчивых выражений, описаний и выявления устойчивых ассоциаций. Такого рода подход был реализован в рамках реализации новой системы машинного перевода Google, созданный с использованием нейронных сетей [10].

1. Наличие тем или иным способом размеченных корпусов, эталонных справочников и онтологий. Например, «Лексикограф» ВНИИТИ, национальный корпус русского языка, ФИАС и др.
2. Наличие правил, объединенных в грамматики. Грамматики могут быть реализованы в форме связанных шаблонов, искусственных предикативных языков.
3. Анализ производится путем последовательного сравнения слов. Допускаются перестановки и учет сокращений и словоформ, если такое предусмотрено грамматикой.
4. Не требуется отдельная процедура верификации для принятия окончательного результата.

• Более высокая точность
• Хорошая переносимость при работе с разными онтологиями.
• Возможность использования эвристических подходов для анализа ситуаций за рамками знаний, упакованных в корпуса.
• Возможность анализа и принятия решения в ситуациях сильного «загрязнения» данных, связанных с разного рода ошибками и избыточным контентом.

• Сложность реализации грамматик из-за отсутствия готовых инструментов.
• Более низкая скорость работы.
• Сложность контроля непротиворечивости правил
• Сложность построения предварительно размеченных и логически увязанных корпусов баз знаний.