Интеллектуальный анализ данных

Материал из Seo Wiki - Поисковая Оптимизация и Программирование

Перейти к: навигация, поиск

Интеллектуальный анализ данных (англ. Data Mining) — выявление скрытых закономерностей или взаимосвязей между переменными в больших массивах необработанных данных. Подразделяется на задачи классификации, моделирования и прогнозирования и другие. Термин «Data Mining» введен Григорием Пятецким-Шапиро в 1989 году.[источник не указан 2125 дней]

Английский термин «Data Mining» не имеет однозначного перевода на русский язык (добыча данных, вскрытие данных, информационная проходка, извлечение данных/информации) поэтому в большинстве случаев используется в оригинале. Наиболее удачным непрямым переводом считается термин «интеллектуальный анализ данных» (ИАД).

ИАД включает методы и модели статистического анализа и машинного обучения, дистанцируясь от них в сторону автоматического анализа данных. Инструменты ИАД позволяют проводить анализ данных предметными специалистами (аналитиками), не владеющими соответствующими математическими знаниями.

Содержание

Задачи, решаемые ИАД

  1. Классификация — отнесение входного вектора (объекта, события, наблюдения) к одному из заранее известных классов.
  2. Кластеризация — разделение множества входных векторов на группы (кластеры) по степени «похожести» друг на друга.
  3. Сокращение описания — для визуализации данных, лаконизма моделей, упрощения счета и интерпретации, сжатия объемов собираемой и хранимой информации.
  4. Ассоциация — поиск повторяющихся образцов. Например, поиск «устойчивых связей в корзине покупателя» (англ. market basket analysis) — вместе с пивом часто покупают орешки.
  5. Прогнозирование
  6. Анализ отклонений — Например, выявление нетипичной сетевой активности позволяет обнаружить вредоносные программы.
  7. Визуализация

В литературе можно встретить еще ряд классов задач. Базовыми задачами являются первые три. Остальные задачи сводятся к ним тем или иным способом.

Также можно использовать сводные задачи под основу

Алгоритмы обучения

Для задач классификации характерно «обучение с учителем», при котором построение (обучение) модели производится по выборке содержащей входные и выходные векторы.

Для задач кластеризации и ассоциации применяется «обучение без учителя», при котором построение модели производится по выборке, в которой нет выходного параметра. Значение выходного параметра («относится к кластеру …», «похож на вектор …») подбирается автоматически в процессе обучения.

Для задач сокращения описания характерно отсутствие разделения на входные и выходные векторы. Начиная с классических работ К. Пирсона по методу главных компонент, основное внимание здесь уделяется аппроксимации данных.

Этапы обучения

Можно выделить типичный ряд этапов решения задач методами ИАД:

  1. Формирование гипотезы;
  2. Сбор данных;
  3. Подготовка данных (фильтрация);
  4. Выбор модели;
  5. Подбор параметров модели и алгоритма обучения;
  6. Обучение модели (автоматический поиск остальных параметров модели);
  7. Анализ качества обучения, если неудовлетворительный переход на п. 5 или п. 4;
  8. Анализ выявленных закономерностей, если неудовлетворительный переход на п. 1, 4 или 5.

См. также

Литература

  • Дюк В., Самойленко А. Data Mining: учебный курс (+CD).. — СПб: Изд. Питер, 2001. — 368 с.

Ссылки



ar:تنقيب في البيانات

bg:Извличане на знания от данни ca:Mineria de dades cs:Data mining da:Data mining de:Data Mining en:Data mining es:Minería de datos eu:Datu-meatzaritza fa:داده‌کاوی fi:Tiedonlouhinta fr:Exploration de données he:כריית מידע hi:डाटा माइनिंग hu:Adatbányászat id:Penggalian data it:Data mining ja:データマイニング kn:ದತ್ತಾಂಶ ಗಣಿಗಾರಿಕೆ ko:데이터 마이닝 lt:Duomenų išgavimas lv:Datizrace nl:Datamining no:Data mining pl:Eksploracja danych pt:Mineração de dados ro:Exploatarea datelor simple:Data mining sk:Hĺbková analýza dát sl:Podatkovno rudarjenje su:Data mining sv:Informationsutvinning ta:தரவுச் செயலாக்கம் th:การทำเหมืองข้อมูล tr:Veri madenciliği uk:Добування даних vi:Khai phá dữ liệu zh:数据挖掘

Личные инструменты

Served in 0.215 secs.