г. Хабаровск ул. Дзержинского 52, 3 этаж
rce@dasi27.ru
+7 (4212) 473-115, 473-116, 473-118

Индустрия 4.0: Big Data

Термин Big Data появился сравнительно недавно. Статистика из открытых источников показывает, что начало активного роста употребления словосочетания Big Data началось с 2011 года (Google Trends). При этом уже сейчас термин не использует только ленивый. Особенно часто не по делу термин используют маркетологи. Так что же такое Big Data на самом деле?

Определение термина

На сегодняшний день можно столкнуться с множеством определений термина Big Data:

  • Big Data – это когда данных больше, чем 100 ГБ (500 ГБ, 1 ТБ и т.д.);
  • Big Data – это такие данные, которые невозможно обрабатывать в Excel;
  • Big Data – это такие данные, которые невозможно обработать на одном компьютере.

А иногда можно даже встретить и такие:

  • Big Data – это вообще любые данные;
  • Big Data не существует, ее придумали маркетологи.

Если посмотреть точное определение термина, то будет оно выглядеть следующим образом:

Большие данные (англ. Big Data) – серия подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов, эффективных в условиях непрерывного прироста, распределения по многочисленным узлам вычислительной сети, сформировавшихся в конце 2000-х годов, альтернативных традиционным системам управления базами данных и решениям класса Business Intelligence.

Иными словами, под Big Data можно понимать не какой-то конкретный объём данных и даже не сами данные, а методы их обработки, которые позволяют распределенно обрабатывать информацию. Эти методы можно применить как к огромным массивам данных (таким как содержание всех страниц в интернете), так и к маленьким (таким как содержимое статьи).

Источники больших данных

Рассмотрим несколько примеров того, что может быть источником данных, для которых необходимы методы работы с большими данными:

  • Логи поведения пользователей в интернете;
  • GPS-сигналы от автомобилей для транспортной компании;
  • Данные, снимаемые с датчиков в большом адронном коллайдере;
  • Оцифрованные книги в Российской Государственной Библиотеке;
  • Информация о всех покупках в крупной ритейл сети и т.д.

Количество источником данных стремительно растёт, а значит технологии их обработки становятся всё более востребованными.

Принцип работы с большими данными

Источник: promdevlop.ru

Исходя из определения Big Data, можно сформулировать основные принципы работы с такими данными:

  1. Горизонтальная масштабируемость. Поскольку данных может быть сколь угодно много – любая система, которая подразумевает обработку больших данных, должна быть расширяемой. В 2 раза вырос объём данных – в 2 раза увеличили количество железа в кластере и всё продолжило работать;
  2. Отказоустойчивость. Принцип горизонтальной масштабируемости подразумевает, что машин в кластере может быть много. Например, Hadoop-кластер Yahoo имеет более 42 тыс. машин. Это означает, что часть этих машин будет гарантированно выходить из строя. Методы работы с большими данными должны учитывать возможность таких сбоев и переживать их без каких-либо значимых последствий.
  3. Локальность данных. В больших распределённых системах данные распределены по большому количеству машин. Если данные физически находятся на одном сервере, а обрабатываются на другом – расходы на передачу данных могут превысить расходы на саму обработку. Поэтому одним из важнейших принципов проектирования BigData-решений является принцип локальности данных – по возможности обрабатываем данные на той же машине, на которой их храним.

Все современные средства работы с большими данными так или иначе следуют этим трём принципам. Для того, чтобы им следовать – необходимо придумывать какие-то методы, способы и парадигмы разработки средств разработки данных.

Перспективы и тенденции развития Big Data

В 2017 году, когда большие данные перестали быть чем-то новым и неизведанным, их важность не только не уменьшилась, а еще более возросла. Теперь эксперты делают ставки на то, что анализ больших объемов данных станет доступным не только для организаций-гигантов, но и для представителей малого и среднего бизнеса. Такой подход планируется реализовать с помощью следующих составляющих.

1. Облачные хранилища

Хранение и обработка данных становятся более быстрыми и экономичными – по сравнению с расходами на содержание собственного дата-центра и возможное расширение персонала аренда облака представляется гораздо более дешевой альтернативой.

2. Использование Dark Data

Так называемые «темные данные» – вся неоцифрованная информация о компании, которая не играет ключевой роли при непосредственном ее использовании, но может послужить причиной для перехода на новый формат хранения сведений.

3. Искусственный интеллект и Deep Learning

Технология обучения машинного интеллекта, подражающая структуре и работе человеческого мозга, как нельзя лучше подходит для обработки большого объема постоянно меняющейся информации. В этом случае машина сделает все то же самое, что должен был бы сделать человек, но при этом вероятность ошибки значительно снижается.

4. Blockchain

Эта технология позволяет ускорить и упростить многочисленные интернет-транзакции, в том числе международные. Еще один плюс Блокчейна в том, что благодаря ему снижаются затраты на проведение транзакций.

5. Самообслуживание и снижение цен

В 2019 году планируется внедрить «платформы самообслуживания» – это бесплатные площадки, где представители малого и среднего бизнеса смогут самостоятельно оценить хранящиеся у них данные и систематизировать их.

Большие данные в маркетинге и бизнесе

Источник: promdevlop.ru

Все маркетинговые стратегии так или иначе основаны на манипулировании информацией и анализе уже имеющихся данных. Именно поэтому использование больших данных может предугадать и дать возможность скорректировать дальнейшее развитие компании.

Чем выгодно применение технологий больших данных в маркетинге и бизнесе:

  • С их помощью можно гораздо быстрее создавать новые проекты, которые с большой вероятностью станут востребованными среди покупателей;
  • Они помогают соотнести требования клиента с существующим или проектируемым сервисом и таким образом подкорректировать их;
  • Методы больших данных позволяют оценить степень текущей удовлетворенности всех пользователей и каждого в отдельности;
  • Повышение лояльности клиентов обеспечивается за счет методов обработки больших данных;
  • Привлечение целевой аудитории в интернете становится более простым благодаря возможности контролировать огромные массивы данных.

Например, один из самых популярных сервисов для прогнозирования вероятной популярности того или иного продукта – Google Trends. Он широко используется маркетологами и аналитиками, позволяя им получить статистику использования данного продукта в прошлом и прогноз на будущий сезон. Это позволяет руководителям компаний более эффективно провести распределение рекламного бюджета, определить, в какую область лучше всего вложить деньги.

Примеры использования Big Data

Активное внедрение технологий Big Data на рынок и в современную жизнь началось как раз после того, как ими стали пользоваться всемирно известные компании, имеющие клиентов практически в каждой точке земного шара.

Это такие социальные гиганты, как Facebook и Google, IBM., а также финансовые структуры вроде Master Card, VISA и Bank of America.

К примеру, IBM применяет методы больших данных к проводимым денежным транзакциям. С их помощью было выявлено на 15% больше мошеннических транзакций, что позволило увеличить сумму защищенных средств на 60%. Также были решены проблемы с ложными срабатываниями системы – их число сократилось более, чем наполовину.

Компания VISA аналогично использовала Big Data, отслеживая мошеннические попытки произвести ту или иную операцию. Благодаря этому ежегодно они спасают от утечки более 2 млрд долларов США.

Министерство труда Германии сумело сократить расходы на 10 млрд евро, внедрив систему больших данных в работу по выдаче пособий по безработице. При этом было выявлено, что пятая часть граждан данные пособия получает безосновательно.

Big Data не обошли стороной и игровую индустрию. Так, разработчики World of Tanks провели исследование информации обо всех игроках и сравнили имеющиеся показатели их активности. Это помогло спрогнозировать возможный будущий отток игроков – опираясь на сделанные предположения, представители организации смогли более эффективно взаимодействовать с пользователями.

По материалам сайтов: www.habr.com, www.promdevelop.