Понятие большие данные(Big Data) появилось примерно в 2008 году, когда стало ясно, что объемы массивов данных, поступающих от различных источников измерений, оказываются настолько велики, что обрабатывать их стандартными средствами математической статистики стало либо затруднительно, либо не возможно. В данной стать показано, что такое большие данные, откуда они берутся, их характеристики и какую пользу можно извлечь из громадного набора данных?
Большие данные(Big Data) — это структурированные или неструктурированные массивы данных большого объема и значительного многообразия.
Большие данные сегодня генерируются от множества источников информации во многих отраслях. Их объемы достигают десятков терабайт. Например, каждый день через сервера компаний всего мира проходит тысячи петабайт (1024 терабайт) информации. Своевременная обработка поступающих данных стала проблемой. Кроме больших объёмов данных, проблему усложняет их разнородность и высокая скорость обновления, так как большие данные быстро меняются и появляются в различных формах.
Основные характеристики больших данных представлены на рисунке.
Кратко охарактеризуем значения показателей, которые свидетельствуют, что эти данные большие:
- Объём(Volume) данных должен составлять от 150 — 200 Гб в сутки. По данным компании IBS, в 2012 году объем хранящихся в мире цифровых данных вырос на 50%: с 1,8 до 2,7 Збайт (2,7 трлн Гбайт). В 2015-м в мире каждые десять минут генерировалось столько же данных, сколько за весь 2003 год.
- Ценность(Value) данных характеризуется тем, что можно извлечь из данного набора данных,какие можно сделать выводы и принять решения после их обработки.
- Достоверность(Veracity ) данных обусловлена достоверностью источников генерации и сбора данных.
- Скорость(Velocity) данных характеризуется изменчивостью объёма и содержимого Big Data.
- Разнообразие(Variety) данных определяется различными видами представления информации(текстовое, фото, видео и т. п,), различным объёмом и форматом представления, а также поступлением из множества разных источников.
Большие данные бывают структурированными, то есть уже размеченными по определённым параметрам. Однако основная масса больших данных (Big Data) является неструктурированными, что значительно усложняет их обработку.
Какая польза от больших данных?
Крупные компании с помощью больших данных прогнозируют потребительский спрос.
Банки с помощью Big Data не только анализируют действия клиентов и предлагают им свои продукты, но и повышают безопасность.
Телекоммуникационные компании очень широко используют Big Data: около 90% телекоммуникационных компаний уже собирают и анализируют большие данные, а остальные планируют начать в будущем.
Благодаря анализу больших данных ритейлер в курсе интересов покупателей, а также предлагает собранную информацию другим компаниям, которые тоже используют ее в маркетинге.
Но большие данные это не только польза, но и проблемы.
Проблемой для больших данных является и их хранение. Во–первых существующие базы данных не пригодны для этого. Во-вторых, их очень сложно обрабатывать и управлять традиционными технологиями, такими как СУБД,
Поэтому в отличие от традиционных технологий для больших данных создаются специализированные методы, инструменты и технологии для сбора, хранения, обработки и анализа больших объемов данных. Исторически первым возник интеллектуальный анализ больших данных(Data Mining).
Заключение
Что такое большие данные и для чего они нужны государственным органам,, крупному бизнесу, медицине и образованию? Большие данные хранят в себе громадный объем информации, извлекая который можно решить многие нерешенные проблемы, связанные с обработкой и управлением данными.
Связанные материалы
- Онлайн школы и курсы IT профессий
- Интеллектуальный анализ больших данных
- Как стать специалистом по большим данным?
- Как стать программистом?
