В эпоху высоких технологий количество информации в цифровом пространстве неуклонно растет. Что делать с большими объемами накопленных данных? Как их обрабатывать? Эксперты во всем мире предлагают свои решения.
С каждым днем найти и идентифицировать нужную информацию в информационном потоке становится сложней. Необходимость анализировать терабайты цифровой информации привела к развитию нового направления в отрасли ИКТ, условно названному Big Data, или Большие данные. Термин прижился – тема регулирования Big Data обсуждается чуть ли не на каждом мало-мальски значимом ИТ-форуме. Эксперты во всем мире предлагают каждый свое решение, однако готового ответа нет пока ни у кого.
В конце мая в Баку прошла конференция Big Data Day Baku 2016. Участники форума обсудили технологии хранения и обработки информации и рассказали, как анализировать большие данные. Само по себе новое направление эксперты понимают по-разному, однако все сходятся в одном: Big Data характеризуют три основных признака, так называемые «три V» — volume-velocity-variety (объем-скорость-разнообразие). Глава азербайджанского Центра инноваций и предпринимательства «Барама», руководитель департамента развития стратегии мобильного оператора Azercell Имран Багиров говорит, что большие данные касаются всех сфер нашей жизни и используются в самых разных отраслях – в государственном управлении, бизнесе, здравоохранении и других. По его мнению, с проблемой сохранения Big Data сталкивается каждый человек:
«Информации всегда было много, но никто не ожидал, что ее может быть настолько много. К примеру, в личном телефоне или компьютере хранится много информации о человеке. Если ее экстрагировать, извлечь можно многое узнать о человеке. Сегодня анализируется только 1% из всей получаемой информации – представьте, каков ее общий объем».
Проблема с регулированием Big Data стоит и перед большими организациями, и перед маленькими. Чтобы справиться с ней, компаниям надо искать новые подходы. По словам представителя IBM в Восточной Европе и Азии Павла Шклюдова, проблема в том, что компании пытаются решить проблему Big Data устаревшими методами, не справляющимися с новыми вызовами:
«Большие данные – как снежный ком, который летит с горы, постоянно увеличиваясь. Люди пытаются остановить его, используя стандартные средства для анализа и традиционные хранилища, но это не помогает».
Когда классические методы обработки и анализа информации оказываются бессильными, необходимо осваивать новые технологии и искать новые подходы, говорит Имран Багиров. По его словам, крупные инновационные компании давно взяли data-аналитику на вооружение, однако еще немало тех, кто обрабатывает информацию по старинке. Представитель Azercell говорит, что проблема еще и в менеджменте, который не всегда понимает, зачем вообще нужно менять старый уклад. Эксперт отмечает, что сегодня мало азербайджанских компаний анализируют большие данные.
«В 90% компаниях Data-аналитика находится не на должном уровне. У них в ходу обычный репортинг – когда пишутся отчеты, которые затем презентуется менеджеру. А, к примеру, descriptive analytics или predictive analytics – абсолютная инновация для компаний. Они пока неохотно пользуются этим», — говорит Багиров.
Между тем, правильный анализ Big Data помогает компаниям улучшить работу с клиентами, отмечает он, так как, предугадав желание клиента, можно больше заработать:
«Главная цель любого бизнеса – предложить правильному абоненту правильный продукт. Для компании, предоставляющей услуги сотовой связи, это особенно важно. Вы предлагаете ту или иную услугу 10 абонентам, 9 из которых ее покупают. Раньше бомбардировали абонентов миллионами сообщений – это вызывало только раздражение клиентов. Да и сейчас так поступают многие компании. Мы в Azercell широко используем Big Data – ежемесячно проводим порядка 200 сегментных компаний».
В то же время, сами по себе новые технологии бесполезны, если ими управляют непрофессионалы, подчеркивает Багиров. Он сетует на нехватку квалифицированных кадров: «Можно купить технологии, но без людей, которые могут правильно ими пользоваться, это ничего не даст».
Всегда актуальный вопрос безопасного хранения информации в разрезе Big Data стал актуальней вдвойне. Багиров уверяет, что, несмотря на опасения, вероятность потери данных невысока, так как проблеме уделяется пристальное внимание. «Этот процесс строго контролируется – во всяком случае у нас, в Azercell вопрос безопасности данных стоит на высоком уровне. В мировой практике было несколько случаев, когда компании теряли данные о своих клиентах. Это, конечно, влияет на репутацию. Чтобы избежать потери данных при анализе скрывается персональная идентификация – в случае утечки нельзя будет определить, о ком идет речь. Более того, используются такие технологии, когда лицо, ответственное за анализ информации, просто не видит персональных данных».
Элементарно, Watson
Эксперты говорят, что в эру больших данных, которые множатся день от дня, без помощи искусственного интеллекта не обойтись. На форуме в Баку были представлены технологии, способные помочь в анализе Big Data.
«Решение лежит в симбиозе человека и машины. Человек может что-то создавать, а оперировать информацией должна машина. Чтоб человек смог справиться с таким огромным цифровым потоком, нужна помощь искусственного интеллекта», — уверен Павел Шклюдов из IBM.
Он говорит, что как основа искусственного интеллекта Big Data подходят как нельзя лучше. Шклюдов рассказал о программе Watson – в этот интерпретатор IBM за последние 10 лет вложила $4 млрд. По словам эксперта, ее отличие от других подобных программ в том, что Watson cпособен зеркалировать когнитивные функции человека. Павел Шклюдов объяснил, как это работает:
«Что происходит в мозгу человека, когда ему задают вопрос? За доли секунды он определяет сферу, пытается вспомнить, что из нее знает, и из всех выплывающих ответов подбирает наиболее подходящую версию. Когда его об этом спрашивают во второй раз, он уже точно знает ответ – то есть, человек учится. По такому же принципу работает Watson – мы задали программе способность учиться. Это и есть зеркалирование человеческих функций. Там, где человеку нужно отдохнуть, Watson работает и поглощает неограниченную по объему и составу новую информацию. Если вероятность правильного ответа менее 80%, Watson требует загрузки дополнительной информации».
«Watson использует даже японская компания по производству детских игрушек. Производители говорят, что программа способствуют раннему развитию ребенка», — рассказывает Шклюдов.Разработчики выпускают Watson разной модификации – от сложной, которая решает специализированные задачи, до легкой, предназначенной для использования в быту. По словам Шклюдова, Watson может пригодиться в самых разных сферах. Сегодня его используют фармацевтические компании, правоохранительные органы, банковский сектор и гостиничный бизнес. Эксперт привел примеры, как программа работает в Японии. Там Watson – виртуальный помощник, представляющий собой робота, который может понимать речь, продуцировать ее и отвечать на вопросы. Такого робота используют, например, в сети гостиниц Hilton, где он помогает решать вопросы, связанные с обслуживанием гостей, и в японском Softbank, где машина работает с банковскими продуктами и сервисами.
Такой интерпретатор успешно справляется с самыми разными задачами, продолжает представитель IBM. К примеру, Watson хорошо зарекомендовал себя в решении медицинских задач. Шклюдов рассказал, что по данным крупнейшей американской онкологической организации Memorial Sloan Kettering Hospital врачу-онкологу, занимающемуся химиотерапией, требуется 160 рабочих часов еженедельно, чтобы изучить информацию, поступающую от пациентов. При 40 рабочих часов в неделю он физически не в состоянии освоить такой объем данных.
«Цена ошибки в этой ситуации велика. Для решения проблемы в Watson было загружено более миллиона статей, протоколов лечения, медицинских карт, историй болезни и методов лечения. Вся эта информация собиралась около двух лет. Теперь врач загружает в Watson диагноз пациента, а также около 100 лабораторных параметров, после чего искусственный интеллект выдает рекомендации. Учитывая выданные машиной решения и индивидуальные данные пациента, доктор подбирает оптимальный курс лечения», — объясняет Шклюдов.
Watson может пригодиться даже на кухне – для любителей готовить разработчики предусмотрели модификацию Chief-Watson, которая, по словам создателей, подарит кулинарам немало приятных открытий. Способность машины абстрагироваться и «мыслить» в других категориях дает хоть и неожиданные, но не лишенные оригинальности идеи.
«С Chief-Watson можно играть, экспериментировать. Искусственный интеллект иногда выдает решения, которые на первый взгляд кажутся странными и даже неприемлемыми, однако на деле оказывается, что предложенные роботом варианты заслуживают внимания. Как-то в Москве на конференции «Открытые инновации» мы устроили небольшое кулинарное шоу с участием успешных шеф-поваров. Вместе с искусственным интеллектом они придумывали новые рецепты. К примеру, машина предложила рецепт тирамису с водкой и бородинским хлебом. Обычному человеку такое в голову не придет, но с точки зрения синергии вкуса это было качественно и интересно», — вспоминает Шклюдов.
Теймур Максутов
Яна Исраэлян
https://digital.report/big-data-kak-priruchit-bolshie-dannyie/
