Как когнитивные вычисления и облака решают проблемы анализа больших данных

Ежедневно в мире генерируется более 500 млн твитов и 55 млн записей в Facebook. В одном только Нью-Йорке датчики и камеры наблюдения за сутки создают более 520 ТБ данных. Каждое современное месторождение нефтегазовой индустрии с числом сенсоров порядка 80 тыс. генерирует за срок своего существования в среднем 15 ПБ данных. И это – только капля в современном информационном цунами.

Люди постепенно учатся хранить и распределять все эти данные. Определенный прогресс наметился благодаря успехам в развитии облачных технологий. Менее заметны достижения в области полезного использования огромных массивов данных, их эффективного анализа. Сложность заключается в том, что у порядка 80% всей генерируемой сегодня информации отсутствует структура. Более того: согласно прогнозам, количество неструктурированных данных в общем потоке новой информации достигнет отметки более 93% к 2020 г.

Астрофизики зачастую используют в своих теориях определение так называемой «темной материи». Эту материю невозможно увидеть или определить ее истинные границы, но в то же время она доказывает свое существование и присутствие гравитационным воздействием. Точно такая же ситуация сегодня складывается с огромными массивами накопленных данных. Большинство информации, собранной на сегодня человечеством, полностью подпадает под определение «темных данных». Число решений, генерирующих данные, устройств и систем, хранящих эти данные, превышают все мыслимые границы. Разнообразие форматов записи и представления приводят к потере смысла этих данных, к тому, что огромные массивы ценной информации по сути превращаются в скопище бесполезного цифрового шума.

Искусственный интеллект

Любые попытки построить систему анализа данных по принципу футуристического «Мегаразума», где искусственный интеллект представляет собой масштабированный в несколько раз человеческий интеллект, заведомо обречены на провал. Эффективная работа с огромными массивами неструктурированной информации возможна только с привлечением искусственного интеллекта на базе когнитивных вычислений.

Когнитивные вычисления лишь частично повторяют особенности работы человеческого мозга – главным образом в области обработки и структуризации поступающей информации. Помимо этого когнитивные технологии используют принципы глубокого машинного обучения, сопоставления различных данных и правил, применения собственного и стороннего опыта, разработки новых правил и алгоритмов работы с данными непосредственно в процессе проведения вычислений.

Человеческий интеллект обладает рядом преимуществ, до сих пор не превзойденных машиной, таких как интуиция, чувство вкуса, оценочное суждение, здравый смысл. В свою очередь, машины имеют «идеальную память», способны быстро производить сопоставление и проверку фактов, программируются на глубокое обучение, и вдобавок мгновенно производят крупномасштабные математические вычисления.

Техническая реализация

Системы когнитивных вычислений разрабатываются не для противопоставления машинного и человеческого интеллекта и не для замены человека, но для более тесного взаимодействия человека и машины. Искусственный интеллект, способный эффективно обрабатывать неструктурированные данные, должен научиться распознавать визуальные образы и понимать человеческую речь.

По определению, когнитивная вычислительная система должна обладать чрезвычайно высокой производительностью. Чтобы такие вычисления имели действительную практическую ценность, результаты должны появляться молниеносно. Именно по этой причине все компоненты когнитивной ИТ-инфраструктуры, включая модули искусственного интеллекта, системы хранения, API, программное обеспечение, сервисы и многое другое, должны быть максимально быстрыми и гарантировать минимальные задержки при передаче данных между собой.

ИТ-инфраструктура для когнитивных вычислений, гарантирующая результаты обработки неструктурированных данных за считанные миллисекунды, строится на серверах транзакционной аналитики, с привлечением аппаратных ускорителей и самых современных систем хранения данных на флеш-технологиях.

Использование открытых архитектур и открытых экосистем для когнитивных вычислений обеспечивает возможность быстрого обновления при постоянно высоком уровне конкурентоспособности. Список приемлемых открытых экосистем, в зависимости от потребностей предприятия, может включать Blockchain, Docker, Linux, OpenPower и другие.

Оптимально выбранная ИТ-инфраструктура предприятия для высокоэффективных когнитивных вычислений в последнее время все чаще ассоциируется с гибридными облачными платформами. Уход от традиционного представления ИТ в качестве набора серверов и систем хранения к распределенным, программно-определяемым и облачным технологиям с когнитивными рабочими нагрузками в значительной мере определяет правильный вектор для инвестиций в будущее предприятия.

Когнитивные технологии в действии

Примером успешного развития универсальной когнитивной системы, является IBM Watson. Эта система изначально разработана для масштабирования под любой формат и размер современного бизнеса, адаптирована к облачным технологиям, успешно интегрируется с открытыми экосистемами и флеш-системами хранения данных IBMFlashSystem. Разработчики IBM создали пакет сервисов, позволяющих быстро создавать с нуля собственную когнитивную облачно-ориентированную систему Watson на предприятиях, работающих в самых различных областях.

Подобные системы могут применяться в здравоохранении, где, по предварительным оценкам, совсем скоро каждый пациент на протяжении своей жизни будет генерировать более 1 млн ГБ информации о своем здоровье. Для обработки всей этой информации на предмет постановки корректного диагноза или профилактического лечения пригодятся такие когнитивные технологии, как аналитика и распознавание образов (МРТ, рентген и пр.) и машинное обучение. Система Watson уже сегодня может анализировать неструктурированные медицинские данные за весь период наблюдения пациента, предоставляя рекомендации за считанные минуты.

Заглядывая в будущее

Ожидается, что уже к 2020 г. около 75% всех транспортных средств в мире будут подключены к интернету, и каждое из них сможет генерировать до 350 МБ данных каждую секунду. Здесь также не обойтись без когнитивных вычислений, позволяющих принимать мгновенные решения в реальном времени с учетом многоплановой информации о дорожной обстановке и особенностях поведения водителей, получаемой одновременно из множества источников.

Сейсмология будущего будет полностью завязана на обработку огромных массивов неструктурированной информации. Благодаря анализу этих данных появится возможность прогнозировать потенциальный ущерб от бурения очередных скважин или предсказывать землетрясения с большой точностью.

Когнитивные системы могут стать отличным решением для индивидуального обучения. В дошкольном возрасте системы класса IBM Watson можно будет приспособить для быстрого расширения кругозора, разговорных навыков, словарного диапазона. В средней школе когнитивные системы помогут быстрее усваивать разнообразный учебный материал. Высшая школа может получить отличную помощь в деле углубленного обучения различных дисциплин с учетом индивидуальности студента.

В свое время машины позволили человечеству избавиться от рутинного физического труда. Затем компьютеры избавили людей от рутинных вычислений. Следующий этап развития – повсеместное внедрение когнитивных вычислений – в какой-то степени можно рассматривать как избавление человечества от рутинных «черновых» мыслительных процессов.

Владимир Бахур

Короткая ссылка на материал: //cnews.ru/link/a5161