IBM создала систему хранения данных, построенную на принципах человеческой памяти

Проблемы хранения данных

С распространением технологий интернета вещей будет генерироваться все больше данных. Совсем скоро такие объемы информации невозможно будет сохранять, даже с учетом постоянного снижения стоимости систем хранения данных (СХД). При этом корпоративные СХД должны не только хранить важную информацию, но и анализировать ее для извлечения прибыли. По мнению специалистов IBM, решить эту задачу смогут только СХД на основе технологий искусственного интеллекта (ИИ). «Сегодня главная проблема заключается в том, чтобы ценность, извлекаемая из накопленных данных, как минимум окупала затраты на их хранение и обработку. Машинное обучение (индуктивное обучение), позволит выявлять незаметные человеку закономерности, ранжировать данные по их полезности. Собранная информация будет оцениваться уже при поступлении, а не только на основе предыдущих запросов», – поясняет Александр Тырин, системный архитектор компании «Стэп Лоджик» входит в группу компаний «Систематика»).

СХД по принципам работы человеческой памяти

Исследователи из цюрихского R&D-подразделения IBM представили когнитивную платформу хранения для больших данных, которая способна самостоятельно определить ценность и востребованность информации. Новая платформа от IBM использует известный алгоритм Information Bottleneck, который снижает избыточность в потоке данных, отсекая лишнюю информацию и сохраняя ее суть.

Как и человеческий мозг, интеллектуальная СХД надежно запоминает важные сведения, задвигая на «дальнюю полку» менее актуальную информацию. Точно так же человек быстрее всего извлекает из памяти имена близких людей и самые яркие моменты жизни, хотя и не помнит мелкие детали этих важных данных. При обработке больших данных интеллектуальная СХД сможет определять наиболее важные наборы данных, чтобы в первую очередь надежно сохранить их, выдавать по первому требованию и приоритетно использовать для анализа. Определение этих ключевых данных из всего массива информации происходит с помощью сложных алгоритмов, которые учитывают не только частоту доступа, уровень защиты, дату создания и т. п., но и следят за тем, как люди взаимодействуют с той или иной частью базы данных.

Искусственный интеллект потребует доверия

По сути, технология искусственного интеллекта с помощью познавательных способностей оценивает значение хранимой информации и связь между разными наборами данных. Это создает новые возможности для корпоративных СХД. Прежде всего система сможет сама обнаруживать малоценную информацию и удалять ее или отправлять на дешевые второстепенные низкопроизводительные накопители. Также резко ускорится анализ критически важной информации, поскольку из цепочки сбор-оценка-анализ люди будут полностью исключены. Разумеется, такая степень самостоятельности ИИ потребует нового уровня доверия к машинному интеллекту, но в IBM уверены, что это оптимальный путь развития, поскольку увеличение масштабов СХД неизбежно упрется в потолок эффективности.

К настоящему времени было множество попыток добавить машинный интеллект к функционалу систем хранения данных. Однако все они потерпели неудачу, поскольку ИИ до сих пор стоит больше, чем дополнительные накопители для СХД. Пока затраты на хранение продолжают падать быстрее, чем затраты на вычисление, но IBM работает на будущее, и оно может наступить быстрее, чем кажется. Примером служит когнитивная платформа IBM Watson, которая способна понимать запросы на естественном языке и вести поиск в электронных базах данных. Watson, изначально стартовавший в 2009 г. как исследовательский проект, сегодня широко используется в коммерческих интересах в сфере персонализированной медицины, для разработки новых лекарств и оценки эффективности бизнес-процессов.