ОБЛАЧНОЕ ХРАНЕНИЕ ДАННЫХ

 

Сегодня «облакам» доверяют свою информацию миллионы пользователей по всему миру.

Облачное хранилище данных (англ. cloud storage) – модель онлайн-хранилища, в котором данные хранятся на многочисленных распределённых в сети серверах, предоставляемых в пользование клиентам, в основном, третьей стороной. В отличие от модели хранения данных на собственных выделенных серверах, приобретаемых или арендуемых специально для подобных целей, количество или какая-либо внутренняя структура серверов клиенту, в общем случае, не видна. Данные хранятся и обрабатываются в так называемом «облаке», которое представляет собой, с точки зрения клиента, один большой виртуальный сервер. Физически же такие серверы могут располагаться удалённо друг от друга географически.

Облачное хранилище данных – это своего рода виртуальный носитель информации, который хранит и обрабатывает данные на многочисленных серверах, разбросанных во всемирной паутине.

Облачные шлюзы – технология, которая может быть использована для более удобного предоставления «облака» клиенту. К примеру, с помощью соответствующего программного обеспечения, хранилище в «облаке» может быть предоставлено для клиента как локальный диск на компьютере. Таким образом, работа с данными в «облаке» для клиента становится абсолютно прозрачной. И при наличии хорошей, быстрой связи с «облаком» клиент может даже не замечать, что работает не с локальными данными у себя на компьютере, а с данными, хранящимися, возможно, за много сотен километров от него.

 

Причин для размещения данных в облаке может быть достаточно много, и для разных пользователей они могут иметь разный приоритет. Например, для частных лиц важнее будет возможность доступа к данным из разных мест интернета и с разных устройств, а для корпоративных пользователей более существенными могут оказаться надёжность и стоимость хранения.

Это не исчерпывающий список мотивов для использования облачного хранилища. Например, для корпоративных пользователей может также иметь большое значение трансформация капитальных расходов в операционные. Проще говоря, использование такси вместо покупки служебного автомобиля.

Типы облачных хранилищ

Существует три типа облачных хранилищ данных, каждый из которых предлагает уникальные преимущества и собственные примеры использования.

1. Объектное хранилище. Для приложений, разработанных в облаке, как правило, требуются такие преимущества объектного хранилища, как широкие возможности масштабирования и характеристики метаданных. Объектные хранилища, например Amazon Simple Storage Service (S3), идеально подходят для разработки современных приложений с нуля, когда требуется гибкость и возможность масштабирования. Кроме того, эти хранилища можно использовать для импорта данных из существующих хранилищ с целью аналитики, резервного копирования или архивации.

2. Файловое хранилище. Некоторым приложениям нужно получать доступ к совместно используемым файлам, следовательно, им необходима файловая система. Данный тип хранилища часто поддерживается сервером хранилищ, подключенным к сети (NAS). Решения файловых хранилищ, например Amazon Elastic File System (EFS), идеально подходят для таких примеров использования, как крупные репозитории контента, среды разработки, мультимедийные хранилища или личные каталоги пользователей.

3. Блочное хранилище. Другие корпоративные приложения, например базы данных или системы планирования ресурсов предприятия (ERP), часто нуждаются в выделенном хранилище с низкими задержками для каждого из узлов. Такое хранилище работает аналогично хранилищу с прямым подключением (DAS) или сети хранения данных (SAN). Решения облачных хранилищ на основе блоков, такие как Amazon Elastic Block Store (EBS), выделяют хранилище для каждого виртуального сервера и обеспечивают сверхнизкую задержку для рабочих нагрузок, требующих высокой производительности.

 

Какие хранилища бывают в облаке?

Размещать в интернете можно разные данные, по-разному организованные, поэтому и хранилища тоже могут быть разными.

Но чтобы перейти к рассмотрению типов интернет-хранилищ нужно сделать одну оговорку: данные в них могут хранить не только пользователи, но и приложения, которыми, в свою очередь, пользуются люди или предприятия. Например, многие программы для связи – Skype, WhatsApp, Facebook Messenger и прочие – хранят контакты пользователей в своих интернет-хранилищах.

С точки зрения пользователя, интернет-хранилище может выглядеть как дополнительный локальный диск или папка для размещения произвольных файлов. Последний вариант хорошо знаком многочисленным пользователям сервисов Dropbox, OneDrive, Яндекс.Диск, Google.Drive, Облако.Mail.Ru, …

Но есть типы интернет-хранилищ, с которыми частные лица обычно не сталкиваются. Хранилища этих типов используются приложениями. Например, такое хранилище может иметь давно привычный SQL-интерфейс, но при этом не будет требоваться какое-либо системное администрирование SQL-сервера.

Наиболее современным и универсальным типом облачных хранилищ является объектное хранилище, которое позволяет работать с данными наиболее обобщённым способом.

Для большинства прикладных пользователей сетевой диск или сетевая папка – понятия близкие, если не идентичные. Но в части системного администрирования они существенно различаются.

Облачные диски

Сейчас очень часто облачными дисками называют сервисы типа Dropbox, OneDrive или Яндекс.Диск, что неправильно. Эти ресурсы предоставляются пользователям либо через веб-интерфейс, либо в виде папок на Рабочем столе. В обоих случаях речь не может идти о дисках. Например, их нельзя отформатировать в нужную файловую систему.

 

 

Но дисковое пространство хранилища действительно может быть представлено некоему компьютеру через интернет так, чтобы оно воспринималось как локальный диск, с которым будут доступны все дисковые операции.

Для предоставления дискового пространства через интернет существуют специальные протоколы, например, Internet Small Computer Systems Interface (iSCSI), iFCP (Internet Fibre Channel Protocol) или Fibre Channel over IP (FCIP). На их основе создаются, так называемые, сети хранения данных (SAN, Storage Area Network). По этим протоколам дисковые устройства представляются серверу, к которому они подключаются, на самом низком – блочном – уровне, и поэтому являются универсальными.

Однако взаимодействие на таком уровне требует интенсивного обмена данными между сервером и дисковым устройством. Если такой обмен идёт по недостаточно быстрым каналам связи, эффективность дискового устройства падает. Если связь высокоскоростная и высоконадёжная, облачные диски могут стать удобной и универсальной частью корпоративной информационной системы.

Облачные папки

Именно их сейчас часто именуют облачными дисками. О том, что это неверно, уже было сказано. Тем не менее, облачная папка – полезный и широко востребованный ресурс, особенно среди частных лиц. Например, он даёт возможность использовать одни и те же файлы с разных устройств, подключенных к интернету. Также возможно совместное использование папки для групповой работы с файлами.

Положить файл в облачную папку можно либо через браузер и веб-интерфейс, либо через специальную локальную папку, которая автоматически синхронизируется с облачным хранилищем. Во втором случае на компьютер пользователя требуется установить соответствующую утилиту.

Помимо доступа к файлам с разных устройств, облачные папки обеспечивают хранение резервных копий этих файлов. Как правило, облачная инфраструктура строится на оборудовании с очень высокой надёжностью.

СУБД – системы управления базами данных

Системы управления базами данных разрабатывают и эксплуатируют с середины 60-х годов. За прошедшее время возникло множество их вариантов. Большое распространение получили СУБД на основе SQL-запросов к реляционным базам данных. Помимо них в последнее время стали появляться и находить применение базы неструктурированных или плохо структурированных данных.

В ответ на запросы СУБД обоих типов возвращают, так называемые, наборы данных (datasets) – выборки данных, собранных в таблицы или некие списки.

 

Принципиальным является то, что приложение, запросившее данные из хранилища, должно само уметь сложить эти данные в некоторую прикладную сущность, например, «пользователь», «задача», «растение», «транспортное средство», «объект недвижимости» и т. д.

Объектные хранилища

Концепция объектного хранилища позволила обеспечить универсальную обработку данных произвольного типа.

Файлы в таком хранилище сопровождаются дополнительными сведениями – данными – которые позволяют обрабатывать эти файлы как прикладные объекты: бухгалтерские документы, видеофильмы, проекты, товары, фотографии и т. п.

Идея объектного хранения данных возникла и прорабатывалась ещё в 70-е и 80-е годы. Но тогда она развивалась в рамках отдельных замкнутых проектов, а сейчас это – широко востребованная услуга, используемая в самых разнообразных приложениях.

Для взаимодействия с облачным объектным хранилищем используется программный интерфейс (API). То есть запись объекта в хранилище происходит не перетаскиванием файла из одной папки в другую, а с помощью специальных команд, выдаваемых приложениями.

Современные облачные объектные хранилища обеспечивают высокий уровень надёжности хранения данных, гибкость их размещения и описания, высокую масштабируемость и низкую удельную стоимость хранения.

В объектном хранилище прикладной пользователь может эффективно хранить как множество относительно небольших объектов, так и огромные, например, видеофильмы.

Способы использования облачных хранилищ

Резервное копирование и восстановление

Резервное копирование и восстановление критически важны для обеспечения защиты и доступности данных, однако соблюдение соответствия растущим потребностям в области ресурсов может стать постоянной проблемой. Облачное хранилище обеспечивает низкую стоимость, высокую надежность и практически безграничные возможности масштабирования для решений резервного копирования и восстановления. Встроенные политики управления данными, например Amazon S3 Object Lifecycle Management, могут выполнять автоматическую миграцию данных на более экономичные уровни хранилища на основании частотных или временных параметров, за счет чего можно создавать архивные хранилища, позволяющие облегчить соблюдение юридических или нормативных требований. Эти преимущества предоставляют широкие возможности масштабирования в отраслях финансовых услуг, здравоохранения и СМИ, где постоянно создаются большие объемы данных с необходимостью длительного хранения.

Тестирование и разработка программного обеспечения

Среды тестирования и разработки программного обеспечения часто требуют создания, использования и последующего удаления отдельных, независимых и дублирующих сред хранения. Помимо временных затрат, с этими процессами могут быть связаны серьезные начальные капиталовложения.

Некоторые из крупнейших и наиболее прибыльных компаний мира смогли создать приложения в рекордно быстрые сроки благодаря гибкости, производительности и низкой стоимости облачного хранилища. Даже работу простейших статичных веб-сайтов можно улучшить с минимальными затратами. Разработчики со всего мира обращаются к решениям для хранения данных с оплатой по факту использования, которые избавляют их от проблем с управлением и масштабированием.

Миграция данных в облако

Доступность, надежность и финансовые преимущества облачного хранения могут казаться очень привлекательными для владельцев компаний, однако для ответственных специалистов традиционных ІТ-направлений (например, администраторов систем хранения данных, систем резервного копирования, сетей, систем безопасности, а также руководителей по вопросам соблюдения требований) перенос большого количества данных в облако часто представляется серьезной проблемой. Сервисы миграции данных в облако, такие как AWS Import/Export Snowball, позволяют упростить миграцию хранилища в облако и решают задачи, связанные с высокими затратами на использование сети, продолжительной передачей данных и вопросами безопасности.

Большие данные и озера данных

Традиционные локальные решения для хранения данных могут оказаться непредсказуемыми в вопросах стоимости, производительности и масштабируемости, особенно с течением времени. Проекты, связанные с большими данными, требуют наличия крупномасштабных, доступных и надежных пулов хранилищ данных с высокой доступностью. Часто подобные пулы называют «озерами данных».

Озера данных, построенные на базе объектных хранилищ, хранят информацию в исходной форме и содержат расширенные метаданные, позволяющие выборочно извлекать и использовать данные в целях анализа. Облачные озера данных могут быть расположены в центре любого типа систем хранения и обработки больших данных и аналитических движков, например Amazon Redshift, Amazon RDS, Amazon EMR, Amazon DynamoDB, что позволит Вам выполнить следующий проект быстрее и с большей степенью релевантности.

Примеры использования облачных хранилищ

  • Системы резервного копирования данных и серверов
  • Цифровые библиотеки
  • Системы дистанционного образования
  • Системы видеонаблюдения
  • Видеотеки
  • Архивы корпоративных и официальных документов
  • Публичные базы данных
  • Игровые платформы

Суть технологии

Принцип работы любого «облачного» хранилища примерно следующий: на персональный компьютер или ноутбук ставится программа-клиент «облачного» хранилища, прописывается путь к папкам расположенным на жестком диске, которые планируется поместить в это «облако». Программа-клиент копирует информацию из указанных папок в хранилище, и в дальнейшем отслеживает какие-либо изменения в этих папках и автоматически вносит коррективы в «облачное» хранилище данных.

Если Вы решили изменить файл, хранящийся в «облаке», программа внесет правки в копии файлов на Вашем компьютере. Такой подход позволяет иметь актуальный набор файлов на любом из Ваших устройств (смартфоне, компьютере, планшете и т. д.). Единственное условие, которое требуется для бесперебойной работы хранилища с файлами компьютера – полная синхронизация.

При включении ПК Вы также должны дождаться, пока пройдет синхронизация данных. Скорость осуществления данного процесса во многом зависит от скорости соединения с интернетом. Если выключить устройство преждевременно, возможна ошибка синхронизации данных облачного хранилища.

Требования, предъявляемые к облачному хранилищу

Хранение данных в облаке может поставить вопрос о регулировании и соответствии требованиям, особенно если данные уже находятся в системах хранилищ, ограниченных определенными требованиям. Облачные средства обеспечения соответствия требованиям, например Amazon Glacier Vault Lock, гарантируют уверенность в том, что Вы легко выполните развертывание и включите в работу средства обеспечения соответствия требованиям для отдельных хранилищ данных посредством блокирующихся политик.

Вопросы обеспечения надежного хранения, безопасности и доступности критически важных корпоративных данных имеют первостепенную важность. При рассмотрении варианта хранения данных в облаке существует несколько фундаментальных требований.

Надежность. Данные должны храниться с избыточностью. В идеале они должны быть распределены между несколькими объектами и несколькими устройствами в рамках каждого из объектов. Стихийные бедствия, человеческий фактор или механические неисправности не должны приводить к потере данных.

Доступность. Все данные должны быть доступными в случае необходимости, но существует разница между производственными данными и архивами. Идеальное облачное хранилище предлагает оптимальное сочетание между временем извлечения данных и стоимостью.

Безопасность. В идеале все данные должны шифроваться – как при хранении, так и при передаче. Разрешения и контроль доступа должны работать в облаке точно так же, как и в локальных хранилищах данных.

Вы можете указать специальные параметры, например однократную запись с многократным чтением (WORM), чтобы заблокировать данные от дальнейших изменений. Решения для работы с журналами аудита, например AWS CloudTrail, помогут решить все вопросы в области обеспечения соответствия требованиям для облачных хранилищ и систем архивации.

 

Преимущества

  • Возможность доступа к данным с любого компьютера, имеющего выход в Интернет.
  • Возможность организации совместной работы с данными.
  • Высокая вероятность сохранения данных даже в случае аппаратных сбоев.
  • Совокупная стоимость владения. Благодаря облачному хранилищу Вам не нужно приобретать оборудование, выделять ресурсы для хранилища или расходовать денежные средства на то, что «когда-нибудь пригодится». Вы можете добавлять или удалять ресурсы по требованию, быстро изменять производительность и сроки хранения. И при этом Вы будете платить только за используемые ресурсы. Данные, которые используются не так часто, можно автоматически перемещать на более экономичные уровни по определенным правилам, действие которых легко контролируется. Это позволяет обеспечить экономию от объема. При этом, клиент платит только за то место в хранилище, которое фактически использует, но не за аренду сервера, все ресурсы которого он может и не использовать.
  • Клиенту нет необходимости заниматься приобретением, поддержкой и обслуживанием собственной инфраструктуры по хранению данных, что, в конечном счёте, уменьшает общие издержки производства.
  • Облачное хранилище подходит, практически, под все операционные системы, как ПК, так и мобильных (есть, правда, и ограничения в использовании ПО).
  • Доступ и синхронизация файлов облака с файлами Вашей операционной системы зависит от самого клиента облака (при выборе облака обратите внимание на готовность облака к десктопному клиенту).
  • Управление информацией. Централизованное хранилище в облаке создает огромные возможности для новых примеров использования. Используя политики управления жизненным циклом в облачном хранилище, можно решать важные задачи, связанные с управлением информацией, включая автоматическое распределение по уровням или блокировку данных в целях соблюдения требований.
  • Время до развертывания. Когда команды разработчиков готовы к запуску проектов, инфраструктура не должна ограничивать их. Облачное хранилище позволяет ІТ-специалистам быстро выделять необходимое пространство для хранения данных именно тогда, когда это требуется. В результате ІТ-специалисты могут сосредоточиться на решении сложных проблем, связанных с приложениями, а не на вопросах управления системами хранения данных. Все процедуры по резервированию и сохранению целостности данных производятся провайдером «облачного» центра, который не вовлекает в этот процесс клиента.

Критика

  1. Безопасность при хранении и пересылке данных является одним из основных вопросов при работе с «облаком», особенно в отношении конфиденциальных и приватных данных. Так, например, провайдер имеет возможность просматривать данные клиента (если они не защищены паролем), которые также могут попасть в руки хакеров, сумевших взломать системы защиты провайдера.
  2. Надёжность, своевременность получения и доступность данных в «облаке» очень сильно зависит от многих промежуточных параметров, таких как: каналы передачи данных на пути от клиента к «облаку», надежность последней мили, качество работы интернет-провайдера клиента, доступность самого «облака» в данный момент времени. Если же сама компания, предоставляющая онлайновое хранилище, будет ликвидирована, клиент может потерять все свои данные.
  3. Общая производительность при работе с данными в «облаке» может быть ниже, чем при работе с локальными копиями данных.
  4. Абонентская плата за дополнительные возможности (увеличенный объем хранения данных, передача больших файлов и т. д.).

Популярные сервисы

Если взглянуть на доступные сегодня облака, то можно насчитать с десяток таких сервисов, но лишь несколько из них мы бы выделили для использования. Для более детального рассмотрения облаков мы выбрали несколько из них, это связано с качеством самого сервиса, его защите, поддерживающим программным обеспечением и личного доверия к его создателям, а также к компаниям по поддержки.

Самыми популярными среди сервисов облачного хранения данных есть такие:

iDrive: https://www.idrive.com/

OpenDrive: https://www.opendrive.com/

Syncplicity: https://www.syncplicity.com/

MediaFire: https://www.mediafire.com/

Amazon Web Services: https://aws.amazon.com/ru/?nc2=h_lg

pCloud: https://www.pcloud.com/ru/

4shared: https://www.4shared.com/

Dropbox: https://www.dropbox.com/ru/

Яндекс.Диск: https://disk.yandex.ru/

Google Drive: https://www.google.com/intl/uk/drive/

iCloud Drive: https://www.icloud.com/

Mega: https://mega.nz/

Облако Mail.Ru: https://cloud.mail.ru/

Box.net: https://www.box.com/

SpiderOak: https://spideroak.com/

Adrive: http://www.adrive.com/

SkyDrive: https://onedrive.live.com/about/uk-ua/

Copy: https://copy.com/?r=O78BHX

4Sync: https://en.4sync.com/

Cubby: https://www.cubby.com/

Hubic: https://hubic.com/en/

Yunpan 360: https://eyun.360.cn/?src=old

SugarSync: https://www.sugarsync.com/

OneDrive: https://onedrive.live.com/about/ru-ru/

Bitcasa: http://www.bitcasa.com/