Хмарне сховище даних - це свого роду віртуальний носій інформації, який зберігає і обробляє дані на численних серверах, розкиданих у всесвітній павутині.
Хмарні шлюзи - технологія, яка може бути використана для більш зручного надання «хмари» клієнту. Наприклад, за допомогою відповідного програмного забезпечення, сховище в «хмарі» може бути надано для клієнта як локальний диск на комп'ютері. Таким чином, робота з даними в «хмарі» для клієнта стає абсолютно прозорою. І при наявності гарного, швидкого зв'язку з «хмарою» клієнт може навіть не помічати, що працює не з локальними даними у себе на комп'ютері, а з даними, що зберігаються, можливо, за багато сотень кілометрів від нього.
Це не вичерпний список мотивів для використання хмарного сховища. Наприклад, для корпоративних користувачів може також мати велике значення трансформація капітальних витрат в операційні. Простіше кажучи, використання таксі замість покупки службового автомобіля.
Існує три типи хмарних сховищ даних, кожен з яких пропонує унікальні переваги і власні приклади використання.
1. Об'єктне сховище. Для додатків, розроблених в хмарі, як правило, потрібні такі переваги об'єктного сховища, як широкі можливості масштабування і характеристики метаданих. Об'єктні сховища, наприклад Amazon Simple Storage Service (S3), ідеально підходять для розробки сучасних додатків з нуля, коли потрібна гнучкість і можливість масштабування. Крім того, ці сховища можна використовувати для імпорту даних з існуючих сховищ з метою аналітики, резервного копіювання або архівації.
2. Файлове сховище. Деяким програмам потрібно отримувати доступ до передачі файлів, отже, їм необхідна файлова система. Даний тип сховища часто підтримується сервером сховищ, підключеним до мережі (NAS). Рішення файлових сховищ, наприклад Amazon Elastic File System (EFS), ідеально підходять для таких прикладів використання, як великі репозиторії контенту, середовища розробки, мультимедійні сховища або особисті каталоги користувачів.
3. Блочне сховище. Інші корпоративні додатки, наприклад бази даних або системи планування ресурсів підприємства (ERP), часто потребують виділеного сховища з низькими затримками для кожного з вузлів. Таке сховище працює аналогічно сховища з прямим підключенням (DAS) або мережі зберігання даних (SAN). Рішення хмарних сховищ на основі блоків, такі як Amazon Elastic Block Store (EBS), виділяють сховище для кожного віртуального сервера і забезпечують наднизьку затримку для робочих навантажень, що вимагають високої продуктивності.
Які сховища бувають в хмарі?
Розміщувати в інтернеті можна різні дані, по-різному організовані, тому і сховища теж можуть бути різними.
Але щоб перейти до розгляду типів інтернет-сховищ потрібно зробити одне застереження: дані в них можуть зберігати не тільки користувачі, але і додатки, якими, в свою чергу, користуються люди або підприємства. Наприклад, багато програм для зв'язку - Skype, WhatsApp, Facebook Messenger та інші - зберігають контакти користувачів в своїх інтернет-сховищах.
З точки зору користувача, інтернет-сховище може виглядати як додатковий локальний диск або папка для розміщення довільних файлів. Останній варіант добре знайомий численним користувачам сервісів Dropbox, OneDrive, Яндекс.Діск, Google.Drive, Облако.Mail.Ru.
Але є типи інтернет-сховищ, з якими приватні особи зазвичай не стикаються. Сховища цих типів використовуються додатками. Наприклад, таке сховище може мати давно звичний SQL-інтерфейс, але при цьому не буде вимагатися будь-яке системне адміністрування SQL-сервера.
Найбільш сучасним і універсальним типом хмарних сховищ є об'єктне сховище, яке дозволяє працювати з даними найбільш узагальненим способом. Для більшості прикладних користувачів мережевий диск або мережева папка - поняття близькі, якщо не ідентичні. Але в частині системного адміністрування вони істотно розрізняються.
Зараз дуже часто хмарними дисками називають сервіси типу Dropbox, OneDrive або Яндекс.Діск, що неправильно. Ці ресурси надаються користувачам або через веб-інтерфейс, або у вигляді папок на робочому столі. В обох випадках мова не може йти про диски. Наприклад, їх не можна відформатувати в потрібну файлову систему.
Для надання дискового простору через інтернет існують спеціальні протоколи, наприклад, Internet Small Computer Systems Interface (iSCSI), iFCP (Internet Fibre Channel Protocol) або Fibre Channel over IP (FCIP). На їх основі створюються, так звані, мережі зберігання даних (SAN, Storage Area Network). За цими протоколами дискові пристрої представляються серверу, до якого вони підключаються, на найнижчому - блоковому - рівні, і тому є універсальними.
Однак взаємодія на такому рівні вимагає інтенсивного обміну даними між сервером і дисковим пристроєм. Якщо такий обмін йде по недостатньо швидким каналах зв'язку, ефективність дискового пристрою падає. Якщо зв'язок високошвидкісний і високонадійний, хмарні диски можуть стати зручною і універсальною частиною корпоративної інформаційної системи.
Хмарні папки
Саме їх зараз часто називають хмарними дисками. Про те, що це невірно, вже було сказано. Проте, хмарна папка - корисний і широко затребуваний ресурс, особливо серед приватних осіб. Наприклад, він дає можливість використовувати одні і ті ж файли з різних пристроїв, підключених до інтернету. Також можливе спільне використання папки для групової роботи з файлами.
Покласти файл в хмарну папку можна або через браузер і веб-інтерфейс, або через спеціальну локальну папку, яка автоматично синхронізується з хмарним сховищем. У другому випадку на комп'ютер користувача потрібно встановити відповідну утиліту.
Крім доступу до файлів з різних пристроїв, хмарні папки забезпечують зберігання резервних копій цих файлів. Як правило, хмарна інфраструктура будується на обладнанні з дуже високою надійністю.
СУБД - системи управління базами даних
Системи управління базами даних розробляють і експлуатують з середини 60-х років. За минулий час виникло безліч їх варіантів. Великого поширення набули СУБД на основі SQL-запитів до реляційних баз даних. Крім них останнім часом стали з'являтися і знаходити застосування бази неструктурованих або погано структурованих даних.
У відповідь на запити СУБД обох типів повертають, так звані, набори даних (datasets) - вибірки даних, зібраних в таблиці або якісь списки.
Об'єктні сховища
Концепція об'єктного сховища дозволила забезпечити універсальну обробку даних довільного типу.
Файли в такому сховищі супроводжуються додатковими відомостями - даними - які дозволяють обробляти ці файли як прикладні об'єкти: бухгалтерські документи, відеофільми, проекти, товари, фотографії і т.д.
Ідея об'єктного зберігання даних виникла і опрацьовувалася ще в 70-і і 80-і роки. Але тоді вона розвивалася в рамках окремих замкнутих проектів, а зараз це - широко затребувана послуга, яка використовується в найрізноманітніших додатках.
Для взаємодії з хмарним об'єктним сховищем використовується програмний інтерфейс (API). Тобто запис об'єкта в сховище відбувається не перетягуванням файлу з однієї папки в іншу, а за допомогою спеціальних команд, які видаються додатками.
Сучасні хмарні об'єктні сховища забезпечують високий рівень надійності зберігання даних, гнучкість їх розміщення і опису, високу масштабованість і низьку питому вартість зберігання.
В об'єктному сховище прикладної користувач може ефективно зберігати як безліч відносно невеликих об'єктів, так і величезні, наприклад, відеофільми.
Створення резервних копій та відновлення
Створення резервних копій та відновлення критично важливі для забезпечення захисту та доступності даних, однак дотримання відповідності зростаючим потребам в області ресурсів може стати постійною проблемою. Хмарне сховище забезпечує низьку вартість, високу надійність і практично безмежні можливості масштабування для рішень резервного копіювання та відновлення. Вбудовані політики управління даними, наприклад Amazon S3 Object Lifecycle Management, можуть виконувати автоматичну міграцію даних на більш економічні рівні сховища на підставі частотних або часових параметрів, за рахунок чого можна створювати архівні сховища, що дозволяють полегшити дотримання юридичних або нормативних вимог. Ці переваги надають широкі можливості масштабування в галузях фінансових послуг, охорони здоров'я та ЗМІ, де постійно створюються великі обсяги даних з необхідністю тривалого зберігання.
Тестування і розробка програмного забезпечення
Середовища тестування і розробки програмного забезпечення часто вимагають створення, використання і подальшого видалення окремих, незалежних і дублюючих середовищ зберігання. Крім тимчасових витрат, з цими процесами можуть бути пов'язані серйозні початкові капіталовкладення.
Деякі з найбільших і найбільш прибуткових компаній світу змогли створити додатки в рекордно швидкий термін завдяки гнучкості, продуктивності та низькій вартості хмарного сховища. Навіть роботу найпростіших статичних веб-сайтів можна поліпшити з мінімальними витратами. Розробники з усього світу звертаються до рішень для зберігання даних з оплатою за фактом використання, які позбавляють їх від проблем з управлінням і масштабуванням.
Міграція даних в хмару
Доступність, надійність і фінансові переваги хмарного зберігання можуть здаватися дуже привабливими для власників компаній, однак для відповідальних фахівців традиційних ІТ-напрямків (наприклад, адміністраторів систем зберігання даних, систем резервного копіювання, мереж, систем безпеки, а також керівників з питань дотримання вимог) перенесення великої кількості даних в хмару часто представляється серйозною проблемою. Сервіси міграції даних в хмару, такі як AWS Import / Export Snowball, дозволяють спростити міграцію сховища в хмару і вирішують завдання, пов'язані з високими витратами на використання мережі, тривалої передачею даних і питаннями безпеки.
Великі дані і озера даних
Традиційні локальні рішення для зберігання даних можуть виявитися непередбачуваними в питаннях вартості, продуктивності і масштабованості, особливо з плином часу. Проекти, пов'язані з великими даними, вимагають наявності великомасштабних, доступних і надійних пулів сховищ даних з високою доступністю. Часто подібні пули називають «озерами даних».
Озера даних, побудовані на базі об'єктних сховищ, зберігають інформацію в початковій формі і містять розширені метадані, що дозволяють вибірково витягувати і використовувати дані з метою аналізу. Хмарні озера даних можуть бути розташовані в центрі будь-якого типу систем зберігання і обробки великих даних і аналітичних движків, наприклад Amazon Redshift, Amazon RDS, Amazon EMR, Amazon DynamoDB, що дозволить Вам виконати наступний проект швидше і з більшим ступенем релевантності.
Приклади використання хмарних сховищ:
- Системи резервного копіювання даних і серверів
- Цифрові бібліотеки
- Системи дистанційної освіти
- Системи відеонагляду
- Відеотеки
- Архіви корпоративних і офіційних документів
- Публічні бази даних
- Ігрові платформи
Принцип роботи будь-якого «хмарного» сховища приблизно наступний: на персональний комп'ютер або ноутбук ставиться програма-клієнт «хмарного» сховища, прописується шлях до папок розташованим на жорсткому диску, які планується помістити в це «хмара». Програма-клієнт копіює інформацію з зазначених папок в сховище, і в подальшому відстежує будь-які зміни в цих папках і автоматично вносить корективи в «хмарне» сховище даних.
Якщо Ви вирішили змінити файл, що зберігається в «хмарі», програма внесе правки в копії файлів на Вашому комп'ютері. Такий підхід дозволяє мати актуальний набір файлів на будь-якому з Ваших пристроїв (смартфоні, комп'ютері, планшеті і т.д.). Єдина умова, яку потрібно для безперебійної роботи сховища з файлами комп'ютера - повна синхронізація.
При включенні ПК Ви також повинні дочекатися, поки пройде синхронізація даних. Швидкість здійснення даного процесу багато в чому залежить від швидкості з'єднання з інтернетом. Якщо вимкнути пристрій передчасно, можлива помилка синхронізації даних хмарного сховища.
Зберігання даних в хмарі може поставити питання про регулювання і відповідність вимогам, особливо якщо дані вже знаходяться в системах сховищ, обмежених певними вимогами. Хмарні засоби забезпечення відповідності вимогам, наприклад Amazon Glacier Vault Lock, гарантують впевненість в тому, що Ви легко виконайте розгортання і включіть в роботу засоби забезпечення відповідності вимогам для окремих сховищ даних за допомогою блокуються політик.
Питання забезпечення надійного зберігання, безпеки та доступності критично важливих корпоративних даних мають першорядну важливість. При розгляді варіанту зберігання даних в хмарі існує кілька фундаментальних вимог.
Надійність. Дані повинні зберігатися з надмірністю. В ідеалі вони повинні бути розподілені між кількома об'єктами і кількома пристроями в рамках кожного з об'єктів. Стихійні лиха, людський фактор або механічні несправності не повинні призводити до втрати даних.
Доступність. Всі дані повинні бути доступними в разі необхідності, але існує різниця між виробничими даними і архівами. Ідеальне хмарне сховище пропонує оптимальне поєднання між часом отримання даних і вартістю.
Безпека. В ідеалі всі дані повинні шифруватися - як при зберіганні, так і при передачі. Дозволи та контроль доступу повинні працювати в хмарі точно так, як і в локальних сховищах даних.
Ви можете вказати спеціальні параметри, наприклад одноразовий запис з багаторазовим читанням (WORM), щоб заблокувати дані від подальших змін. Рішення для роботи з журналами аудиту, наприклад AWS CloudTrail, допоможуть вирішити всі питання в області забезпечення відповідності вимогам для хмарних сховищ і систем архівації.
- Можливість доступу до даних з будь-якого комп'ютера, що має вихід в Інтернет.
- Можливість організації спільної роботи з даними.
- Висока ймовірність збереження даних навіть у разі апаратних збоїв.
- Сукупна вартість володіння. Завдяки хмарному сховищ Вам не потрібно купувати устаткування, виділяти ресурси для сховища або витрачати кошти на те, що «коли-небудь стане в нагоді». Ви можете додавати або видаляти ресурси на вимогу, швидко змінювати продуктивність та термін зберігання. І при цьому Ви будете платити тільки за використовувані ресурси. Дані, які використовуються не так часто, можна автоматично переміщати на більш економічні рівні за певними правилами, дія яких легко контролюється. Це дозволяє забезпечити економію від обсягу. При цьому, клієнт платить тільки за те місце в сховищі, яке фактично використовує, але не за оренду сервера, всі ресурси якого він може і не використовувати.
- Клієнту немає необхідності займатися придбанням, підтримкою і обслуговуванням власної інфраструктури зі зберігання даних, що, в кінцевому рахунку, зменшує загальні витрати виробництва.
- Хмарне сховище підходить, практично, під всі операційні системи, як ПК, так і мобільних (є, правда, і обмеження у використанні ПО).
- Доступ і синхронізація файлів хмари з файлами Вашої операційної системи залежить від самого клієнта хмари (при виборі хмари зверніть увагу на готовність хмари до десктопних клієнту).
- Управління інформацією. Централізоване сховище в хмарі створює величезні можливості для нових прикладів використання. Використовуючи політики управління життєвим циклом в хмарному сховищі, можна вирішувати важливі завдання, пов'язані з управлінням інформацією, включаючи автоматичний розподіл за рівнями або блокування даних з метою дотримання вимог.
- Час до розгортання. Коли команди розробників готові до запуску проектів, інфраструктура не повинна обмежувати їх. Хмарне сховище дозволяє ІТ-фахівцям швидко виділяти необхідний простір для зберігання даних саме тоді, коли це потрібно. В результаті ІТ-фахівці можуть зосередитися на вирішенні складних проблем, пов'язаних з додатками, а не на питаннях управління системами зберігання даних. Всі процедури по резервуванню і збереженню цілісності даних виробляються провайдером «хмарного» центру, яка не втягує в цей процес клієнта.
Безпека при зберіганні і пересилання даних є одним з основних питань при роботі з «хмарою», особливо щодо конфіденційних і приватних даних. Так, наприклад, провайдер має можливість переглядати дані клієнта (якщо вони не захищені паролем), які також можуть потрапити в руки хакерів, які зуміли зламати системи захисту провайдера.
Надійність, своєчасність отримання і доступність даних в «хмарі» дуже сильно залежить від багатьох проміжних параметрів, таких як: канали передачі даних на шляху від клієнта до «хмари», надійність останньої милі, якість роботи інтернет-провайдера клієнта, доступність самого «хмари» в даний момент часу. Якщо ж сама компанія, що надає онлайнове сховище, буде ліквідована, клієнт може втратити всі свої дані.
Загальна продуктивність при роботі з даними в «хмарі» може бути нижче, ніж при роботі з локальними копіями даних.
Абонентська плата за додаткові можливості (збільшений обсяг зберігання даних, передача великих файлів і т.д.).
Популярні сервіси
Якщо поглянути на доступні сьогодні хмари, то можна нарахувати з десяток таких сервісів, але лише кілька з них ми б виділили для використання. Для більш детального розгляду хмар ми вибрали кілька з них, це пов'язано з якістю самого сервісу, його захисту, що підтримує програмним забезпеченням і особистої довіри до його творцям, а також до компаній по підтримки.
Найпопулярнішими серед сервісів хмарного зберігання даних є такі:
iDrive: https://www.idrive.com/
OpenDrive: https://www.opendrive.com/
Syncplicity: https://www.syncplicity.com/
MediaFire: https://www.mediafire.com/
Amazon Web Services: https://aws.amazon.com/ru/?nc2=h_lg
pCloud: https://www.pcloud.com/ru/
4shared: https://www.4shared.com/
Dropbox: https://www.dropbox.com/ru/
Яндекс.Діск: https://disk.yandex.ru/
Google Drive: https://www.google.com/intl/uk/drive/
iCloud Drive: https://www.icloud.com/
Mega: https://mega.nz/
Хмара Mail.Ru: https://cloud.mail.ru/
Box.net: https://www.box.com/
SpiderOak: https://spideroak.com/
Adrive: http://www.adrive.com/
SkyDrive: https://onedrive.live.com/about/uk-ua/
Copy: https://copy.com/?r=O78BHX
4Sync: https://en.4sync.com/
Cubby: https://www.cubby.com/
Hubic: https://hubic.com/en/
Yunpan 360: https://eyun.360.cn/?src=old
SugarSync: https://www.sugarsync.com/
OneDrive: https://onedrive.live.com/about/ru-ru/
Bitcasa: http://www.bitcasa.com/