Обзор 10+ облачных хранилищ данных (обновлено)

PaaS — Платформа как услуга

Примеры PaaS

Amazon Web Services (AWS)calculator.s3.amazonaws.com/index.htmlWindows AzureOracle Cloud PlatformGoogle Cloud Platform

Google Cloud Platform Amazon Web Services Microsoft Azure Oracle Cloud Примечание
Google Compute Engine Amazon EC2 Azure Virtual Machines Oracle Cloud Infra OCI вычислительные мощности
Google App Engine AWS Elastic Beanstalk Azure Cloud Services Oracle Application Container хостинг интернет-приложений
Google Kubernetes Engine Amazon EC2 Container Service Azure Container Service Oracle Kubernetes Service хостинг контейнерных приложений
Google Cloud Functions AWS Lambda Azure Functions Oracle Cloud Fn бессерверные вычисления
Google BigQuery Amazon Redshift Microsoft Azure SQL Database Oracle Autonomous DataWarehouse SQL базы данных
Google Cloud Bigtable, Google Cloud Datastore Amazon DynamoDB Azure Cosmos DB Autonomous NoSQL NoSQL базы данных
Google Cloud Storage Amazon S3 Azure Blob Storage Oracle Cloud Storage OCI Хранилища слабоструктурированных данных

4. Mega

Mega — (MEGA Encrypted Global Access) — амбициозный облачный файлообменник Ким Доткома (Kim Dotcom), основателя легендарного Megaupload.


Фишка Mega:  шифрует весь контент прямо в браузере с помощью алгоритма AES; пользователи могут передавать друг другу файлы в зашифрованном виде, при этом все данные хранятся в «облаке»; ключи доступа к файлам не публикуются в открытом доступе, а распространяются по схеме Friend-to-Friend, между доверяющими друг другу пользователями.

Примечательно то, что Mega сразу стартовал с бесплатными 50 Гбайтами (!), кроме того, есть возможность значительно расшириться в платных пакетах:

Пакет Месячная плата Инфо
Базовый Бесплатно 50 Гбайт
Lite 4,99 € 200 Гбайт
Pro I 9,99 € 500 Гбайт
Pro II 19,99 € 2 Тб
Pro III 29,99 € 4 Тб

По предоставляемому дисковому пространству и по его стоимости, Mega, несомненно можно назвать одним из самых выгодных облачных сервисов, кроме того, важное отличие Mega от других подобных сервисов — конфиденциальность, ведь Mega позиционируется как сервис, который защищает личные данные пользователя. Это достигается за счет сквозного шифрования

На данный момент действует акция: если купить платный пакет на год, то.

Сайт Mega:  https://mega.nz

Как мы Google Security Checkup проходили

Из песочницы

Чтобы обеспечить безопасность пользовательских данных, Google тщательно проверяет все приложения, которые используют restricted API scopes и имеют доступ к Google User Data. Не так давно мы в Snov.io прошли через процесс проверки и получили одобрение Google, с чем и хотим поделиться.

Новые правила для приложений

9 октября 2018 года Google анонсировал новые правила для приложений, которые используют Google restricted API scopes. Они включали в себя 2 этапа проверки:

  • Проверка соответствия приложения политике Google API User Data
  • Проверка соблюдения минимальных требований безопасности

Сервисы синхронизации и обмена файлами

Сервис Описание
Яндекс.Диск Бесплатный сервис для хранения файлов и папок с защитой и возможностью расширения облачного пространства. Яндекс.Диск, как и Google Drive, интегрирован с другими сервисами, в частности, с Яндекс-почтой, и имеет ряд полезных дополнений.
Облако Mail.Ru Облачное хранилище файлов с доступом к виртуальному диску и необходимыми для такого сервиса функциями. Занимает одно из ведущих мест в рейтинге файловых хранилищ в России. По набору возможностей оно сопоставимо с Google Диск и Яндекс.Диск. Есть приложения для создания и редактирования документов, утилита для получения снимков экрана. Сервис интегрирован с другими проектами Mail.ru. Преимущества — высокая скорость загрузки и выгрузки данных для российских пользователей, есть клиенты практически под все платформы, включая мобильные операционные системы, поддержка выборочной синхронизации папок и файлов в папке.
OneDrive Сервис Microsoft для хранения и синхронизации файлов между устройствами при подключении к интернету. Можно расширять емкость. В OneDrive удобно обмениваться документами Microsoft Office 365 и редактировать их через сервис Office Online. Особенностями сервиса можно считать интеграцию с почтой Hotmail и поисковиком Bing.
Google Диск Облачное хранилище с опцией многопользовательского доступа к файлам и их совместного редактирования. Сервис интегрирован с офисным пакетом Google Docs, где можно редактировать документы с одной учетной записи или нескольких аккаунтов одновременно. Встроенный клиент для Windows имеет стандартные настройки, можно выбрать отдельные папки или жесткий диск для синхронизации, ограничить скорость загрузки и сменить аккаунт для пользования сервисами Google.
Dropbox Сервис для автоматической синхронизации файлов любых размеров. Есть продвинутые настройки приложения для ПК, включая синхронизацию отдельных папок и настройку скорости загрузки и выгрузки файлов, инструменты для организации работы пользователей с данными в облаке. Отличие от большинства сервисов — хранение разных версий файлов без использования места в облаке, а также применение метода DeltaSync: на сервер передается не весь объект, а только измененная часть, что уменьшает трафик.
КРОК Диск Удобный и безопасный сервис корпоративного класса для обмена файлами.
Brandquad Централизованная система создания, хранения и распространения коммерческого контента.
iSpring Cloud Просмотр презентаций PowerPoint онлайн с любых устройств.
Mega (Megasynk) Облачное хранилище с большим объемом бесплатного дискового пространства — 50 Гб. Другие особенности — сквозное шифрование данных (ключ не хранится на сервере) и открытый исходный код. Приложение на ПК поддерживает слежение за любыми папками, настройку пропускной способности, исключения загружаемых файлов по типу и размеру.
Samsung Cloud Сервис для владельцев смартфонов и планшетов Samsung. Предназначен для хранения резервных копий данных с мобильных устройств — мультимедийного контента, файлов ОС и пр.
Apple iCloud Бесплатный сервис, интегрированный с другими службами Apple. Сервис предназначен для хранения резервных копий данных с iPhone, iPad и iPod, а также пользовательских медиафайлов, почты и документов (они автоматически синхронизируются с содержимым iCloud Drive).
Baidu Cloud Для России не адаптирован, но предоставляет пользователям терабайт бесплатного дискового пространства. Требует установки мобильного приложения Baidu Cloud на телефон или планшет.
Yunpan.360 Этот сервис китайской компании Qihoo 360 Technology также предлагает 1 Тбайт для новых пользователей и еще 2,6 Тб при установке мобильного клиента. Для российских пользователей местонахождение серверов в Китае означает низкую скорость. Хорошо реализована русификация клиента. Есть сохранение историй версий, область, защищенная паролем, система обмена файлами, воспроизведение видео и аудио, ПО под разные ОС и мобильные платформы.
4shared Сервис предназначен для обмена файлами общим объемом до 15 Гб при бесплатном подключении. Есть автоматизация загрузки файлов из GoogleDrive, DropBox и Gmail, развитые функции расшаривания файлов и поддержка протокола WebDev.
MediaFire В бесплатном пакете предлагается 10 Гб. Есть версии для ПК на разные платформы и мобильные приложения. Интеграция с соцсетями (Facebook, Google+, Twitter) и почтой позволяет открывать доступ к объектам другим пользователям.
OziBox Также дает 10 Гб в подарок. Есть клиент для ПК с минимумом настроек и Web-интерфейс.

Что такое Веб-Приложение (Web App)?

Вы уже знаете о компьютерных программах и мобильных приложения, которые необходимы для выполнения тех или иных задач на компьютере и мобильном устройстве. Однако существуют и веб-приложения (или веб-сервисы), которые позволяют выполнять поставленные задачи онлайн, без установки их на компьютер.


Скажем, если у вас уже есть аккаунт в Google, то есть вы зарегистрированы, то у вас есть доступ к облаку GoogleDrive (Гугл диску), где вы с лёгкостью можете создавать документы, таблицы, презентации, формы, рисунки. И если у вас нет MS Office, вы абсолютно легально можете использовать облачный сервис от Google, Яндекс, Mail.

Кстати, социальные сети постоянно развиваются и тоже используют веб-приложения, которые доступны нам. Существуют также игры и другие веб-приложения, которые вы можете добавить в профиль и использовать.

Веб-приложения становятся всё более и более интегрированными с веб-сайтами, и порой бывает трудно, отличить отдельное веб-приложение от общего сайта. Во многих случаях, вы можете использовать веб-приложение, даже не зная об этом!

Сервер бизнес-логики

модели пользователя

  1. управление хранением измерений датчиков и событий детекторов движения с IP-камер умного дома внутри сенсорной БД;
  2. управление записью медиапотока IP-камеры, транслируемого контроллером умного дома, в архив медиасервера (постоянная / по детектору движения);
  3. трансляция команд от клиентского приложения в контроллер умного дома;
  4. трансляция конфигурации контроллера умного дома (подключенных устройств, правил продукционной логики, определяемых пользователем);
  5. отправка Push-уведомлений о состоянии контроллера умного дома и подключенных устройств в клиентское приложение.

принцип KISS(кликните на картинку, чтобы открыть в большем разрешении)SendGatewayMessageCheckGatewayExistanceSendBackend

  • StoreSensorDataMySQL обновляет (UPDATE) существующую запись в облачной БД MySQL, где хранится информация о текущем состоянии и измерениях с датчика. Это необходимо для клиентского приложения, отображающего для пользователя текущее состояние умного дома;
  • StoreSensorDataInfluxDB добавляет (INSERT) новую запись в сенсорную БД InfluxDB, где хранится история измерений с датчика. Эта информация используется при расчете статистических данных за различные периоды времени (например, энергопотребление за день, месяц или год) и отображении в клиентском приложении в виде графиков и таблиц;
  • SendPushNotification формирует JSON-сообщение, содержащее временную метку, название датчика, текстовое описание события, идентификатор смартфона пользователя, с которым тот зашел в личный кабинет, внутренний идентификатор приложения в системе провайдера OneSignal. Далее, это сообщение отправляется провайдеру Push-уведомлений через RESTful API https://onesignal.com/api/v1/notifications, который доставляет его на смартфон пользователя.

messageType

  • «messageType»: «deviceState» — сообщение содержит информацию об изменении состояния IP-камеры. Выполняется подзадача UpdateCameraState, обновляющая информацию в облачной БД. Если при этом поле deviceState принимает значения streamingOn или streamingOff (IP-камера отправляет/останавливает поток данных на медиасервер), то выполняется подзадача RecordMediaStream, формирующая с учетом модели пользователя команду для включения/отключения режима архивной записи и отправляющая ее на медиасервер;
  • «messageType»: «sensorData» — информация о срабатывании детектора движения на IP-камере. Если в модели пользователя режим записи в архив установлен как «по детектору движения», то выполняется подзадача RecordMediaStream. Далее выполняются подзадачи StoreSensorDataInfluxDB (сохранение истории срабатывания детектора в сенсорной БД) и SendPushNotification (рассылка Push-уведомлений через провайдера);
  • «messageType»: «preview» — сообщение содержит кадр уменьшенного изображения с IP-камеры, который периодически пересылается в облако. Подзадача StorePreview сохраняет его в облачной БД. Далее он используется в клиентском приложении при отображении списка камер;
  • «messageType»: «command» — команда, посылаемая контроллером умного дома при изменении его настроек пользователем через Web-интерфейс. Выполняется подзадача RecordMediaStream, которая в зависимости от модели пользователя включает/выключает режим записи на медиасервере.

(кликните на картинку, чтобы открыть в большем разрешении)очередь задач (task queue)пулу потоков (thread pool)systemdmonit

AWS и совместимые с ним российские облачные хранилища для бизнеса

Провайдер Название сервиса Описание
1cloud Cloud Object Storage Облачное объектное хранилище для резервного копирования, архивных данных, раздачи статического контента сайта, данных веб-приложений, систем видеонаблюдения, обмена корпоративными документами. Для подключения приложений и интеграции с информационными системами можно использовать S3 или OpenStack Swift API.
«Техносерв» Техносерв Cloud Услуга помогает сократить затраты на создание и техническое обслуживание инфраструктуры, повысить гибкость бизнес-процессов и обеспечить круглосуточный доступ к данным через интернет, выделенный канал связи. Облачное объектное хранилище совместимо с хранилищем Amazon Web Services, полностью поддерживает протокол доступа S3 API.
Mail.Ru Group Mail.Ru Cloud Solutions Разработчики использовали опыт управления собственной ИТ-инфраструктурой с миллионами пользователей, чтобы создать облачные сервисы без ограничений скорости загрузки и выгрузки файла с высоким уровнем безопасности. Поддерживается стандартный S3-совместимый протокол, шифрование данных по SSL.
cloud4y MultiStore Облачное хранилище MultiStore позволяет создать логические разделы в одной системе хранения данных таким образом, что неавторизованные пользователи не могут получить доступ к информации в защищенном виртуальном разделе. Оно также позволяет переносить виртуальные разделы между СХД и позиционируется как легко управляемый и мощный инструмент аварийного восстановления системы.
Selectel Cloud Storage Облачное хранилище для веб-приложений, хранения архивов, резервного копирования и раздачи статического контента с оплатой за хранение, запросы к API и скачивание данных из хранилища. Вне зависимости от объема данных и уровня пиковой нагрузки сохраняется быстрый доступ к контенту. Количество и объем файлов не ограничены. Возможно подключение собственного или стороннего приложения через API OpenStack Swift. Предлагает управление пользователями, доменами, сертификатами через API. Есть ряд готовых плагинов и интеграций с CMS, CRM и другими сервисами. Более 200 000 серверов по всему миру образуют CDN для ускорения работы сайтов и доставки контента.
Экономия затрат на ИТ Собственные СХД требуют постоянного обслуживания, а это означает, что компания должна иметь ИТ-персонал. Благодаря облачному хранилищу компании могут сэкономить много денег на обслуживании, так как их серверы и СХД находятся под контролем сторонних поставщиков. Благодаря аутсорсингу хранилищ данных компании экономят на капитальных и эксплуатационных расходах. Эти деньги можно использовать для развития и расширения бизнеса.
Гибкость бизнес-процессов Согласно недавним опросам опросу, 79% респондентов уже частично работают вне своего офиса, а еще 60% перейдут на удаленную работу, если получат такую возможность. Облачные сервисы хранения обеспечивают такую ​​гибкость для сотрудников.
Расширенные возможности коллективной работы Сотрудникам часто приходится совместно работать над проектами и общаться с коллегами по всему миру. Облачные инструменты облегчают сотрудничество и управление документами. Они позволяют пользователям получать доступ к последним версиям любого документа.
Защита данных Данные хранятся в нескольких местах и остаются доступными в случае аварий и сбоев.

Что дает использование «облака» простому пользователю?

Для простого пользователя облачное хранилище данных дает множество интересных преимуществ:

Ваши файлы, помещенные в папку присоединенную к сервису, начинают немедленно синхронизироваться. Загрузив в нее например фотографии, документы, Вы можете быть спокойны — файлы хранятся в надежном месте. Чего бы не произошло с вашим компьютером — даже поломка жесткого диска — ваши фотографии и документы останутся в целости и сохранности.


Вы можете получить доступ к облаку в любое время, из любой точки мира, с любого компьютера на котором есть Интернет.

Любое облако, позволяет мгновенно поделиться с друзьями файлом из облака, сгенерировав ссылку, и настроив к ней права доступа.

Большинство хранилищ, позволяет подключить любую папку облака к аккаунтам друзей или коллег — для совместной работы, например. Это позволяет не мучиться с почтой, пересылая друг другу почтой файл Excel для доработки.

Вы можете установить клиент хранилища на любых компьютерах за которыми работаете. Это позволяет «брать работу на дом».  Папка рабочего компьютера мгновенно синхронизируется с папкой на домашнем. Это дает возможность не мучиться с флеш-картой.

Проблемы в процессах непрерывной доставки и развертывании программного продукта

В айти-эксплуатации самым востребованным направлением является именно наладка и обеспечение непрерывной доставки и развертывания. Технологии и методологии постоянно развиваются, совершенствуются инструменты. В связи с этим последние требования к доставке и развертыванию включают в себя готовность и непрерывность тестирования изменений, подготовку и настройку тестовой среды для команды обеспечения качества. Технологический прорыв и свободно-распространяемое ПО привели к тому, что подход к организации процессов CI/CD значительно изменился. Переход на новые принципы сильно повлиял на корпоративную культуру, востребованные навыки сотрудников и сами принципы работы в организациях, что привело к масштабным переменам в мире разработки ПО.

Хранить данные в облаке или не хранить?

В большинстве случаев — ответ положительный. Не будем брать большие корпорации — они уже давно сделали свой выбор в пользу облака в том или ином смысле — или развернули свою облачную инфраструктуру или же пользуются сторонними облачными хранилищами. Небольшие компании с опаской относятся к хранению в облаке. Логика следующая — 4 Тб «места» обойдется примерно в 30 евро (что при использовании OneDrive, что при использовании Mega). Сетевой накопитель WD My Cloud Home 4 TB стоит примерно 180 евро (цена может колебаться в зависимости от курса, мы тут немного усреднили для красоты расчетов — можно найти дешевле). Итого покупка накопителя окупится уже спустя полгода эксплуатации и у вас будет собственное облако.

Так то оно так, но не нужно забывать, что данные в облаке лучше защищены прежде всего от сбоя оборудования — вероятность потерь стремится к 0, а вот обычный физический накопитель может выйти из строя в любой момент, а гарантия распространяется только на «железо» — накопитель вам предоставят новый, а данные не вернут. К тому же физический накопитель может быть поврежден при пожаре или же просто-напросто украден из офиса — вместе с ним вы потеряете все свои данные. Поэтому, выбирая облако, вы не просто платите за свой комфорт, но и за безопасность своих данных.

Популярные услуги

Облачное хранилище Высокая производительность и гибкость в управлении! Необходимый пул арендованных ресурсов для создания виртуальных машин нужной конфигурации под Вашу задачу. Платформа облачных сервисов Cloud.Xelent Оптимальные тарифы для облачных решений! Полный аналог «железного» сервера в виртуальной среде. Реализовано на VMware. Частное облако на VMWare с управлением через vCloudDirector

Для edge-серверов десятого поколения Cloudflare выбирает процессоры от AMD

Перевод

Ежедневно через сеть Cloudflare Network проходит более миллиарда уникальных IP-адресов; она обслуживает более 11 млн HTTP-запросов в секунду; она находится на расстоянии не более 100 мс от 95% интернет-населения. Наша сеть раскинулась на 200 городов в более чем 90 странах, а наша команда инженеров построила чрезвычайно быструю и надёжную инфраструктуру. Мы очень гордимся нашей работой и настроены помочь сделать интернет лучше и безопаснее. Инженеры Cloudflare, чья работа связана с железом, тщательно разбираются в серверах и их компонентах, чтобы хорошо понять и выбрать наилучшее оборудование для максимизации его эффективности. Наш программный стек обрабатывает высоконагруженные вычисления и очень зависит от скорости CPU, из-за чего нашим инженерам приходится постоянно оптимизировать эффективность и надёжность Cloudflare на всех уровнях стека. На стороне сервера проще всего увеличить вычислительную мощность, добавив ядер CPU. Чем больше ядер можно уместить в сервере, тем больше он сможет обрабатывать данных

Для нас это важно, поскольку разнообразие наших продуктов и клиентов со временем растёт, и рост запросов требует от серверов увеличения производительности. Чтобы увеличить их производительность, нам требовалось увеличить плотность ядер – и именно эту задачу мы выполнили

Ниже приводим детализацию данных по процессорам для серверов, разворачиваемых нами с 2015 года, включая и количество ядер:

Самые дорогие SaaS компании в B2B, B2C секторах

В новостях, обзорах, рейтингах, примерах и сравнениях часто мелькают названия компаний с приставкой SaaS. Компании, предоставляющие программное обеспечение как сервис по подписке или по запросу и раньше были на слуху, как среди пользователей их услуг, так и тех, кто хотел заработать на инвестициях в быстрорастущие технологические бизнесы. В 2020 необходимость дистанцироваться наложила отпечаток на социальное поведение людей, а также особенности ведения бизнес и производственных процессов. Облачные технологии и без того активно растущие в последнее время, получили мощнейший толчок к развитию и улучшению. Рост пользовательской базы, запросы на новые виды услуг, оказываемых дистанционно, всё это способствует потоку инвестиций в SaaS провайдеров.

3. Dropbox

Dropbox — облачное хранилище данных, позволяющее пользователям хранить свои данные на серверах в облаке и разделять их с другими пользователями в интернете. Его работа построена на синхронизации данных.

Некоторые «фичи» Dropbox:

  • 256-битное шифрование AES и шифрование SSL;
  • Лучшая в своем классе технология синхронизации;
  • Интеграция с Microsoft Office 365;
  • Неограниченное восстановление файлов и журнал версий;
  • Ссылки доступа с паролем и сроком действия;
  • Настраиваемые уровни доступа;
  • Управление уровнями доступа и пр.

Тарифные планы Dropbox:

Пакет Месячная плата Инфо
Базовый аккаунт Бесплатно 2 Гб
Dropbox Pro 9.99 € 1Тбайт
Dropbox Business 10 € / пользователь / месяц Столько места, сколько нужно, неограниченное количество восстановление файлов, управление доступом к файлу, настраиваемаые уровни доступа, приоритетная техническая поддержка, 14 дней триал бесплатно
Dropbox Enterprise Цена зависит от необходимого функционала Всё то же самое, что и в Dropbox Business, но на корпоративном уровне

Может показаться,  что 2 Гбайта дискового пространства маловато, у Dropbox есть целый ряд БЕСПЛАТНЫХ способов, помимо платных,  с помощью которых можно постараться увеличить это пространство:

  • +500 Мбайт за приглашенного друга (до 16 Гбайт) в базовом аккаунте +  1 ГБ за пригашение для Pro аккаунта.
  • Но, это еще не все. Dropbox активно сотрудничает с разнообразными брендами и сайтами, с помощью которых можно получить еще дополнительное бесплатное пространство.

Внимание! Условия получения в Dropbox дополнительного пространства могут меняться, поэтому следите за аноносами Dropbox. Приложение Dropbox можно скачать и инсталлировать на PC, Mac, Linux или мобильное устройство

В отличие от основных конкурентов, при работе с Dropbox редактированные файлы не копируются полностью на сервер — осуществляется передача только измененной части, предварительно сжатой. Считается, что именно этот факт во многом объясняет известную оперативность работы с Dropbox, по сравнению с аналогами

Приложение Dropbox можно скачать и инсталлировать на PC, Mac, Linux или мобильное устройство. В отличие от основных конкурентов, при работе с Dropbox редактированные файлы не копируются полностью на сервер — осуществляется передача только измененной части, предварительно сжатой. Считается, что именно этот факт во многом объясняет известную оперативность работы с Dropbox, по сравнению с аналогами.

Недостатки Dropbox

Главным недостатком Dropbox можно считать подход к выбору папок для синхронизации. Фактически приложение следит за содержимым только одной папки — Dropbox.

Кроме того,  в июле 2014  в своем интервью изданию The Guardian известный Эдвард Сноуден сделал заявление, которое может существенно пошатнуть доверие к Dropbox. В частности, он сказал, что Dropbox не в полной мере заботится о конфиденциальности данных пользователя и даже напрямую участвует в глобальной системе слежке PRISM.

Однако, не все специалисты по безопасности согласны с таким заявлением. Кроме того, использование Dropbox в связке с BoxCryptor, который надежно шифрует файлы перед синхронизацией их с облаком, обеспечивает конфидициальность данных в Dropbox.

Сайт Dropbox: http://www.dropbox.com

Принимаем 10 000 ивентов в Яндекс.Облаке. Часть 2

И снова здравствуйте! Продолжаем нашу серию статей про то, как мы щупали Яндекс.Облако. Давайте вспомним план, по которому мы с вами двигаемся:1 часть. Мы определились с ТЗ и архитектурой решения, написали приложение на golang.2 часть (вы сейчас здесь). Выливаем наше приложение на прод, делаем масштабируемым и тестируем нагрузку.3 часть. Попробуем разобраться, зачем нам нужно хранить сообщения в буфере, а не в файлах, а также сравним между собой kafka, rabbitmq и yandex queue service.4 часть. Будем разворачивать Clickhouse кластер, писать стриминг для перекладывания туда данных из буфера, настроим визуализацию в datalens.5 часть. Приведем всю инфраструктуру в должный вид — настроим ci/cd, используя gitlab ci, подключим мониторинг и service discovery с помощью consul и prometheus. Ну что, переходим к нашим задачкам.


С этим читают