| |
Анонсирован первый выпуск проекта LibreS3, в рамках которого развивается открытая реализация облачного сервиса хранения Amazon S3. LibreS3 позволяет развернуть на своих серверах сервис хранения данных, полностью совместимый с клиентскими библиотеками для Amazon S3 и построенными на их основе инструментами, такими как python-boto, s3cmd и DragonDisk. Исходные тексты LibreS3 написаны на языках Си и OCaml, код распространяется под лицензией GPLv2 (библиотеки под LGPL). Платформа может быть использована в Linux, OS X и различных BSD-системах.
Стоит отметить, что проект развивается командой разработчиков, в своё время покинувших проект ClamAV для развития своих новых идей. Среди разработчиков Skylable числятся Томаш Койм (Tomasz Kojm), основатель свободного антивирусного пакета ClamAV, и ещё три разработчика, стоящих у истоков проекта.
Для организации хранения данных на группе серверов применяется распределённое кластерное хранилище Skylable Sx, первый выпуск которого представлен одновременно с LibreS3. Skylable Sx также является свободным проектом и берёт на себя выполнение задач по репликации данных между узлами и дедупликации идентичных данных на разных узлах кластера. Skylable Sx позволяет объединить в единое виртуальное хранилище дисковое пространство с нескольких серверов. Для обеспечения отказоустойчивости и сохранности информации наборы данных реплицируются на несколько разных серверов. Число копий, которые будут храниться на разных серверах, определяются администратором при конфигурации системы.
Для защиты данных применяется техника шифрования на стороне клиента, при которой на серверы системы информация поступает уже в зашифрованном виде, что исключает перехват данных в случае получения спецслужбами или злоумышленниками доступа к серверам хранения. Кроме того, опционально может быть использовано шифрование разделов на серверах, но в этом случае теряется эффективность от использования дедупликации. Обмен данными между клиентом и сервером и между узлами шифруется с использованием HTTPS. Для экономии дискового пространства используется сжатие данных на лету.
Skylable Sx состоит из следующих компонентов:
- sxhttpd - демон, обслуживающий запросы по протоколу HTTP, используемому как для обращения клиентов, так и для взаимодействия узлов хранения.
- sx.fcgi - работающий с использованием FastCGI процесс, непосредственно обрабатывающий запросы и распределяющий их среди дочерних процессов-обработчиков:
- Менеджер выполнения работ - планирует передачу блоков данных и выполняет команды администрирования);
- Менеджер передачи блоков данных - передаёт данные между узлами хранения и отдаёт данные клиентам;
- Сборщик мусора - выполняет поиск и чистку блоков данных, потерявших актуальность или не связанных с файлами.
|
|
- Главная ссылка к новости (http://www.skylable.com/2014/04/libres3-...)
| Тип: Программы | Ключевые слова: libres3, amazon, (найти похожие документы) | При перепечатке указание ссылки на opennet.ru обязательно | Реклама |
id=adv>
| |
|
1.2, YetAnotherOnanym, 11:06, 02/05/2014 [ответить] [смотреть все]
| +/– |
Не понял - какая дедупликация, если каждый шифрует данные на своей стороне со своим собственным ключом? И какое вообще "сжатие на лету" для зашифрованных данных? Вроде как зашифрованное не жмётся в принципе?
| | |
|
|
3.8, Andrew Kolchoogin, 12:26, 02/05/2014 [^] [ответить] [смотреть все]
| +2 +/– |
> С чего это вдруг?
Ну, вообще-то, Шнайер утверждает, что именно это свойство криптотекста является «маркером» для его поиска в потоке данных – берём поток, пытаемся компрессировать, если не компрессируется – пытаемся распаковать всеми известными нам архиваторами, не распаковывается => ciphertext.
А с математической точки зрения ciphertext не должен компрессироваться для закрытия known plaintext-атак: скажем, если взять DES в режиме Electronic Codebook, тогда ciphertext будет компрессироваться так же, как и исходный файл, но: почему это плохо, наглядно показано здесь: http://en.wikipedia.org/wiki/Electronic_codebook#Electronic_codebook_.28ECB.2
| | |
| 3.14, DeadLoco, 15:50, 02/05/2014 [ ^] [ ответить] [ смотреть все] +2 +/–
> С чего это вдруг?
Чем лучше криптование, тем выше энтропия результирующего потока. Чем выше энтропия входного потока, тем ниже эффективность архивации. В случае максимальной энтропии входного потока эффективность компрессии равна нулю.
3.6, YetAnotherOnanym, 11:49, 02/05/2014 [ ^] [ ответить] [ смотреть все] +1 +/–
А, ну это да, тут не возразишь :D
|
5.12, A.Stahl, 15:29, 02/05/2014 [^] [ответить] [смотреть все] | +/– |
Тот, кто говорил что плохая сжимаемость признак шифровки, скорее всего имел в виду, что это ОДИН ИЗ МНОГИХ признаков шифровки.
| | | 5.13, YetAnotherOnanym, 15:41, 02/05/2014 [ ^] [ ответить] [ смотреть все] +1 +/–
Для чего? Криптостойкость это не повысит, для устойчивости к потерям есть более вменяемые методы (вроде того же Рида-Соломона), размазать по другим данным (стеганография) - тоже не похоже. Специально раздуть массив данных ради возможности его сжать - это какое-то странное упражнение.
1.5, mrd, 11:41, 02/05/2014 [ответить] [смотреть все] +/–
Велосипед изобрели. OpenStack и ceph уже давно умеют S3.
1.7, Аноним, 12:23, 02/05/2014 [ответить] [смотреть все] +2 +/–Отличная новость Ещё и лицензия правильная, да и выбор языков разработки прияте... весь текст скрыт [ показать]
1.16, Аноним, 18:16, 02/05/2014 [ответить] [смотреть все] +/–Где ссылка на гитхаб ... весь текст скрыт [ показать] Ваш комментарий
Read more |