Object storage · S3 API
Хранилище объектов, которое не нужно переучивать под себя
S3-совместимый эндпоинт для бэкапов, медиафайлов, артефактов сборки и архивов логов. Работает с вашим текущим SDK, aws-cli, rclone и Veeam — меняется только адрес эндпоинта и ключи.
# 1. эндпоинт и ключи export AWS_ACCESS_KEY_ID=BDW... export AWS_SECRET_ACCESS_KEY=•••••••• # 2. создать бакет aws --endpoint-url https://private.bigdataweb.ru \ s3 mb s3://project-backups # 3. залить данные aws --endpoint-url https://private.bigdataweb.ru \ s3 sync ./dumps s3://project-backups/2026-08/ # upload: 412 objects · 38.4 GiB · 6m21s
Зачем это нужно
Данные растут быстрее, чем инфраструктура под них
Типичные ситуации, с которых к нам приходят команды.
Диски на VPS закончились
Бэкапы и пользовательские загрузки лежат на том же диске, что и приложение. Расширение квоты — по согласованию с администратором площадки.
Медиа раздаёт сам бэкенд
Gunicorn и nginx приложения тратят ресурсы на отдачу файлов, а трафик и задержки растут вместе с аудиторией.
Архивы негде держать
Логи, дампы и выгрузки нужно хранить месяцами, но держать всё на быстрых дисках под редкий доступ нецелесообразно.
Возможности
Всё, что ожидается от объектного хранилища
Без собственного SDK и нестандартных протоколов — то, что уже умеет ваш код.
Совместимость с S3
Signature V4, multipart upload, ranged GET, ACL на уровне бакета. Работает всё, что работает с AWS SDK.
Presigned-ссылки
Временные ссылки на скачивание и загрузку со сроком жизни от минуты до недели — клиент ходит напрямую в хранилище, без вашего бэкенда посредником.
Lifecycle-политики
Автоудаление или перевод в холодный класс по возрасту объекта и по префиксу. Настраивается через API или консоль.
Версионирование
Версии объектов и delete markers на уровне бакета. Восстановление перезаписанного файла без обращения в поддержку.
Раздельные ключи доступа
Отдельная пара ключей на сервис или окружение, ограничение по бакетам и по операциям чтения/записи.
Метрики и журнал запросов
Объём, число запросов и исходящий трафик по бакетам. Выгрузка access-логов в отдельный бакет.
Интеграция
Подключение занимает один вечер
Меняется адрес эндпоинта и ключи. Остальной код остаётся прежним — проверено на boto3, aws-sdk-js, minio-go, rclone, restic и Veeam.
| Инструмент | Статус | Примечание |
|---|---|---|
aws-cli / boto3 | полная | signature v4 |
aws-sdk-js v3 | полная | forcePathStyle: true |
rclone | полная | provider = Other |
restic / duplicati | полная | для бэкапов |
Veeam, Kopia | полная | object lock не поддержан |
django-storages | полная | S3Boto3Storage |
# Django + django-storages AWS_S3_ENDPOINT_URL = "https://private.bigdataweb.ru" AWS_STORAGE_BUCKET_NAME = "app-media" AWS_S3_REGION_NAME = "ru-1" AWS_S3_ADDRESSING_STYLE = "path" AWS_S3_FILE_OVERWRITE = False AWS_QUERYSTRING_EXPIRE = 3600 STORAGES = { "default": { "BACKEND": "storages.backends.s3.S3Storage", }, }
Доступ
Некоммерческая инфраструктура
Хранилище не продаётся и не оказывается на коммерческой основе. Ёмкость выделяется приглашённым проектам в рамках внутренней площадки — без счетов, оплаты и НДС. Ниже — типовые технические квоты, а не прайс-лист.
Горячее хранение
Мгновенный доступ, без задержки на извлечение.
Холодное хранение
Для редко запрашиваемых данных. Первый байт — до 5 минут.
Исходящий трафик
Входящий трафик и GET/DELETE не ограничиваются квотой.
Операции API
PUT, COPY, POST, LIST — в разумных пределах fair use.
Нужен больший объём или отдельный бакет — согласуется с администратором площадки по наличию ресурсов.
Вопросы
Частые вопросы
Где физически хранятся данные?
Данные размещаются в дата-центрах на территории Российской Федерации. Каждый объект пишется в трёх копиях в пределах одной площадки.
Нужно ли переписывать приложение?
Нет. Достаточно указать адрес эндпоинта private.bigdataweb.ru, регион ru-1 и path-style адресацию. Всё остальное — стандартный S3 API.
Есть ли ограничение по числу бакетов и объектов?
По умолчанию — 50 бакетов на аккаунт, число объектов не ограничено. Лимит на бакеты настраивает администратор площадки.
Что с резервным копированием на вашей стороне?
Хранилище реплицирует данные внутри площадки, но не заменяет собой бэкап. Для критичных данных включайте версионирование бакета и держите вторую копию у другого провайдера.
Платно ли пользоваться хранилищем?
Нет. Сервис некоммерческий: доступ без оплаты для приглашённых проектов. Сайт описывает возможности S3 API и технические квоты, а не коммерческий прайс.
Как получить доступ?
Доступ выдаётся администратором площадки участникам внутренних проектов. Публичной регистрации и заявок через сайт нет — ключи и консоль передаются по внутренним каналам.
