Кто умеет работать с Amazon S3 Bucket ?

[sssbbbuuu]

Всем привет. Может у кого то есть свои проекты там, или когда то сталкивался с работой с облачно объектным хранилищем – Amazon S3.

Нужна помощь. Все наверняка знают что андроид и другие игры подкачивают какие то данные со своих контент (CDN) серверов. И те кто знаком с этой системой , знают что раньше можно получив адрес файла, узнав адрес сервера получить список файлов на нем с помощью запросов через консоль или браузер.


К примеру из одной игры ссылка на файл контента выглядит так:

Пожалуйста Войдите или Зарегистрируйтесь чтобы видеть скрытые ссылки.

Из нее берём имя сервера ( cdn.simcitybuildit.com) , расположение сервера (s3-us-west-1), и дописываем json параметры в адрессную строку (prefix=resources_cdn/&delimiter=/

Получается такой запрос:

Пожалуйста Войдите или Зарегистрируйтесь чтобы видеть скрытые ссылки.

И в xml формате отображался список файлов в нужной директории.
Типо как то так


В конце прошлого года что то поменялось и теперь везде пишет ошибку что доступ запрещен.

Кто может помочь в поиске решения,можно ли сейчас так же сделать, или нет?

Подробнее:

Пожалуйста Войдите или Зарегистрируйтесь чтобы видеть скрытые ссылки.

 

[kokis]

Вполне могли за это время изменить политику доступа, что-то переделать, например сделали индексацию бакетов по UUID. Думаю 100% вариант будет только вскрывать приложение-клиент и выцеплять оттуда актуальные URL-ы.

Было дело, одна контора хранила KYC-документы (фото паспорта, селфи) в AWS-бакетах, но формат URL был такой, что использовался UUID. Маппинг юзер<->UUID был только у сервиса, а брутить это дело не было смысла из-за высокой энтропии UUID.

В твоём случае дело упрощается тем, что можно получить URL-ы (либо общую схему URL для контента) путём вскрытия приложения-клиента.

Сообщение обновлено: 19 Мар 2022

Скорее всего у тебя перестало работать после того, как ввели эти заголовки (см

Пожалуйста Войдите или Зарегистрируйтесь чтобы видеть скрытые ссылки.

). Сам запрос на выдачу списка объектов платный и требуется указать ID владельца бакета и подтвердить согласие на списание средств вторым заголовком (x-amz-request-payer). Лично я бы после такого "нововведения" нафиг бы отключил доступ к этому запросу, чтобы кто попало не просадил мне баланс на аккаунте. Видимо это и было сделано, либо делается по-умолчанию.

 

[sssbbbuuu]

Скорее всего у тебя перестало работать после того, как ввели эти заголовки

Скорее всего да,по промежутку времени +- подходит.

требуется указать ID владельца бакета и подтвердить согласие на списание средств вторым заголовком (x-amz-request-payer)

Попытаюсь своими силами из клиента это достать. Итого , что мне требуется? ID владельца и второй заголовок?

Видимо это и было сделано, либо делается по-умолчанию.

Согласен.

 

[kokis]

Попытаюсь своими силами из клиента это достать. Итого , что мне требуется? ID владельца и второй заголовок?

Скорее всего клиент не запрашивает список, а уже "знает", какие элементы доставать либо список приходит откуда-то ещё.

Разбор можно разбить на несколько фаз:

1. Снифф трафика через wireshark, чтобы перехватить все запросы и их детали
2. Декомпиляция кода для анализа логики составления запросов и заготовленных данных (строк, частей URL и заголовков)

 

[sssbbbuuu]

Скорее всего клиент не запрашивает список, а уже "знает", какие элементы доставать либо список приходит откуда-то ещё.

Скорее, часть от сервера приходит, часть генерируется внутри.

1. Снифф трафика через wireshark, чтобы перехватить все запросы и их детали

Вот что удалось найти:
Все запросы на файлы идут уже с готовым путем к ним



Например вот этот запрос:

Пожалуйста Войдите или Зарегистрируйтесь чтобы видеть скрытые ссылки.

Но картинки на некоторые акции, которые определяет сервер, прилетают от него:

2. Декомпиляция кода для анализа логики составления запросов и заготовленных данных (строк, частей URL и заголовков)

Это довольно сложно,скорее нереально, т.к. игра скомпилированна на мертвом Marmalade SDK

P.S. случайно увидел в ответах адрес папки типа storage.googleapis.com/(имя)/ , аналогичный бакет,с рекламным контентом

порывшись удалось выкачать архив на 26.5гб, в котором были исходники некоторых игровых объектов,которын года 3 искал
Появился стимул дальше ковырять

 

[LugangJe™]

О чем речь

 

[Financeklopp]

О чем речь

выше

 

[MrPeabody]

Что это такое