golang

Запретный плод: возвращаем на iOS делистнутые из App Store приложения без кабеля

  • среда, 18 ноября 2026 г. в 00:00:10
https://habr.com/ru/articles/1109020/

TL;DR. Если хочется просто вернуть приложения, переходите в раздел “10. Выводим исследование из лаборатории”: там описано, как воспользоваться полученным решением.

Возможно, уважаемые читатели Хабра не жалуют мобильные устройства Apple и пользуются Android — как и “подобает” технарям. Но, напр., друзья, коллеги и близкие с iPhone/iPad всё равно могут обратиться с просьбой помочь: они перешли на новый яблочный девайс, а нужные приложения, увы, не перенеслись. Либо искомые приложения были случайно сгружены на устройстве. Установить обратно уже не получается, т.к. приложения “пропали” из App Store. Знакомо?

О гипотетической возможности вернуть приложения, как правило, слышал даже рядовой пользователь: “вроде можно, только нужен компьютер и кабель”. К этому “только” могут прилагаться, среди прочего, установка драйверов, тяжёлых программ от Apple, подписание приложений сертификатом разработчика с периодическим повторением этой процедуры и т.п. Для задачи “вернуть пару приложений” процесс получается на редкость обстоятельным. Тем не менее, для решения проблемы, действительно, можно попробовать те из существующих средств, которые ещё худо-бедно работают, мирясь с их неудобствами.

В данной статье же предлагается решить более амбициозную техническую задачу: находить и возвращать нужные приложения сразу на конечном устройстве, т.е. там, где они и нужны. И без каких-то чрезмерно утомительных пререквизитов, поддерживая простоту использования: вернуть приложения должен суметь человек без специальных технических знаний. Если при реализации решения потребуется писать код, то ориентируемся на компактную нативную утилиту на golang, полный отказ от закрытых исполняемых библиотек Apple и драйверов, кроссплатформенность на случай использования второго устройства (Windows, macOS, Linux, Android и iOS/iPadOS). Подключение кабеля не должно требоваться ни в одном сценарии.

Изученные инструменты для решения похожих задач, в том числе платные, не закрывают весь набор выбранных критериев. Поэтому был произведен кропотливый реверс-инжиниринг программ и библиотек Apple, который привёл к любопытному результату: для возвращения делистнутых приложений таки можно обойтись без кабеля и муторной подготовки. И даже второе устройство оказалось вовсе необязательным — все шаги можно воспроизвести на одном iPhone/iPad. Каждый этап итогового решения проверялся на iOS 17.3.1, 26.5.2, 27.2.1 и iPadOS 26.7.1.

Содержание

  1. Начало

  2. Снимаем с алгоритмов яблочную кожуру

  3. Убеждаем Apple, что это MacBook

  4. Собираем пропуск в App Store

  5. Составляем список пропавших приложений

  6. Скачиваем и готовим установочные файлы

  7. Пробуем установить .ipa через Safari

  8. Знакомим системный установщик с собственным сервером

  9. Обходимся одним iPhone/iPad

  10. Выводим исследование из лаборатории

1. Начало

Отправной точкой стали открытые проекты похожего назначения, в т.ч. утилита ipatool, откуда были заимствованы некоторые подходы, за что отдельное спасибо авторам. В этих проектах типичный путь начинается с получения истории “покупок” аккаунта (Apple относит сюда и первые загрузки бесплатных приложений). При определенной подготовке в ней видны делистнутые приложения и данные для формирования запросов на получение установочных файлов .ipa (архивов .zip с приложением и служебными данными), в т.ч. можно “выбрать” конкретную версию приложения; после скачивания и некоторых манипуляций становится возможно установить приложения на конечное устройство — вопрос, каким образом! В изученных реализациях получение делистнутых приложений включает вычисление криптографических значений с помощью бинарных компонентов Apple: напр., соотв. модули из Apple Music загружаются через слой совместимости, а фрагменты машинного кода из iTunes или macOS исполняются через эмулятор (Unicorn и др.). При этом нередко используются устаревшие версии оных.

Использование “яблочных” бинарников противоречило нашим исходным требованиям, поэтому было решено выяснить, какие вычисления эти компоненты выполняют для запросов, и восстановить их на чистом golang. Самостоятельная реализация позволила бы более гибко управлять обменом и, что более важно, отказаться от исполнения оригинального машинного кода Apple (неудобного, тяжелого и платформозависимого).

Вооружившись свежими (по возможности) бинарниками клиентов Apple, было решено изучить их https-трафик, чтобы выяснить актуальные адреса/параметры нужных “ручек” и порядок запросов. Через Frida из клиентских процессов были извлечены секреты tls-сессий: они позволяли видеть расшифрованные http-обмены в Wireshark. В заголовках расшифрованных http-обменов обнаружились меняющиеся данные устройства и криптографические подписи, а в телах — непонятные бинарные блоки. Чтобы научиться получать эти значения самостоятельно, трафик был сопоставлен с кодом Apple для macOS, Android и Windows. Искались общие вычисления и границы функций. Заодно было проверено, не окажется ли одна из сборок проще для анализа и/или более изолированной от системного окружения. Адреса и порядок запросов удалось выяснить; генерацию криптографических значений ещё предстояло восстановить. Для анализа использовались в том числе следующие образцы:

Объект

Платформа

Что исследовалось

Configurator 2.21

macOS

Вход, подписи запросов, получение списка приложений и скачивание .ipa

App Store

macOS

Данные аккаунта и история “покупок”

AuthKit и AppleMediaServices (AMS); службы аутентификации и аккаунтов: akd, accountsd, amsaccountsd и др.

macOS

Аутентификация (AuthKit), работа с медиасервисами и App Store (AMS), взаимодействие служб и передача данных между этапами входа

iTunes 12.8.3 и CoreADI 4.19

macOS, x86-64

Первичная подготовка состояния устройства и вычисление данных для заголовков запросов

Устаревшие StoreAgent, CoreFP и CommerceKit — компоненты App Store и защиты контента

macOS, x86-64

Преобразования key material и форматы данных FairPlay — системы Apple для защиты и лицензирования контента

Устаревший Apple Music

Android, 32-битный ARM (armeabi-v7a)

Вычисление данных устройства и криптографические преобразования; поиск функций для изолированного запуска

Устаревшие CoreADI и CoreFP из дистрибутивов iTunes и Apple Application Support

Windows; CoreADI: x86; CoreFP: x86 и x86-64

Сопоставление интерфейсов и поиск совпадений в форматах данных

2. Снимаем с алгоритмов яблочную кожуру

Для статического анализа использовалась Ghidra — она помогала разбирать машинный код и получать псевдокод. К сожалению, из-за обфускации по декомпиляции было трудно восстановить даже границы криптографических операций. В частности, control-flow flattening превращал исполнение в переходы между множеством мелких блоков через общий диспетчер. Очередной блок выбирался по закодированному состоянию и таблицам косвенных переходов. Внутри самих блоков разбор усложняли кодировки данных. На некоторых участках вычисления были представлены сетью таблиц с кодировками промежуточных байтов. Кроме того, приходилось сокращать цепочки XOR, сложений, сдвигов, взаимно обратных кодировок и т.п. По одному виду таблиц определить алгоритм было нельзя.

Чтобы выяснить, что же вычисляет этот код, оригинальные x86-64- и ARM32-фрагменты исполнялись в эмуляторе Unicorn с перехватом входов, выходов и обращений к памяти. По полученным трассам была восстановлена цепочка зависимостей от результата к входным данным. Это помогло отделить полезные вычисления от операций, обслуживающих диспетчер и кодировки. Чтобы связать выделенные вычисления с реальным обменом Apple, трассы сопоставлялись с расшифрованным трафиком: откуда пришло поле, как формировалась подпись запроса, что изменилось после ответа сервера. Дальнейший разбор показал, что за частью таких таблиц скрывался AES, реализованный приёмами white-box cryptography. В других местах обнаруживались его обычная реализация в режиме CBC и другие стандартные криптографические примитивы.

Переносить всё это вручную на чистый golang было бы сомнительным удовольствием. Поэтому были написаны скрипты, которые извлекали вычисления из трасс и генерировали код для их проверки и упрощения. Напр., представление одного преобразования key material занимало 69’284 строки. После сокращения взаимно обратных кодировок осталось всего лишь 48 строк и небольшой набор индексов. Такое “сжатие” косвенно показывает, насколько сильно обфускация раздувала код в этом фрагменте.

Чтобы наши “сокращения” не превратились в подгонку под один захват, результаты сравнивались с оригиналом на синтетических входных данных (включая граничные значения). Небольшие байтовые преобразования иногда проверялись брутфорсом, часть выражений — SMT-проверками эквивалентности. Unicorn был только инструментом исследования: восстановленные вычисления на golang выполнялись уже без него. Сокращение лишних операций заодно ускорило криптографическую часть; оставалось объединить восстановленные вычисления в рабочую цепочку входа.

3. Убеждаем Apple, что это MacBook

В изученных сторонних клиентах встречался такой способ входа: обычный пароль (при необходимости — вместе с кодом 2FA) передавался в запросе с криптографической подписью SAP (механизм Apple для подписывания запросов). Однако было решено воспроизвести цепочку входа современных клиентов Apple на macOS, наблюдавшуюся в Configurator и системных службах аутентификации.

Сопоставление трафика с кодом CoreADI показало, откуда берутся динамические поля http-заголовков. Их готовит ADI — механизм Apple для вычисления криптографических данных устройства. Для этого перед входом выполняется provisioning — первичная подготовка состояния устройства: программа Apple обменивается с серверами служебными сообщениями и создаёт локальную запись, из которой затем вычисляются поля запросов. При сравнении этих записей выявились два отдельных состояния: IdMS для аутентификации и AMD для App Store и других медиасервисов Apple. Их форматы и вычисления различались, поэтому восстановить пришлось оба. В запросах присутствовала device identity — совокупность идентификаторов и других сведений об устройстве. Для такого обмена требовались, в т.ч., модель MacBook (iMac, вероятно, тоже подошёл бы, но не рассматривался), версия macOS, UUID установки и связанный GUID. При этом переносить идентификаторы с настоящего MacBook не нужно: их удалось создать программно с сохранением согласованности между IdMS, AMD и последующими запросами. Так удалось воспроизвести профиль устройства без реального MacBook. Восстановленный ADI позволил получить заголовки X-Apple-I-MD, X-Apple-I-MD-M, X-Apple-I-MD-RINFO, X-Apple-AMD, X-Apple-AMD-M и др. За этими заголовками стоят состояние provisioning, идентификатор машины, время, счётчики и криптографические преобразования.

С заголовками удалось разобраться, но в запросе на вход в App Store (POST /auth/v1/native) поле password отличалось от введённого пароля. Разбор предшествующих обменов привёл к GrandSlam — протоколу аутентификации Apple. Он использует srp с 2048-битной группой и SHA-256, включая варианты подготовки пароля s2k и s2k_fo. После получения соли и числа итераций программа Apple вычисляет производное значение пароля, обменивается с сервером srp-доказательствами, проверяет доказательство сервера и согласование параметров, затем расшифровывает данные сессии. Любопытный факт: в браузерном входе на сайте Apple ID тоже наблюдались публичное srp-значение A и варианты s2k/s2k_fo — признаки похожей схемы (сам браузерный протокол глубоко не разбирался).

В расшифрованных данных сессии нашёлся PET (Password Equivalent Token) — временный токен Apple, заменяющий пароль в запросе на вход в App Store. Кстати, при включённой 2FA для новой device identity код обычно требуется только при первом входе. Он подтверждается отдельным запросом; повторный srp-обмен даёт PET. В исследованных ответах срок действия PET составлял порядка пяти минут. После подтверждения Apple считает устройство доверенным; в проверенном сценарии оно отображалось в списке устройств Apple ID как обычный MacBook. Так удалось воспроизвести аутентификацию от имени MacBook, но сессию App Store ещё предстояло получить (любопытно, что это разные вещи).

4. Собираем пропуск в App Store

Разбор запроса на вход показал, что помимо PET требуется X-Apple-ActionSignature — подпись SAP, механизма Apple для создания криптографической сессии и подписывания запросов. Чтобы воспроизвести подпись, пришлось разобрать предварительный обмен SAP setup и проследить её формирование в оригинальном клиенте. В составе подписи обнаружился envelope — блок служебных данных, собранный при подготовке SAP-сессии и отправляемый Apple с каждым подписанным запросом. В пределах одной сессии он остаётся неизменным, а nonce меняется при подписывании. Тело запроса записано в .plist (Property List) — формате Apple для структурированных данных. Тег подписи SAP вычисляется по точным байтам сериализованного тела с использованием SHA-1 и двух операций AES Decrypt. Поэтому подписывать нужно те байты, которые будут отправлены Apple.

Отдельной проблемой оказался credential — 256-байтный криптографический блок, который программа Apple готовит для включения в envelope. В анонимном SAP setup проходили даже случайные байты, но полноценный вход с ними не работал. Проверка с credential оригинального клиента дала сессию, поэтому поиск сузился до генератора этого блока. Трассировка выявила два 128-байтных блока, каждый из которых проходит семь раундов сети Фейстеля с собственной функцией преобразования. Восстановленный генератор был сверен по промежуточным значениям и полному результату оригинала. При разборе генерации случайных данных также встретился MT19937 — генератор псевдослучайных чисел. Но обычная реализация с буферизацией здесь давала другую последовательность. Сверка с оригиналом показала, что исследованный вариант обновляет весь массив состояния из 624 32-битных значений при извлечении каждого числа. В других полях, где проверка подтвердила значимость только формата случайных данных, хватило crypto/rand. Для криптографических примитивов, напр. AES, RSA-OAEP, HMAC, PBKDF2 и хешей, были выбраны стандартные реализации; нестандартные преобразования пришлось сохранить.

Для итогового запроса на вход в App Store понадобились также адреса серверов Apple и параметры обмена. Их удалось получить из bag — набора “настроек” для AppleMediaServices (AMS), системного компонента для работы с App Store и другими медиасервисами Apple. С этими настройками цепочка наконец заработала и стала возвращать сессию для App Store. Восстановленная реализация на golang успешно отправляла запросы от имени MacBook с macOS (не сама, конечно — таковы были заданные параметры). Теперь выполнять такой “обмен” можно на любой из платформ, перечисленных в требованиях к задаче в начале статьи.

png
Восстановленная цепочка входа

В целом, для работы хватает корректных http-заголовков (включая cookies) и тела запроса, если оно предусмотрено. Для каждого этапа обмена были заданы User-Agent и остальные заголовки, а для cookies было настроено сохранение между запросами. Однако, “для порядка”, был воспроизведён и tls ClientHello через uTLS, чтобы точнее имитировать оригинальный клиент и снизить риск проблем со стороны Apple (включая возможные блокировки). Ближе всего к оригинальному ClientHello оказался встроенный в uTLS профиль Safari — HelloSafari_26_3. Для native-входа и запросов службы accountsd было скорректировано расширение supported_versions, а для исследованного обмена AuthKit в alpn оставлен только http/1.1. Настало время проверить историю “покупок”.

5. Составляем список пропавших приложений

В расшифрованном трафике Configurator обнаружились запросы списка приложений через daap — протокол Apple для доступа к медиаданным. Поскольку так работал штатный клиент Apple, было решено воспроизвести этот обмен. К сожалению, список там оказался неполным: в Configurator отсутствовали делиснутые приложения. Зато нужные записи сохранились в истории “покупок” в настройках аккаунта у приложения App Store на macOS, где их можно просматривать по годам. Чтобы получить эту историю программно, пришлось отдельно разобрать трафик самого App Store. Так был найден API на ph2.itunes.apple.com. Запрос GET /settings возвращает доступные годы, а POST /purchaseHistory — страницы истории. Для обработки страниц был написан код, который отбирал приложения iOS/iPadOS и объединял повторные “покупки” по adamId — идентификатору приложения в App Store.

Оставалось выделить из истории те приложения, которые уже недоступны в App Store (в текущем виде там все перемешано). Для сверки подошёл публичный запрос Apple GET /lookup: он ищет приложения по ID в App Store для выбранной страны . Разность истории и его выдачи стала рабочим признаком: Делиснутые приложения = история “покупок” − текущая выдача lookup.

6. Скачиваем и готовим установочные файлы

Для получения ссылки на .ipa и лицензионных данных весьма кстати пришелся запрос Configurator к DownloadDispatch — сервису Apple, адрес которого нашёлся в AMS bag. Поэтому в восстановленной цепочке используем оба обмена: история “покупок” — по образцу App Store, запрос загрузки — по образцу Configurator.

Разбор запроса показал, что одного ID приложения для скачивания недостаточно. Помимо сессии App Store и данных устройства требовался kbsync — криптографический блок Apple, связанный с аккаунтом и устройством. Для его воспроизведения были исследованы вызовы StoreAgent и CoreFP на macOS и сопоставлены входные данные с готовыми блоками. Это позволило восстановить генератор блока длиной 196 байт. В вычислениях участвуют шестибайтный аппаратный идентификатор устройства, DSID (внутренний числовой идентификатор аккаунта Apple) и случайные поля. В обфусцированной цепочке удалось выделить получение ключа, AES-CBC и HMAC-SHA1; часть стадий была сведена к стандартным примитивам. С восстановленным kbsync удалось повторить запрос к DownloadDispatch. Ниже показана часть его полей; токены и бинарные значения опущены:

POST /WebObjects/DownloadDispatch.woa/wa/ent/download

Заголовки:
  X-DSID, X-Token, X-Apple-Store-Front
  X-Apple-AMD, X-Apple-AMD-M
  Cookie, User-Agent, ...

Тело .plist:
  salableAdamId
  guid
  serialNumber
  kbsync
  externalVersionId   # при выборе конкретной версии

Однако, HTTP 200 ещё не гарантирует получения ссылки на .ipa: в ответе может прийти заголовок X-Apple-AMD-Action с требованием обновить состояние AMD. Для таких ответов была добавлена обработка трёх действий: SP требует provisioning, SM — синхронизации, RP — сброса с восстановлением. Напр., в одной из проверок пришёл SP; после provisioning и обновления AMD повторный запрос прошёл успешно. Успешный ответ содержал URL пакета на CDN и SINF — лицензионные данные FairPlay для устанавливаемого приложения. Сам архив удалось скачать по этой ссылке отдельным GET с тем же профилем запросов Configurator, что использовался для DownloadDispatch.

Хотелось бы ещё иногда скачивать конкретные версии (а не только последнюю) для заданных приложений. И это можно сделать — через поле externalVersionId, и даже список версий мы можем получить. Но проблема в том, что это будут некие внутренние идентификаторы Apple, и они ничего не говорят о “человеческих” номерах версий. К счастью, в каждом .ipa есть информация которая помогает установить соответствме между ними, а также получить минимальную версию iOS/iPadOS где приложение запустится. Но загружать все сборки целиком ради этих сведений было бы слишком затратно. Помогло чтение только “нужных” частей удалённого архива .zip через http range вместо полной загрузки. Это позволяет прочитать таблицу файлов архива, найти главный файл свойств приложения /Payload/*.app/Info.plist (путь от корня .ipa) и запросить его отдельно. Так удалось извлечь номер версии CFBundleShortVersionString, номер сборки CFBundleVersion и минимальную версию ОС MinimumOSVersion.

Перед установкой скачанный .ipa требовал подготовки: в архиве по URL из DownloadDispatch не оказалось SINF и /iTunesMetadata.plist — файла метаданных App Store. Поэтому был написан код, который разбирал .plist-ответ на уже описанный авторизованный POST к DownloadDispatch, извлекал готовые SINF из поля sinfs и формировал /iTunesMetadata.plist из поля metadata. Порядок подготовки .ipa подсказали существующие загрузчики: добавление выданных Apple SINF в архив уже применялось в открытых проектах, по их подобию было реализовано добавление выданных лицензий и метаданных. Сертификат разработчика для такой подготовки не нужен.

Следует отметить существенное ограничение: SINF запрашиваются у Apple от имени аккаунта, в истории “покупок” которого есть соответствующие приложения. Восстановление клиентских алгоритмов не позволяет самостоятельно выпускать новые лицензии: их подлинность обеспечивается криптографической защитой FairPlay и цифровыми подписями Apple, а необходимых закрытых ключей подписи на клиенте нет. При этом, получить из App Store делистнутые приложения вне истории “покупок” используемого аккаунта проверенным способом нельзя, даже зная их ID.

7. Пробуем установить .ipa через Safari

Как известно, готовый .ipa можно установить на iPhone/iPad по кабелю, но в начале статьи было поставлено условие обойтись без него. Напр., неофициальный “проводной” установщик ideviceinstaller использует такой стек связи с устройством: usbmux передаёт соединения поверх usb, протокол Lockdown отвечает за сопряжение и запуск служб, а служба com.apple.mobile.installation_proxy принимает команды установки. В Windows, среди прочих, AltServer требует установки iTunes с его usb-драйвером и Apple Mobile Device Service — фоновой службой связи с устройствами. Для восстановления приложений всё это выглядело слишком громоздкой подготовкой со сложными зависимостями. Поэтому были изучены альтернативные способы установки. В документации Apple по распространению корпоративных приложений был описан механизм ota-установки через ссылки. В этой цепочке есть т.н. “манифест” — файл .plist с описанием приложений и адресами пакетов. Причём пакетов может быть несколько: позже это пригодится для установки целого набора приложений по одной ссылке. Схема itms-services:// позволяет передать манифест системному установщику:

itms-services://?action=download-manifest&url=<https URL манифеста после percent-encoding>

После этого было решено попробовать сформировать свой манифест и открыть установочную ссылку itms-services:// в Safari. Это штатный браузер iOS/iPadOS, поэтому установка ещё одной программы для запуска ссылки не нужна. Надо заметить, что подобный механизм используют и другие ota-инструменты, напр. Asspp. Для исходных .ipa из App Store с их SINF и подписями предстояло найти путь из Safari без внешнего https-сервиса и ручной настройки доверия сертификатам: целью была полностью локальная установка.

В поисках способа раздачи .ipa были перебраны многие встроенные локальные сетевые службы iOS, в т.ч. AirPlay — механизм Apple для передачи медиа между устройствами. Выяснилось, что в таком сеансе системный плеер мог открывать http-доступ к локальному файлу. В качестве эксперимента в штатном приложении “Файлы” был открыт медиафайл, а при работающем плеере вместо него по тому же пути был помещён .ipa. После настройки AirPlay-приёмника и управляющего обмена подмена сработала: пакет удалось прочитать обычным GET. Однако раздача зависела от хрупкого и нестабильного состояния AirPlay-сеанса и удержания протокольных соединений, поэтому эта ветка была отложена как слишком сложная для задачи “просто отдать файл”. До завершённой установки через AirPlay эксперимент не доводился (хотя, вполне вероятно, этого можно достичь — вопрос лишь в том, какой ценой).

Вместо раздачи файла также была проверена установка с манифестом и .ipa прямо внутри URI. Прямые попытки передать манифест по http или через data:// заканчивались сообщением о недействительном сертификате. Формулировка сбивала с толку: у data:// вообще нет сервера с сертификатом. Чтобы выяснить причину такого отказа, пришлось разобрать код установщика. Из официального образа iOS 17.3.1 были извлечены и исследованы itunesstored и appstored — системные службы App Store и установки приложений. При разборе обработчика download-manifest была найдена внутренняя задача загрузки манифеста UPPManifestDownloadTask: она сравнивала схему исходного URL с https ещё до сетевого запроса и чтения документа .xml. Другая схема давала некую ошибку 854; в окне ошибки системного установщика iOS “виноватым” оказывался сертификат.

Проверка исходного URL навела на мысль: начать с https-ссылки, которая затем перенаправит установщик на data://. Для проверки был подготовлен собственный внешний https-редиректор с валидным сертификатом и фиксированным ответом HTTP 302 на data://. Был написан генератор, который помещал манифест в data://, а в поле software-package.url вкладывал вторую такую ссылку с целым .ipa в Base64. Чтобы не передавать пакет редиректору, документ .xml с вложенным .ipa переносился во фрагмент URL — часть адреса после #, которая не передаётся http-серверу. Здесь пригодилось стандартное правило обработки http-перенаправлений: если в заголовке Location нет нового фрагмента, клиент сохраняет исходный при переходе. В исследованной цепочке системный обработчик data:// включал фрагмент в декодируемые данные. Для сохранения корректного .xml генератор помещал разделитель # в комментарий (своего рода xml-инъекция). Поэтому внешний редиректор получал только запрос к фиксированному адресу и сетевые метаданные соединения; содержимое манифеста и .ipa ему не отправлялось.

Опыт подтвердил что исходный https-адрес редиректора проходит проверку схемы, после чего установщик может прочитать вложенные данные. Получилась первая успешная локальная установка небольшого пакета прямо из ссылки! В одной из попыток удалось установить .ipa размером аж около 64 МБ. К сожалению, для больших пакетов этот вариант оказался нереалистичным (честно признаться, это было понятно с самого начала, но было любопытно попробовать): base64 и несколько уровней percent-encoding раздували строку, а на длинных URI наблюдались заметные задержки, иногда — отказы и перезагрузки страницы. Возможно, от внешнего редиректора удалось бы избавиться, но ограничения передачи полного .ipa внутри URI бы сохранялись. Поэтому эту ветку исследований было решено прекратить как бесперспективную для универсальной установки; уточнение предела длины и передача пакета частями через несколько ссылок дальше не развивались. Опыт с data://, в целом, подтвердил локальную (не считая редиректора) установку .ipa через Safari, оставалось наладить удобную локальную раздачу.

8. Знакомим системный установщик с собственным сервером

Что ж, предстояло выяснить, какой https-сертификат примет системный загрузчик при прямом скачивании манифеста (пока что мы пробовали только “настоящий”). Для этого в коде установщика была изучена обработка serverTrust — запроса на проверку доверия сертификату сервера. В исследованной ветке объект NSURLCredential создавался через credentialForTrust и передавался с действием useCredential в обработчик завершения. Между этими действиями не было явного вызова функции проверки доверия SecTrustEvaluate, поэтому закралось подозрение: https нужен, но самоподписанный сертификат, вероятно, вполне подойдет.

Для проверки был запущен локальный сервер с раздачей манифеста по https и автоматически создаваемым самоподписанным сертификатом. Результат не заставил себя долго ждать: ссылка на манифест из Safari была успешно “принята” системным загрузчиком, и он показал предложение на установку. Однако при попытке скачивания самого .ipa (ссылка на который была указана внутри манифеста) по https установщик уже проверял доверие сертификату.

Хм, возможно, https обязателен только для манифеста, а пакет можно отдать по обычному http? На локальном сервере была настроена раздача по такой схеме, и проверка подтвердила предположение: установщик скачал .ipa и установил приложение. Короче говоря, сопоставление загрузки манифеста и самого .ipa показало, что к этим адресам предъявляются разные требования:

Что загружается

Схема URL

Проверка сертификата

Манифест через itms-services://

Только https

Достаточно самоподписанного сертификата

.ipa по ссылке из манифеста

Допускается plain http

При https проверяется доверие к сертификату

Манифест для такой установки выглядел примерно так:

<dict>
  <key>items</key>
  <array>
    <dict>
      <key>assets</key>
      <array>
        <dict>
          <key>kind</key><string>software-package</string>
          <key>url</key><string>http://{server-ip}:{http-port}/example.ipa</string>
        </dict>
      </array>
      <key>metadata</key>
      <dict>
        <key>bundle-identifier</key><string>org.example.app</string>
        <key>bundle-version</key><string>123</string>
        <key>kind</key><string>software</string>
        <key>title</key><string>Example</string>
      </dict>
    </dict>
  </array>
</dict>

В полном документе этот словарь обёрнут в <plist>; записи приложений перечисляются в массиве items.

Дальнейшие эксперименты показали, что на один iPhone/iPad можно устанавливать приложения с разных аккаунтов Apple, если пакеты совместимы с устройством (в том числе по минимальной версии ОС) и содержат действительные SINF и подписи, которые проверяет система — это замечательная новость. При этом, разбор .ipa выявил, что при передаче файла, напр. друзьям, получателю доступны и личные данные аккаунта. Сами по себе эти сведения не позволяют войти в аккаунт Apple, однако делиться такими пакетами стоит осторожно. Поэтому при подготовке новых скачанных пакетов была добавлена очистка /iTunesMetadata.plist: из него удаляются логин Apple ID (почта или телефон), имя владельца, полный ID аккаунта, блок сведений о покупателе, дата “покупки” и служебное поле storeCohort. Однако в открытой части SINF остаются имя и фамилия владельца, а также младшие 32 бита ID аккаунта. Очистка метаданных уменьшает раскрытие личных данных получателю файла, но полной анонимности не даёт.

Как мы видим, мы достигли полностью локальной установки .ipa файлов, даже без обращения к серверам Apple (соотв., и без входа в аккаунт).

9. Обходимся одним iPhone/iPad

Сервер на отдельном устройстве уже позволял устанавливать приложения без кабеля. Но в начале статьи была поставлена цель обойтись одним iPhone/iPad, поэтому предстояло перенести сервер на само устройство. Здесь нужно было решить две задачи: найти способ для запуска сервера и сохранить его фоновую работу при переходе в Safari. После сворачивания приложения операционная система обычно вскоре приостанавливает его выполнение, и сервер перестаёт отвечать на запросы.

Что касается нативного запуска, то это вам не Android: здесь требуется подпись исполняемого кода, причём с сертификатом от самой Apple — самостоятельно выпущенный не подойдёт. При этом публикация нашего “установщика” в App Store выглядит невероятной: пункт 2.5.2 правил ограничивает скачивание, установку и исполнение кода, включая другие приложения.

Что ж, было решено присмотреться к iSH, который уже есть в App Store и исполняет Linux-программы для 32-битного x86. Для этого среда эмулирует процессор и транслирует системные вызовы. Одним из аргументов в пользу iSH был небольшой размер: у самого приложения в App Store указано менее 6 МБ. Другие среды эмуляции были заметно крупнее: напр., для UTM SE там указано ~1.7 ГБ. Для пробы собственный сервер на golang был собран под тамошний linux/386 и… вполне успешно запущен в iSH на iOS/iPadOS без отдельного .ipa. Никаких “подписей” и прочего не понадобилось.

Теперь, казалось бы, оставалось пережить переключение в Safari и дело в шляпе. По этому случаю прямо в документации iSH нашёлся механизм фоновой работы через /dev/location. При разрешённом доступе к геолокации открытый файловый дескриптор позволяет продолжать работу после сворачивания терминала. Поэтому в наш сервер был добавлен код, который открывает этот файл и держит его открытым; разумеется, координаты он не читает, не сохраняет и не передаёт. Дальнейшие проверки показали, что сервер продолжал успешно работать в фоне длительное время и не останавливался даже при блокировке экрана. Бессрочную работу это не гарантирует, но переключение в Safari перестало останавливать сервер.

Но запустить сервер и сохранить фоновую работу оказалось недостаточно, ждал новый сюрприз: при загрузке https-манифеста по собственному локальному ip устройства установщик выдавал ошибку вида “Не удается подключиться к {server-ip}”. При этом, тот же адрес прекрасно открывался в Safari, а в логах сервера не было даже попытки подключения от установщика (что намекает на некую статическую проверку). Не подходили ни loopback, ни адрес wi-fi-интерфейса. Перебор форм записи тоже не помог: проверялись, в т.ч., ipv4-mapped ipv6, сокращённые и полные записи ipv6, другие нотации ipv4 и percent-encoding. При этом “отказ” касался только адреса манифеста: обычные http-ссылки на .ipa внутри него работали нормально на том же девайсе. Примечательна и перекрёстная проверка: с другого iPhone контрольное приложение устанавливалось с того же сервера по тому же ip wi-fi-интерфейса, который не подходил самому телефону-серверу. Выходит, при загрузке манифеста установщик Apple ещё до попытки соединения проверяет, принадлежит ли ip самому устройству, — вполне вероятно, чтобы пресечь ту самую деятельность, которую мы пытаемся осуществить.

Спустя некоторое время решение нашлось: доменное имя вместо голого ip в адресе манифеста, которое разрешалось в тот же локальный ip телефона, позволяло обойти эту проверку. Ссылку на .ipa внутри манифеста, как было сказано выше, при этом менять не потребовалось. Вопрос только в том, а где же взять какое-то доменное имя, которое бы резолвилось установщиком в то что нам надо. К счастью, в системе обнаружился уже включённый по умолчанию механизм: Bonjour — служба обнаружения устройств и сервисов через mdns, с открытой реализацией Apple. Для проверки в адрес манифеста было подставлено имя самого устройства вида {bonjour-name}.local. Установка снова работала! Системный резолвер возвращал локальный адрес, и у установщика никаких вопросов уже не возникало.

Оставалось получать это имя из iSH автоматически. Тамошний hostname возвращает localhost; полноценного списка сетевых интерфейсов iOS из этой среды тоже не получить. Попытки обратиться к mdns через multicast закончились ошибками маршрута и/или настроек сокета. Но зато системная mdns-служба ответила на прямой udp-запрос через loopback, и это было замечательно. Поэтому был написан код, который отправляет обратный dns-запрос (PTR) для loopback-адреса, извлекает из ответа имя .local и проверяет его разрешение обратно в loopback по записям A/AAAA. Таким образом, угадывать имя телефона или просить пользователя вводить его не понадобилось. Стоит заметить, что в тестах было получено имя независимо от подключения к wi-fi на телефоне (мало ли).

png
Локальное получение Bonjour-имени и два запроса установщика: манифест по https, затем .ipa по http

Итак, полный цикл, включая раздачу манифеста и .ipa удалось замкнуть внутри одного iPhone/iPad. Похоже, цели, задекларированные в начале статьи, достигнуты. Следует заметить, что некая “эмуляция” в режиме iSH на iOS/iPadOS всё же остаётся: она нужна для выполнения собственного сервера на golang, заранее собранного под архитектуру этой среды. Однако, оригинальные бинарные компоненты от Apple наш сервер не загружает и не исполняет. При этом на остальных платформах сборки под архитектуру устройства запускаются нативно, без эмуляции, в т.ч. на Android через Termux.

Кстати, над скоростью в iSH пришлось основательно поработать: профилирование показало, что много времени уходит на вычисления tls и повторное сжатие файлов при подготовке .ipa. Для ускорения tls были переработаны самые затратные вычисления. В контролируемых загрузках скорость выросла на порядок при прежних параметрах tls и проверках подлинности данных. Подготовку .ipa удалось ускорить за счёт переноса неизменённых файлов без повторного сжатия, с проверкой целостности; эта оптимизация применяется на всех платформах.

10. Выводим исследование из лаборатории

Ручная подготовка запросов к Apple, модификация .ipa и настройка локальной раздачи плохо сочетались с исходным требованием простоты. Поэтому восстановленные протоколы и вычисления были собраны в ядро на golang, а над ним была разработана обвязка в виде веб-интерфейса. Серверная часть и веб-интерфейс собраны в один бинарник. Сборки работают на Windows, macOS, Linux, Android через Termux и iOS/iPadOS через iSH (в т.ч. в режиме одного устройства).

png
Сервер предоставляет веб-интерфейс, локальную библиотеку и раздаёт файлы системному установщику

Исходный код вышеописанного добра и инструкция по использованию доступны на GitHub.

Спасибо за внимание!
С уважением,
Петр.