тестфлайт что это такое

Сервисы дистрибуции мобильных приложений для iOS. Часть 1: TestFlight

С каждым годом становится всё очевиднее, что для распространения тестовых версий iOS-приложений нужны специализированные сервисы. Это актуально не только для компаний, занимающихся разработкой приложений в “промышленных масштабах”, но и для инди-разработчиков. Причины: увеличение количества устройств с “нестандартным”/”не кратным” размером экрана, отличия в архитектуре центрального и графических процессоров — всё то, что раньше было повседневностью для разработки под Android, теперь становится справедливым и для iOS.

Исторически самым популярным сервисом дистрибуции являлся TestFlight — практически идеал, как в техническом отношении, так и в юзабилити. Однако, после приобретения компанией Apple в начале 2014 года, сервис претерпел ряд неоднозначных изменений, которые с одной стороны сказались негативно на его позиции лидера, а с другой дали шанс альтернативным сервисам побороться за первое место и предложить как минимум равноценную замену, а может быть и что-то более удобное и функциональное.

В своей серии статей я собираюсь поделиться результатами сравнения нескольких сервисов дистрибуции и в результате помочь другим, кто стоит перед таким же вопросом выбора.

Система оценки: сервисы будут оценены по 10-балльной шкале по каждому из разделов (Регистрация и интеграция, Основной функционал, Дополнительный функционал, Continuous Integration). Суммарная оценка позволит определить победителя (итоговое заключение войдет в последнюю часть обзора).

TestFlight от Apple

Регистрация и интеграция

Пользователи из группы Admin обладают теми же правами, что и пользователи группы Technical, а также могут добавлять новых пользователей в список Internal Testers.

На данный момент установка или использование какого-либо специализированного SDK не требуется.

Основной функционал

Если сравнивать новую версию TestFlight с тем, что было доступно разработчикам ранее в рамках стандартных сервисов Apple, то она, в чем-то, несомненно, является шагом вперед. Так, например, количество тестеров увеличено с условных 100 до 1125 (из которых 100 — это доступные и раньше устройства для AdHoc распространения, 25 — это внутренние тестировщики (Internal Testers), а 1000 — внешние (External Testers)), причем если ранее привязка осуществлялась к устройству, то теперь уникальным идентификатором является Apple ID, а значит каждый тестер может проверить работу приложения на всех доступных ему (и, конечно, поддерживаемых приложением) устройствах.

Примечание (от 15 июня 2015): количество устройств, доступных при использовании AdHoc provision profiles с с 8 июня 2015 года было изменено со 100 суммарно, на 100 на каждое семейство устройств (изменение произошло после объявления на WWDC об объединении всех developers programs в одну).

Разница между внутренними и внешними тестировщиками заключается в дополнительном шаге, который добавляется во втором случае: тестовая версия приложения должна быть отправлена для обзора и одобрена специалистами Apple (Beta App Review). Причем первоначальный обзор будет проводиться более тщательно, а все последнующие могут проходить быстрее (но не обязательно). Это, конечно, накладывает определенные ограничения на процесс разработки и требует дополнительного планирования фаз тестирования приложения, с учетом неопределенности сроков прохождения обзора (как и в случае с обычным обзором приложений перед публикацие в AppStore, при отказе в публикации, повторная заявка рассматривается снова в порядке очереди).

Однако есть и некоторые уникальные возможности: так, например, клиент сервиса (приложение TestFlight) единственный, кто наверняка знает статус установки тестовой версии, альтернативные решения попросту не имеют возможности использовать системные функцие, позволяющие реализовать подобное.

Примечание: статус установки — смена индикации процесса установки, привычная пользователям AppStore. Когда поочередно статус меняется Get — Install — Installing — Open. В других сервисах дистрибуции эта цепочка выглядит так: Install — Installing — Install — приложения попросту не знают результат, был ли установлен тестовый дистрибутив или нет. В случае же с Apple TestFlight цепочка имеет привычный вид: Install — Installing — Open.

Иконка обновленного приложения TestFlight (правильнее будет сказать, что это абсолютно новое native приложение, разработанное в Apple). Ниже пример иконки тестовой версии приложения — оранжевая “точка” позволяет определить, что это не версия из AppStore.

“Страховка” Apple от обвинений в распространении спама.

Apple не разрешает загрузку дистрибутивов без изменения версии или номера сборки.

Достаточно лаконичная и понятная страница администрирования версий приложения для тестирования.

Письмо-приглашение для участия в тестировании, HTML-форматирование не слишком оптимизировано для мобильных платформ (справедливости ради, хочу отметить, что приложение Mail отображает такие письма корректно, но письма от других сервисов отображаются нормально и в OWA).

Приложение TestFlight: информация о доступном для тестирования приложении.

Приложение TestFlight единственное умеет определять результат установки тестовой версии (кнопка Install поменялась на Open) — преимущество, полученное с переходом к Apple.

Письмо с отправленным из приложения TestFlight отзывом. Кроме скудного форматирования и невозможности добавить вложения, можно отметить еще один недостаток: отправленные отзывы попадают только в почтовый ящик, в iTunes Connect эта информация не сохраняется и недоступна.

Резюмируя, можно сказать, что обновленная версия TestFlight просто работает. В данный момент она не имеет особых конкурентных преимуществ (речь идёт о функционале, а не неоспоримом преимуществе — принадлежности компании Apple, которое пока в большей мере является потенциалом).

Дополнительный функционал

На данный момент, к сожалению, компания Apple берет только числом, а не умением. Из явного преимущества можно отметить разве что гораздо большее количество бета-тестеров, которое можно задействовать для внешнего тестирования: на порядок больше, чем у всех остальных альтернативных решений (причина ясна: компания сама контролирует условия распространения приложений и имеет преимущество перед решениями третьих сторон).

Обновление (5 мая 2015): с релизом Xcode 6.3 разработчикам стал доступен Crashes Organizer. Новый функционал, несомненно, хороший признак того, что Apple продолжает развивать свои сервисы, но, к сожалению, компания всё ещё отстаёт от других сервисов:

When you open the Crashes organizer, Xcode begins refreshing the crash reports for your apps. Xcode downloads the top crash reports—crash reports with the most number of occurrences on unique devices—that occurred during the past two weeks. However, there may be up to a three day delay between when you first distribute your app and when crash reports are available in Xcode.

Три дня задержки и период архивного доступа в две недели выглядит несколько обескураживающе.

Continuous Integration

Примечание: описанные далее нюансы использования сервисов как части непрерывной интеграции (continuous integration) в данном обзоре подразумевают, что она будет делаться на основе решения, предлагаемого компание Apple. То есть при помощи Mac OS X Server и Xcode bots — подробно на организации такой интеграции я не буду останавливаться, возможно это станет темой для отдельной статьи. Желающие могут ознакомиться с темой самостоятельно, например, обратившись к официальному руководству от Apple.

Каким бы странным это не казалось, но на данный момент не существует возможности для публикации приложений в Apple TestFlight в автоматическом режиме. Я надеюсь, что этот большой недостаток будет исправлен компанией в одном из ближайших крупных обновлений Xcode, тем более что в оригинальном TestFlight такая возможность имелась.

Итого суммарная оценка по всем разделам: 15 баллов.

Источник

Каждому по тысяче: еще раз о Testflight

Трудно отыскать iOS-разработчика, никогда не пользовавшегося для тестирования своих приложений сервисом TestFlight, или хотя бы не слышавшего о нем. Его популярность в феврале этого года подтвердила сама Apple, купив компанию Burstly, благодаря которой в свое время появился TestFlight.

Как известно, Apple не из тех, кто бросает деньги на ветер — 9 сентября Apple представила TestFlight в App Store уже под своим брендом.

До прошлой недели некоторые разработчики могли пользоваться сервисом, скачав приложение, после релиза iOS 8.1 сделала инструментом общедоступным, значительно расширив при этом количество бета-тестеров, которых каждый девелопер может пригласить, разослав им через iTunes Connect приглашения со своего email-адреса.

На сайте Developer Center открылся специальный раздел TestFlight, который официально стал частью инструментария для разработки iOS-приложений и основным ресурсом для бета-тестеров, где они могут прямо из приложения скачивать новые билды тестируемых игр и приложений, и отправлять отчеты. Основные отличия от TestFlight, которым мы пользовались и год, и два назад:

Получив инвайт для бета-тестирования приложения в TestFlight и используя ссылку, тестеры скачивают официальное приложение сервиса из App Store, минуя этапы поиска и отсылки разработчику UDID девайса для участия в тестировании и последующей установки специального профиля на свое устройство. О появлении нового билда тестируемого приложения также уведомит TestFlight (ранее для этой цели использовались сообщения по e-mail).

Разработчик может одновременно тестировать до 10 различных приложений. При загрузке бета-сборки из Xcode добавляем и имена и email будущих тестеров, которых приглашаем в iTunes Connect. Инструкции по подготовке беты и настройки листа тестеров в видеотуториале – здесь и здесь.

Тестеры делятся на две группы: внутренние (25 членов команды и особо доверенных лиц с более широкими техническими полномочиями, каждый может использовать до 10 устройств) и внешние – все остальные.

Как только разработчик счел приложение готовым для внешнего тестирования, он приглашает до 1000 новых тестеров. Возможность открыть тысяче сторонних бета-тестеров доступ к приложению разработчик получает после прохождения Beta App Review, подтверждающего соответствие испытываемой программы App Store Review Guidelines – то есть правила те же, что и для публикаций пользовательских версий приложений. Для тестирования своими силами, разработчик не обязан посылать приложение на Beta App Review.

Чем больше тестеров – тем лучше. Теперь можно тестировать программы с помощью не только довольно узкого круга искушенных экспертов, но и широкой пользовательский аудитории, каждый из которой со своей колокольни способен подсказать то, чего вашему приложению, возможно, как раз остро недостает.

Источник

Тестирование приложений с помощью TestFlight

Начало работы

Для тестирования бета-версий приложений и блиц‑приложений с помощью TestFlight вам необходимо принять приглашение от разработчика по электронной почте или в виде общедоступной ссылки, а также иметь устройство для тестирования приложения. У вас будет доступ только к тем сборкам, которые вам предоставит разработчик.

Если вы участник команды разработчика вам может быть предоставлен доступ ко всем или определенным сборкам.

Требуемые платформы

Доступные языки

Приложение TestFlight для iOS и tvOS доступно на следующих языках: английский (Австралия), английский (Великобритания), английский (США), арабский, венгерский, вьетнамский, греческий, датский, иврит, индонезийский, испанский, испанский (Латинская Америка), итальянский, каталанский, китайский традиционный, китайский упрощенный, корейский, малайский, немецкий, нидерландский, норвежский, польский, португальский, португальский (Бразилия), румынский, русский, словацкий, тайский, турецкий, украинский, финский, французский, французский (Канада), хинди, хорватский, чешский, шведский, японский.

Установка и тестирование бета-версий приложений

Каждая сборка доступна для тестирования в течение 90 дней со дня ее загрузки разработчиком. Оставшийся срок тестирования отображается под названием приложения в TestFlight. TestFlight будет каждый раз оповещать вас о появлении новой сборки вместе с указаниями целей тестирования. В TestFlight 3 или новее можно также включить автоматические обновления, чтобы последние бета-версии сборок устанавливались автоматически.

Установка

Для начала установите TestFlight на устройстве, которое будет использоваться для тестирования. Затем примите приглашение, полученное по электронной почте или в виде общедоступной ссылки, чтобы установить бета-версию приложения. Бета-версию приложения можно установить на 30 устройствах.

Установка бета-версии приложения для iOS или iPadOS с помощью приглашения, полученного по электронной почте или в виде общедоступной ссылки

Установка бета-версии приложения для macOS с помощью приглашения, полученного по электронной почте или в виде общедоступной ссылки

Установка бета-версии приложения для tvOS с помощью приглашения, полученного по электронной почте

Установка бета-версии приложения для tvOS с помощью приглашения, полученного в виде общедоступной ссылки

Установка бета-версии приложения для watchOS с помощью приглашения, полученного по электронной почте или в виде общедоступной ссылки

Тестирование

Тестирование приложений для iMessage (в iOS либо iPadOS 10 или новее)

Тестирование бета-версий блиц-приложений (в iOS либо iPadOS 10 или новее)

Приняв приглашение на участие в тестировании приложения, полученное по электронной почте или в виде общедоступной ссылки, вы увидите в TestFlight возможность протестировать блиц-приложение. Вы можете установить на устройстве приложение или блиц-приложение (но не оба сразу) и в любой момент заменить одно другим. Если на вашем устройстве установлено приложение, во время тестирования блиц-приложения такое приложение будет заменено, часть его данных может быть утеряна. Приложение можно установить заново, нажав «Установить» на странице приложения в TestFlight.

Управление автоматическими обновлениями

После установки TestFlight 3 или новее для iOS, iPadOS или tvOS либо TestFlight для macOS вы получите предложение включить автоматические обновления. Это позволит автоматически устанавливать последние доступные бета-версии сборок. Вы будете получать уведомления в TestFlight об установке новых сборок на устройстве. Автоматические обновления можно отключить в любой момент.

Используйте TestFlight для изменения настроек автоматического обновления для тестируемых бета-версий всех приложений.

Примечание: эта настройка применима ко всем новым сборкам бета-версий приложений. Бета-версии приложений, для которых автоматические обновления настроены на уровне отдельных приложений, затронуты не будут.

TestFlight для iOS или iPadOS

TestFlight для macOS

TestFlight для tvOS

Используйте TestFlight для изменения настроек автоматического обновления для тестируемых бета-версий отдельных приложений.

TestFlight для iOS или iPadOS

TestFlight для macOS

TestFlight для tvOS

Тестирование сборок, относящихся к предыдущим версиям и группам сборок

При просмотре приложения в TestFlight по умолчанию отображается последняя доступная сборка. Однако вы можете тестировать и любые другие доступные сборки.

Если на устройстве уже установлена версия из App Store приложения, эту версию заменит бета-версия приложения. После загрузки бета-версии рядом с названием приложения появится оранжевая точка, указывающая на то, что это бета-версия.

Если вы примете приглашение TestFlight, полученное в виде общедоступной ссылки, ваше имя и адрес электронной почты не будут видны разработчику. Однако он сможет видеть количество сеансов и сбоев, день установки приложения и последнюю установленную версию.

TestFlight для iOS и iPadOS

TestFlight для macOS

TestFlight для tvOS

Отправка отзывов

Во время тестирования бета-версии приложения или блиц‑приложения вы можете отправить разработчику отзыв об обнаруженных проблемах или рекомендации на основании содержимого поля «Что тестировать». Информация, отправленная через форму обратной связи в приложении TestFlight, также будет передана в Apple в соответствии с условиями сервиса TestFlight.

Приложения для iOS, iPadOS или macOS

Вы можете отправить отзыв через приложение TestFlight или непосредственно через бета-версию приложения или блиц‑приложения, сделав снимок экрана, и сообщить о сбое, когда он произойдет. Если вы присоединились к тестированию с помощью общедоступной ссылки, вы можете не предоставлять адрес электронной почты или иную персональную информацию разработчику. Apple будет также получать все отправленные вами отзывы и сможет привязать их к вашему Apple ID.

Отправка отзыва через приложение TestFlight

Для iOS или iPadOS

Для iOS 12.4 или более ранней версии

Если на вашем устройстве установлена iOS 12.4 или более ранней версии, нажмите «Отправить отзыв о бета-версии», чтобы написать электронное письмо разработчику. Сообщение с отзывом содержит подробную информацию о бета-версии приложения и вашем устройстве с iOS. Кроме того, вы можете указать дополнительную информацию, например приложить необходимые снимки экрана и описать шаги, которые требуется повторить, чтобы воспроизвести ошибки. Адрес вашей электронной почты будет виден разработчику при отправке сообщения с отзывом через приложение TestFlight, даже если вы приняли приглашение с помощью общедоступной ссылки.

Примечание. Вы можете перетянуть снимки экрана в текстовое поле обратной связи.

Отправка отзывов через приложение

Сделав снимок экрана во время тестирования бета-версии приложения или блиц‑приложения, вы можете отправить его вместе с отзывом непосредственно разработчику, не прекращая работу с приложением или возможностью блиц‑приложения. Разработчики могут отказаться от получения таких отзывов, поэтому данная опция будет доступна только в том случае, если разработчик ее включил.

Для iOS или iPadOS

Отправка информации о сбоях

При возникновении сбоя во время тестирования бета-версии приложения или блиц‑приложения вы получите уведомление с запросом на отправку сведений о сбое разработчику через TestFlight. Разработчики могут отказаться от получения таких отзывов, поэтому данная опция будет доступна только в том случае, если разработчик ее включил.

Когда отобразится уведомление о сбое для TestFlight для iOS или iPadOS, нажмите «Поделиться». По необходимости добавьте комментарий, затем нажмите «Отправить».

Когда отобразится уведомление о сбое для TestFlight для macOS, нажмите «Сообщить». По необходимости добавьте комментарий, затем нажмите «ОК», «Отправить» или «Открыть повторно».

Приложения для tvOS

Чтобы отправить отзыв о приложении для tvOS, откройте TestFlight, перейдите на страницу приложения, перейдите в раздел «Информация», чтобы посмотреть адрес электронной почты разработчика и отправьте ему сообщение. Укажите максимально подробную информацию, включая снимки экрана и описание шагов, которые требуется повторить, чтобы воспроизвести обнаруженные ошибки. Помните, что ваш адрес электронной почты будет виден разработчику при отправке сообщения с отзывом через приложение TestFlight.

Связь с разработчиком

Если вы хотите связаться с разработчиком во время тестирования бета-версии приложения по причине, не относящейся к отзывам, вы можете просмотреть его адрес электронной почты. Перейдите на страницу приложения в TestFlight, зайдите в раздел «Информация» и нажмите «Подробнее о программе». Там вы увидите адрес электронной почты разработчика.

Отказ от участия в тестировании

Если вы не примете приглашение, отправленное по электронной почте, бета-версия приложения установлена не будет. Тогда вы не попадете в список тестировщиков, а Apple не предпримет никаких действий в отношении вашего адреса электронной почты. Кроме того, вы можете отписаться с помощью ссылки в нижней части письма с приглашением, чтобы уведомить разработчика о желании исключить себя из списка. Если вы приняли приглашение, но больше не хотите участвовать в тестировании приложения, вы можете исключить себя из числа тестировщиков, нажав «Прекратить тестирование» в разделе «Информация» на странице приложения в TestFlight.

Конфиденциальность и персональные данные

Во время тестирования бета-версий приложений или блиц‑приложений в TestFlight Apple будет собирать и отправлять данные о сбоях, ваши персональные данные, такие как имя, адрес электронной почты, данные об использовании, а также все отзывы, отправленные вами разработчику. Информация, отправляемая напрямую разработчику посредством электронной почты, не будет отправляться Apple. Разработчику разрешено использовать эту информацию исключительно в целях улучшения своего приложения и запрещено передавать ее сторонним лицам. Apple может использовать эту информацию для усовершенствования приложения TestFlight.

Apple хранит данные TestFlight в течение 1 года. Для просмотра и управления своими данными, хранящимися у Apple (в том числе переданными через TestFlight), перейдите в раздел Данные и конфиденциальность. Для получения дополнительной информации об обращении разработчика с вашими данными ознакомьтесь с политикой конфиденциальности разработчика. Запросы на получение доступа к вашим данным TestFlight или их удаление направляйте непосредственно разработчику.

Информация, предоставляемая при использовании TestFlight

При использовании TestFlight следующая информация собирается Apple и предоставляется разработчику. Если вы приняли приглашение только с помощью общедоступной ссылки, ваше имя и адрес электронной почты не будут видны разработчику.

Предоставляемые данные при отправке отзыва

При отправке отзыва через приложение TestFlight или отчетов о сбоях или снимков экрана через бета-версию приложения происходит отправка следующей дополнительной информации. Эта информация собирается Apple и предоставляется разработчику. Apple хранит эти данные в течение 1 года.

Источник

И еще немного про сервис тестирования iOS-приложений Test Flight

Спасибо Shmatlay за сегодняшний обзор сервиса Test Flight.
Поскольку в нашей компании мы им тоже пользуемся и достаточно активно, не могу не вставить свои пять копеек по поводу указанного сервиса, основываясь на опыте его эксплуатации.
Если кто-то пропустил указанный пост, кратко поясню, что Test Flight — это сервис, упрощающий тестирование приложений для iOS-устройств путем облегчения процесса сбора кодов тестовых устройств (UDID-ов), а также путем более легкого распространения подписанных для тестеров билдов Вашего приложения. Ну и плюс, можно видеть, сколько раз приложение запускали, сколько раз оно падало, а также получать некоторую отладочную информацию.

1. Прежде всего, для работы большей части описанных выше плюшек необходимо установить TestFlight SDK, который представляет собой библиотечку для введения в Ваше приложение возможностей расширенного логирования и прочего добра. Процесс установки совершенно не сложный и подробно описан вот тут.

2. Для распространения своих приложений между пользователями необходимо будет получить ad-hoc distribution profile, либо если разработки приложения ведется с использованием корпоративной учетки, соответствующий ей [enterprise] distribution profile (не помню, как он точно называется). Следовательно, UDID-ы устройств придется руками брать из писем потенциальных-бетатестеров, идти на сайт developer.apple.com, и регистрировать их для подписи ad-hoc приложения. Тут, к сожалению, от этого никуда уйти не удалось.

3. Как показала практика, приложения, в которых TestFlight SDK не был внедрен, но которые были подписаны UDID-ами тестеров прекрасно рассылаются через сервис тестерам с упомянутыми UDID-ами, так что если Вы по какой-либо причине не хотите, чтобы в Вашем приложении был чужой код (привет, TestFlight SDK!), то вполне можете этот самый SDK не внедрять — тестеры все равно смогут использовать Ваши приложения путем загрузки через сервис.

4. Обращаю особое внимание на то, что посредством ad-hoc распространения приложений и тестирования ad-hoc сборок Вы можете использовать не более 100 UDID-ов в год для приложений подписанных учетной записью индивидуального разработчика. Это напоминание будет полезно для тех, кто планирует выпустить более 3-4 приложений за [проплаченный за 100 долларов] год и широко тестировать их среди народных масс. Эппловское ограничение в 100 устройств при использовании сервиса никуда не девается! (Хотя, полагаю, что это и так всем понятно, но мало ли)

6. Внедрение SDK увеличивает размер билда приложения примерно на 300 Кб. Если вдруг по какой-то немыслимой причине для Вас настолько критичен размер приложения — имейте это в виду (автор этих строк как-то раз добился увеличения размера дистрибутива билда своего приложения вдвое, всего лишь внедрив TestFlight SDK).

7. В некоторых случаях (автору этих строк не удалось понять, в каких именно) сервис заменяет Вашу иконку приложения собственным значком. Впрочем, склонен считать, что в моем случае в этом виноваты, скорее всего, мои кривые руки.

8. Некоторые пользователи обладают более чем одним устройством с iOS, при этом регистрируют в сервисе только одно из них после получения письма с инвайтом в тестирование, а потом недоумевают, почему на другом (других) iOS-устройствах приложение не запускается. В этом случае (опять же совершенно очевидное положение, но практика показывает, что есть люди, не до конца понимающие это) пользователю необходимо объяснить, что ему придется зайти на сайт Test Flight (или открыть письмо с инвайтом) на каждом устройстве, которое он хочет пометить как тестовое.

9. В целом, сервис оставляет после использования весьма приятное впечатление, позволяя оперативно собирать UDID-ы и рассылать билды приложений. К этим двум основным вещам прикручены еще управление списками проектов (aka команд тестировщиков/чего-либо-еще), возможность видеть, кто из тестировщиков получил письмо с инвайтом, кто его прочитал, кто установил приложение и все в таком духе. Кстати о том, кто установил приложение. Установкой приложения считается момент начала загрузки приложения с сервера TestFlight. Если после этого установка приложения зависнет, завершится аварийно, либо произойдет еще что-то, выходящее из ряда вон (вроде вторжения пришельцев с Проксимы Центавра), у Вас в админке будет складываться полное впечатление, что пользователь приложение установил штатно. Не далее как сегодня был случай, когда на один iPhone приложение не хотело ставится (даже не загружалось), а на другой вставало отлично. Однако, это я тоже склонен списывать на собственные кривые руки.

10. Помимо iOS других платформ пока не поддерживается.

11. Сервис бесплатный и обещает, что базовый функционал, доступный сегодня, будет бесплатен всегда.

Ну что же, спасибо за внимание, если возникнут какие-то вопросы по работе с Test Flight, их смело можно задавать в комментариях, постараюсь (постараемся) на них ответить.

Источник