モバイルアプリ開発において、開発からアプリpublish、ユーザのテレメトリ収集まで、一貫して管理できたら素晴らしいですよね。
それらを、Microsoftのチーム開発管理サービスのVisual Studio Team Servicesと、実機での自動UIテストサービスXamarin Test Cloud(ザマリン・テストクラウド)などを使って実現しましょう！

目次

1. 継続的なモバイルアプリ開発 (Mobile DevOps)
2. Microsoft の提供する、Mobile DevOps を実現する方法
3. Visual Studio Team Services を使ってコードgit管理 & 自動ビルド
4. 自動 UI テストを実現する Xamarin Test Cloud サービスについて
5. Xamarin Test Cloud を VSTS から動かす

継続的なモバイルアプリ開発

モバイルアプリ開発において、やること：

1. 開発（クライアント側のコード書く）
2. サーバサイドとの連携
3. テスト（単体・UIテスト）
4. テスターたちにベータ版を配布
5. アプリのユーザの使用メトリックやクラッシュレポートを収集
6. ユーザからの feedback を収集

などなど！

よく「Mobile DevOps(デブオプス (= Development + Operation))」なんて呼ばれます。

Microsoft の提供する、Mobile DevOps を実現する方法

それらの一連の流れを実現するためのすべてのツールが、Microsoft によって用意されています！

1. クライアントはXamarin(ざまりん)を使って開発し、
2. サーバサイドはMicrosoft Azure(アジュール)というクラウドサービスを使います。
3. 自動UIテストはXamarin Test Cloudを使います。(ちなみに有名な Slack も Test Cloud を使って開発されています)。
4. ユーザのテレメトリ収集はHockeyAppを使います。
5. そしてそれらの一連の流れを管理(タスク管理や自動化など)するのにVisual Studio Team Servicesを使います

つまり、図にすると以下のようになります。

このうち、このオレンジ色の部分がVisual Studio Team Servicesで管理できる部分になります。

補足：
(現在は、これら別々のサービスが全てひとつに統合され、かつモバイルアプリ開発に特化した Visual Studio Mobile Center という新サービスが去年発表されましたが、まだプレビュー版なのです。)

Visual Studio Team Services を使ってコードgit管理 & 自動ビルド

この図示した部分を VSTS (Visual Studio Team Services)を使ってどうやって管理するのかはこちらの記事で書きました。
Visual Studio Team Services で Xamarin.Android のビルド

自動 UI テストを実現する Xamarin Test Cloud サービスについて

続いて、自動UIテストについてです。

実機での自動UIテストについては、Xamarin Test Cloudを使います。（not エミュレータ but 実機、というのが強み）

Xamarin Test Cloud は、2,000台以上の実機でUIテストが出来る、クラウド上のテスト環境です。

Android端末なんて星の数ほど種類があるし、iPhone/iPad については iOS は一度バージョンを上げたら戻せないし、いちいちテスト機として買っていられないですよね。
そこで Xamarin Test Cloud ですよ！

しかも、その UIテスト(ボタンをタップするなど)も、すべてコードで書くことができます。

UITest コードサンプル

エンジニアの皆さんはまずコードがどんなものか見たいですよね！

このようにして UIテストを全てコードで書くことができます

Xamarin Test Cloud 紹介

Xamarin Test Cloudどんなものか、
まずは画面のスクリーンショットをいくつか見てみましょう。（だいたいの画像がクリックで拡大）

管理ポータルの最初のページ。どのアプリのテスト結果見たい？という感じ

アプリをひとつ選択した時。テスト結果やピーク時のメモリ使用量が履歴で分かりやすく表示してある。

ひとつのテスト履歴を選択した時。その時のテストの詳細が一覧で表示される。
OSのバージョンやベンダーごとのテスト通過率なども出る。
左のカラムに、コードで指定したテストが名前付きでリストしてある。

↓クリックで拡大

「Skip Authentication Test」というテストの中の
「On Login Page」という名前で保存された各デバイスのスクリーンショット

「Change Capacity Units」というテストの中の
「On Settings Page」という名前で保存された各デバイスのスクリーンショット

ひとつのデバイスを選択した時のスクリーンショット。
このテスト中の瞬間のCPU使用率やメモリ使用量など、このデバイスの詳細データが見られる

デバイスログやテストログも見られる。(スクショはデバイスログのもの)

Xamarin Test Cloud を VSTS から動かす

さあ、実際に動かしてみましょう！

Xamarin Test Cloud を VSTS から動かすためには、

1. Xamarin Test Cloud側の操作
2. のVisual Studio Team Services側の操作

の両方が必要です。

まずは Xamarin Test Cloud 側の操作から始めましょう。

Xamarin Test Cloud 側の準備

Test Cloud の管理ページに入ります。
https://testcloud.xamarin.com

↓まずは画面右上の「New Test Run」を押します。

今回は Xamarin.Froms 製のアプリの Android のものだけテストしようと思うので、
「New Android app」を選択して「Next」を押しました

たくさん機種が出てきましたね！

「★ Short queue times」(「短い待ち時間」)というマークが付いている機種が上に出ていますね。

これはどういうことを言っているのかというとですね。

Xamarin Test Cloud はあくまで実機テストなので、数千のデバイス実機をデバイスファームで保存して動かしています。で、それらのデバイスを多くのユーザが交代交代で使うわけです。なのでひとつのデバイスに多くのユーザがテストを走らせようとすると、当然、待ちになります。待ち行列が発生します。

なので、XTCは「このデバイスは使う人が少ないからあんまり待たなくて良いよ」というのをマークで出してくれています。

今回はそれらから３機種ほど選んでみます。

で、次は言語を選ぶ画面が出てきて、

最後にこのような文字列（Xamarin Test Cloud に .apk を投げるためのコマンド）が出て来るので、この文字列をまるっとコピーしてどこかに控えておきましょう。

これで Xamarin Test Cloud 側の準備は完了です。

Visual Studio Team Services 側の操作

次は Visual Studio Team Services側の準備です。

VSTSの管理ページに行きます。（webブラウザで https://アカウント名.visualstudio.com です）

前提：VSTSでビルドが完了しており、.apk や .ipa など成果物が drop されている状態。
（参考：Visual Studio Team Services で Xamarin.Android のビルドが終わっていれば大丈夫）

↑ビルド定義の最後に「Publish Artifact: drop」で .apk が drop (= リリースプロセスで使えるようにするために、リリースプロセスで参照できるフォルダに .apk を落としている)されている。

ーー

で。
VSTS を開いてください。

「Build & Release」→「Releases」

そうするとリリースの設定画面に行きます。
これは「テスト環境」「ベータテスター用の環境」「本番環境」など、様々な環境にデプロイorリリースするために、各環境ごとにリリースのプロセスを設定できる画面です。

まずは最初のリリース定義(Release Definition) を作ってみましょう。
「+ New definition」をクリックします。

たくさんのテンプレートが出てきますが、
今回はただXamarin Test Cloudに繋ぎたいだけなので、「Empty (=空っぽ)」を選択して「Next」を押します

そうするとこのような画面になります！
もし「自動ビルド→ビルド成功→自動デプロイ」までやりたかったら「Continuous deployment」をチェックすれば良いですが、今回はつけません。
「Create」を押します

そうするとこのような画面になります。
デフォルトの「Environment(環境)1」という環境だけ作られていますね。
「+ Add tasks」を押します

タスクカタログが開くので、
左のペインから「Test」を選び、
「Xamarin Test Cloud」を選択し、「Add」を押し、「Close」です

現在このような画面になっているはずです。

必須欄(赤くなっている)がほとんど空欄ですね。

これらのうち、

• Team API Key *
• User Email *
• Devices *

は、先ほどXamarin Test Cloud側で設定して出てきた文字列を当て込みます。

Team API Key *は、

だいたいこんな感じのが入るはずです：

だいたいこんな感じのが入るはずです：

もし、ビルドするのに自前のビルドエージェントを使っていたら、
test-cloud.exe Location　を
../../**/packages/**/tools/test-cloud.exeにする必要がある場合があります。（というのも、デフォルトの path のままだと私は「test-cloud.exeが見つからない」というエラーが出たので、このように修正したら動いたので。どういう条件かはわからない）

最終的にこのようになりました。

「Save(保存)」して、さっそく、このリリースタスクを動かしてみましょう！

「+ Release」を押して「Create Release」をクリックします。

「Logs」を見ると今何をしているのか確認することができる

そして全部うまくいったら、Xamarin Test Cloud ( testcloud.xamarin.com )で正しくアップロードされていることを確認しましょう。

できた！