Create MLの新機能

こんにちは Davidです Create MLチームの機械学習エンジニアです 「Create MLの新機能」 セッションへようこそ Appleの目標は 機械学習で優れたアプリを 作るのに役立つツールを提供することです Create MLを使用すると OSに組み込まれた 強力な機械学習モデルを カスタマイズすることができます このセッションではCreate MLのアプリと フレームワークの概要から紹介します

その後 Create MLアプリの お気に入りのテンプレートに加えた 機能強化について説明します 次に Apple Vision Proで オブジェクトを追跡するための 機械学習モデルを構築する まったく新しい方法を紹介します

最後に カスタムの時系列予測と 分類モデルの構築に使用できる 新しいコンポーネントについて 詳しく説明します

では始めましょう Appleは何年もかけて アプリでモデルを構築し展開するために使える 機械学習ツールのエコシステムを 構築してきました

機械学習が初めてで どこから始めれば よいか分からない場合は こちらのセッションをご確認ください 「Explore machine learning on Apple platforms」で MLフレームワークの概要を確認できます このセッションでは エコシステムの中でも 重要な役割を果たす Create MLに焦点を当てます いくつかの要素があるので 分けてお話しします Create MLアプリ Create MLフレームワーク そして基盤となるコンポーネントです Create MLアプリでは ボタンをクリックするだけで モデルのトレーニングを開始できます

このアプリはフレームワーク上に 構築されています モデルの作成の自動化や デバイス上でのパーソナライズ体験を 構築したい場合は フレームワークを直接使用します 内部的には Create MLは Vision、Natural Language Sound Analysisなどの システムドメインフレームワークを活用して トレーニングデータを使用し ユースケースに合わせて 機械学習モデルをカスタマイズします

Create MLの出力はモデルです システムドメインフレームワークの 力を借りて アプリに導入できます ここからは Create MLアプリに加えた 改良点についてお話しします カスタム機械学習モデルを作る際に 最も簡単な出発点は Mac上のCreate MLアプリです

画像 ビデオ 表形式データの内容を 予測できる モデルを作成できます また 画像内のオブジェクトや 音声ファイル内のサウンド ビデオ内の人の動きを検出するモデルを 作成することができます

ここではオブジェクト検出を選択します

どのテンプレートを選んでも 出発点は常に同じです トレーニングデータです モデルをトレーニングする前に 注釈の性質をよく理解し モデルが期待通りに動作するように することが重要です

実際の例を見てみましょう

一般的な朝食メニューを検出するアプリを 構築中だとします コーヒーなどです アプリのテスト中に コーヒーの表面とコーヒーカップの 両方を検出していることが分かります 重複する予測は 良いユーザー体験ではありません これは注釈に問題がある場合に 発生することがあります 注釈を可視化し デバッグする 新しい方法をお見せします Create MLアプリで 左側のデータソースをクリックします

これにより データの分布が表示されます

オプションは新機能です

特定のオブジェクトや クラスラベルを掘り下げて 注釈を視覚化できます この例ではコーヒーを選択しました 一部の画像では表面に境界ボックスが 描かれていますが 他の画像では コーヒーカップの周囲が 境界になっています

トレーニングを開始する前に データソースをプレビューして 注釈が期待どおりになっているか 確認してください

Create MLアプリで画像ベースのモデルを 構築する際にも データソースを探索できます 画像の分類や手のポーズの分類も含まれます

ここでAppleが取り組んできた まったく新しい機能をご紹介します きっと興味を持っていただけると思います

Create MLはアプリに機械学習を 簡単に統合できるように 設計されています OSの種類も問いません

Appleは今年 空間コンピューティング体験に 適した機能をデザインしました Create MLの オブジェクトトラッキング機能です これを使用して Apple Vision Proで すばらしいイマーシブ体験を構築できます ご覧ください

ここでは 現実世界の地球儀を トラッキングし 月が周回したり地核が拡張するアプリを 作成しています

Create MLアプリに Spatialカテゴリを追加しました

ここから機械学習モデル構築用の 新しいテンプレートを利用して 空間上のオブジェクトの 位置と向きをトラッキングできます

オブジェクトトラッカーの出発点も Create MLのほかのテンプレートと同じです トレーニングデータです

Create MLアプリではトレーニング処理が 可能な限り簡素化されています

オブジェクトの3Dアセットを 用意するだけで アプリがすべてのトレーニングを 生成してくれるのです 本当に簡単です

ここでは軽い紹介にとどめますが この機能に特化した 別のセッションがあります 「Explore object tracking for visionOS」で ワークフローやオブジェクト追跡の構築 Apple Vision Proへの導入 などについて確認してください

アプリの新機能を説明してきましたが ここからはさらに掘り下げて Create ML コンポーネントの 時系列について説明します

簡単に言うと 時系列とは 時間経過に伴って変化する 数値データのことです

たとえば 時計に搭載された 加速度センサーや スマホのGPS上の位置 外気温などです

厳密に言えば 時系列は時間の中で 一様にサンプリングされます

このセッションでは 他の系列も考慮します 企業の売上のギャップなどです

時系列識別が役に立つのは データが何を意味しているのか 知りたいときです たとえば 何かをつまんだり 指を鳴らしたり 握りしめたりするのを Apple Watchの加速度センサーの データを使って識別します アクティビティの識別は 最近のCreate MLでも対応していました 今年からはより強力な 汎用時系列識別器 コンポーネントが導入されます

もう1つ注目したい ユースケースがあります 「次に何が起こるか」です 時系列予測はCreate MLの まったく新しいモデルタイプで 履歴データから学習して 時間経過後の将来の値を予測します

識別器と同じように 予測器も汎用的なコンポーネントです 何に対する予測にも使うことができます 音声 加速度センサー 売上など さまざまなデータに対応可能です たとえば このグラフの履歴データを 分析すれば 予測器に将来の時系列の値を 予測させることができます 基本的な考え方について説明したので 実用的な例を紹介します 飲食店屋台のオーナー向けに 注文処理と売上追跡のアプリを 作成していると考えてみましょう もしこのアプリで将来の売上も予測できたら 便利ですよね

トラックに積み込む原材料の量を 最適化できるかもしれません 顧客が購入するたびに アプリがその取引を表形式で保存します ここで注目してほしいのは 日付 アイテム 量 価格です たとえば 午前11時半に顧客がリンゴのフリッタを6つ 12ドルで購入したとします ここから 1日あたりの 販売数を予測するために データを前処理します 表形式データフレームワークなので 簡単に処理できます

まずは取引を日付ごとにグループ化し 次に量を合計します

表形式データフレームワークの 詳細については Tech Talkをご確認いただくと データをSwiftに読み込み 探索し 変換させるための方法を学べます

さて 取引がグループ化されて 量の合計も完了し 残った列は 日付と量のみとなりました

作業を進める前に 時系列データの取り扱いで よくあることをお話しします 2台の屋台の売上を 比較する場合を考えてください 片方はドーナツを売り もう片方はアイスを売っています ドーナツの屋台は時間経過とともに 売上が増えていますね 人気が出できた証拠かもしれません アイス屋台の売上も増えていますが 勢いは緩やかです

もう1つ重要なのは アイスは週末に最も売れ ドーナツは週全体を通じて 需要がある点です 販売データは 屋台によって大きく異なります 予測モデルは デバイス上の屋台のアプリで 使えるように作りましょう そうすることで モデルは 屋台の販売データに最適化され 予測も正確になります 話を戻します データの列に注目しましょう

日付には貴重な 時間的情報が含まれており 時系列予測器モデルは それを活用して予測を立てます

データコンポーネントを抽出して データのトレンドを見つけましょう たとえば モデルで曜日を抽出すると モデルは曜日ごとの データの違いを学習できます

月を抽出すると モデルが年間推移を 学習するのに役立ちます たとえば アイスの売上は 確実に夏に増加するはずです

新たに導入された DateFeatureExtractorにより 日付の特徴を簡単に抽出できます

使い方をお見せします

まず 月と曜日の特徴コンポーネントで DateFeatureExtractorを作成します

次に ColumnSelectorと featureExtractorを パイプラインに組み込みます

そして ColumnConcatenator コンポーネントを追加して すべての特徴を 配列に組み入れ整形します

これで 前処理パイプラインを使って データフレームを合わせられます

この前処理の仕組みを利用することで 元のデータセットが 最終的なトレーニングデータになります 最後に 特徴の列と量の列を MLShapedArrayの列として抽出します

これでデータの準備は完了です ここからは 予測器モデルの トレーニング方法を説明します

トレーニングデータは 2つに分けられます トレーニング部分と検証部分です

まず決めるべきなのは 予測する日数です

将来の複数日にわたって予測するには 複数日の履歴データを 考慮する必要があります 普通は 予測期間よりも長い期間の コンテキストが必要です 今回は 今後3日間の 売上を予測したいので 過去15日間の コンテキストを使用します 時系列予測器を作成して inputWindowSizeと forecastWindowSizeを設定し fittedメソッドでトレーニングします

トレーニングが終わったら 予測の準備は完了です

appliedメソッドを使用して 今後3日間の売上を予測します

問題なく処理されたようです 1日の終わりに 屋台のオーナーは売上を予測して 原材料を的確に補充し 引き続き おいしいドーナツを 販売できることでしょう 以上です 画像ベースのモデルを構築するときは 必ずデータソースのプレビュー機能で データを確認してください visionOSアプリで 素晴らしい オブジェクトトラッキング体験を 構築してください Create ML コンポーネントを使用して 時系列予測器モデルを カスタマイズしてください Create MLなら 便利な方法で 機械学習モデルをカスタマイズできます

Create MLで すばらしい体験を構築しましょう