AppでのApple Pro Display XDRのサポートについて

本日はご参加ありがとうございます メディアクオリティチームの プラナフです Pro Display XDRについて お話します 本セッションは App開発者と プロフェッショナルユーザー向けとなります この素晴らしいディスプレイの仕組みと おすすめの使い方をご紹介します

Pro Display XDRは ハイグレードなリファレンスディスプレイです 2000万ピクセル以上の 32インチ LCDディスプレイ そして6Kにも対応 Apple史上最大のRetinaディスプレイです P3の広色域により 真の10ビットカラーを再現 ピーク時には1600ニトの輝度に達し フルスクリーンの持続輝度は 1000ニトを誇ります どんなHDRワークフローにも 理想のディスプレイでしょう さらにリファレンスモードを搭載しており これらのモードは出荷時に調整済みなので すぐに高精度な 色再現に取り掛かることができます ポストプロダクションに 必要な機能も実装されています プロのワークフローを再定義 プロ向けのあらゆる要素を このディスプレイに込めました プロのワークフローを想定して 設計されており 動画編集や写真 そして色補正をはじめ 視覚効果 3Dアニメーション ゲーム開発までサポートします Pro Display XDR対応 プロ仕様App これらプロ向けのAppは ディスプレイ用にカスタマイズされています その一部をご覧ください 例えばBlackmagic Designは Resolve内でEDRに対応しました これによりSDRと拡大レンジで コンテンツを同時に表示することが可能です 独自の色空間を割り当てる 機能も追加されました フッテージの読み込みや タイムラインのワーキングスペース そして出力 Adobe Premiere Proと Foundry Nukeでは EDR対応が導入されたばかりです 他AppでもEDR対応が すぐに実装されるでしょう あなたのプロ仕様App ここでは App開発者にも貢献します ディスプレイの可用性を最大限に活かして App制作やカスタマイズをしましょう あなたのワークフロー 今度はプロのユーザーに向けて ディスプレイのベストプラクティスを お伝えします ワークフローを正しく設定しましょう

イメージされている目的は 後ほど説明します リファレンスモードを理解しましょう それでは リファレンスモードについて 学びましょう 搭載されたモードには それぞれ特徴や違いがあります

Pro Display XDRのために開発 EDRと色管理に関する キーコンセプトについてお話します ディスプレイ向け プロ用App開発の生命線です Pro Display XDRの展開 プロユーザー向けに 最近実装した機能を紹介します どのようにワークフローの有用性と正確性を 実現したのでしょうか Pro Display XDRの測定 ディスプレイの前でのレスポンスを どのように測定するかお見せします コンテンツが正しく レンダリングされる様子をご覧ください どのリファレンスモードでも同様です

では 始めましょう

リファレンスモードとは何か？ リファレンスモードではそれぞれ 輝度や彩度 ガンマをディスプレイ側で 構成することができ 次々とモードの変更も可能です 特定のワークフローに応じて ディスプレイ表示が変更されます

各モードに沿った調整により 高精度な色再現が期待できます

リファレンスモードはプラグインの ICCプロファイル以上にシンプルで リファレンスモードを切り替えると ICCプロファイルは自動的に生成され macOSから提供される色管理との連結を スムーズに行います 他の色管理システムと同様に 色値記述子の紐付けが必要ですが これについては後述します

本ディスプレイに初期搭載されている リファレンスモードは数種類あり ２つのカテゴリーに分類されます

まずは Appleデザインによるモード Macディスプレイの特性が 反映されていますので Appleデザインを活かした ダイナミックな適合機能を実感するでしょう True Toneや明るさの自動調整を 切り替えられます

こうした適合技術は優秀です 不安定な環境下でも 一定の状態を設定することができます しかし コンテンツ制作を行う 安定した環境のプロユーザーにとっては ダイナミックな機能が使用できない場合 リファレンスモードでの作業を望むでしょう

このため 標準モードを搭載しました 特にポストプロダクションのワークフローを サポートする想定で設計されています 一般的な業界の仕様と連携しています 皆さんは安定した環境で作業を 行われていると思いますが

これらのモードを使う際は 作業環境が非常に重要です 多くのワークフローは 薄暗い環境が必要です では 人気のリファレンスモードを 詳しく見てみましょう HDTVビデオモードの仕様です BT.709を使用しますが BT.1886推奨です ピーク輝度は1600ニト P3広色域に対応するため SDRワークフローでは 完全に満たす必要はありません 本モードに切り替えると 仕様により ピーク輝度は100ニトに制限され 色域はRec.709に調整されます ダイナミックコントロールは 無効化されますので このリファレンスモードは 薄暗い環境でお使いください 次に HDRビデオモードを 見てみましょう こちらもP3広色域を使用し HDRのピーク輝度は1000ニト フルスクリーンでも 1000ニトを維持します つまり HDRワークフローを いつまでも作業できるのです 長時間作業での輝度低下や パッチサイズも心配ありません

このリファレンスモードなら ディスプレイを最大限に活用できます 39％のスクリーン使用時 HDRでのピーク輝度は1600ニト SDRでのピーク輝度は500ニトへ 明るさ調整を行えます ダイナミック調整機能も使えるため HDRビデオコンテンツのトーンも マッピングされます さて SDRとHDRコンテンツを 同時に表示させたい状況はありますよね Eメールのチェックを SDR画質で行いながら HDR画質で動画を再生する場面 これを解決するために SDRとHDRを統合する方法があります 後ほど説明します

Pro Display XDR用に開発 本ディスプレイ用App開発における 重要なコンセプトをお話しします SDRリファレンスモードを使う より深く理解するために メディアパイプラインで行われる 画素が異なる場合の加工工程を見ましょう SDRリファレンスモードでは 何が起こっているのでしょうか SDRビデオコンテンツは コアメディアにデコードされ ファイル内の カラー記述子が紐付けされます 次にUIとSDRビデオは 共通のカラー表示法へマッピング後 構成されます ディスプレイのトランスファー機能と色空間に 構成されたインターフェースをマッピング そして プロ用ディスプレイに出力されます

HDRリファレンスモードでは HDRビデオまたは プロ用XDRモードがあり Macとディスプレイ間では PQ方式で通信が行われます 再び SDRコンテンツとUIは リニアライトへデコードされ 紐付けられた色空間と ガンマが使用されます

HDRコンテンツも同様にデコードされ PQ方式やHLG方式が使われています 再構成の全工程は EDRスペースで処理されます では EDRについて説明します

拡張ダイナミックレンジの意味で この拡張レンジを使って SDRとHDRの同時表示を実現しました EDRはSDRに関連したワークスペースで SDRコンテンツは理論上 ０と１の範囲内で変化しません EDRにより 輝度値は1.0以上を確保できます EDR値1.0以上のレンジは ヘッドルームとされ 状況に応じてエミッシブサーフェスと ハイライトを表現するために確保されます

最後に 合成されたフレームは 色空間とPQ方式にマッピング後 ディスプレイに出力されます

これが モードの違いによる 処理工程の違いです macOSに搭載された カラーマネジメントを使用します この結果として 画像や動画コンテンツの 正確な紐付けが非常に重要になります

メディアデータがmacOSによって 正確に変換されるのです これが カラーマネジメントの仕組みです 画像の場合は 色プロファイルを割り当て 動画には 標準的なカラー記述子を紐付けます

動画ファイルの カラー記述子はこちらです QuickTime Playerの ムービーインスペクタを使って ファイルの記述子を読み込みます

プライマリーカラーの識別子は リニアRGBのXYZ値に変換されます

変換関数タグは 電気光学的変換関数を定義し 非リニアRGB空間のコードを リニアRGB空間に変換します そして Y'CbCrマトリクスは Y'CbCr空間とR'G'B'空間で マッピングを行います AVFoundationを使用して コンテンツを紐付ける場合は HDRのエクスポートに関する 今年のWWDCセッションをご覧ください

これはPro Display XDRの リファレンスモードにおける推奨リストです 動画ファイルの紐付けには この記述子を使い 作業時のモードで コンテンツが 正しく変換されるかご確認ください

AVFoundationのフレームワークを Appが使用する場合 正しくリファレンスモードを参照し 各モードに求められる カラーマネジメントを提供します まず ソース内Y'CbCrコードが デコードされ 非リニアR'G'B'コードが 色空間に変換されます

さらに プリセットされた変換関数と 色空間にマッピングされ

ディスプレイ側で 入力信号のリニア化に プリセット機能が使われます

App内でハードウェアが 独自のビデオパイプラインを使う場合は 作業は少なく済みます まず Y'CbCr空間からR'G'B'へ コードを変換しますが Y'CbCrマトリクスに定義された NCLCタグを使います

R'G'B'コードは 狭い値にリニア化され EDRにマッピングされます これでEDRへのマッピングは完了です ソース内では1.0が白として認識されます 白よりも明るいピクセルは EDR値が1.0より大きくなります

ディスプレイのパイプラインが それを参照し プリセットされた色空間から 画面に出力します

ユーザーが使用中の リファレンスモードに基づき EDRへのマッピングを管理する場合も これにより Appの挙動は 制御しやすくなります 使用中のリファレンスモードを 正しく判定するために EDRのパラメータが役立ちます では ヘッドルームの パラメータについて確認しましょう ポテンシャルヘッドルームとは 設定上最大とされるヘッドルームです モードによって異なる場合もあります

例えば HDRビデオモードでは ピーク輝度は1000ニトですが SDRでは100ニトなので ポテンシャルヘッドルームは10.0です HDTVビデオモードでは SDRとHDRのピーク輝度が100ニトのため ポテンシャルヘッドルームは 1.0となります

次に ヘッドルームは 現在使用できるヘッドルームを表し 数値はポテンシャルヘッドルームと同じ またはそれ以下になります ただし モード内の明るさが上がると ヘッドルーム値は減少します 例えば Pro Display XDRの HDRピーク輝度は1600ニトですが 明るさ調整をピーク輝度200ニトの SDRに設定すると ヘッドルームは8.0となりますが ポテンシャルヘッドルームは16です 最後にリファレンスヘッドルームは 参照用のヘッドルームですが 求められる輝度の正確な復元に必要です ヘッドルーム値とは同じ またはそれ以下になります

例えば HDRビデオとHDTVビデオの リファレンスモードでは 最大1000ニトと100ニトで 正確な復元を保証することができます こうした理由で リファレンスヘッドルームは ヘッドルームと同様に扱われます Appleデザインモードでは リファレンスヘッドルーム値はゼロです

コードで示すと こうなります まず NSScreenオブジェクトを作成 Pro Display XDRを指定します それぞれのヘッドルームパラメータに クエリーを行うことが可能になります

さて ビデオパイプラインが セットアップできました Appのカラーパフォーマンスの 正確性を評価しましょう ディスプレイのスクリーンに表示される レスポンスから測定する方法としては 分光測光器などのような機材を 使用することもあります 工程ごとに概要をまとめた フローチャートです

前述した通り カラーマネジメントは macOSで処理され 初期セットの色空間に 入力信号がマッピングされます まず Pro Display XDRは R'G'B'コードを認識し 光スペクトルを生成します

光の出力を測定するために 分光測光器を使って 輝度と色度の値を解析します

この工程を補助するために テストパターンを提供しています AVFoundationのウェブサイトにて 現在配信中です テストパターンは QuickTimeの動画ファイル形式で 正しいNCLCと固定メタデータに紐付く HDRの10ファイルあります 21段階のランプも含まれており 100％構成のプライマリーカラーと セカンダリーカラーもご用意しました

リファレンス用輝度と色度の値も 含まれていますので テストパターンを任意のリファレンスモードで 表示させることもできます

では Pro Display XDRの 活用法を話しましょう プロユーザーによる新機能の使い方も お見せします ワークフローを より便利に正確に処理できます

Pro Display XDRは出荷時に 調整済みのため すぐに使えます 人気のワークフローに向けた リファレンスモードを搭載しており

豊富なカスタマイズオプションで サポートする準備は万全です

リファレンスモードの カスタマイズについてお話ししましょう

数々のリファレンスモードを 標準搭載していますが 独自のワークフローを持つ場合 変換関数や白色点 色域を調整する必要があります また 最大輝度を 個別に設定したい場合に備え カスタマイズできる リファレンスモードを用意しました macOS 10.15.4以降で お使いいただけます これにより パラメータを自由に設定した リファレンスモードを作成できます

では リファレンスモードの作成方法を ご覧ください 最大HDR輝度600ニトの ワークフローを作成するとします さらに UIも100ニト以上 または200ニトとします まずはシステムメニューから ディスプレイを選択します Pro Display XDRのウィンドウで カスタマイズプリセットを選択

ベースとなるプリセットを 選んでください

＋アイコンをクリック

名前を付けて 概要を入力しましょう

オプションメニュー項目の中から 色域や白色点

SDR変換機能を選択

ガンマブーストに特定値を 適用することもできます

これでプリセット完成です 最大HDR輝度600ニト 最大SDR輝度200ニトに変更しました これを保存すれば カスタムリファレンスモードを 準備できました 次の機能はこちら

測定器は少しの性能差でも 次々と登場しますよね 手持ちの機器に合わせて ワークフローを設定している場合 他のディスプレイに合わせて Pro Display XDRを調整します ハイエンドなキャリブレーターを お使いの皆さんに向けて Fine-Tuneキャリブレーション機能を ご用意しました macOS 10.15.6以降で お使いいただけます これにより ディスプレイの 輝度と白色点を調整します 手持ちの分光測光器と連携し 他のディスプレイとの整合をとります Pro Display XDRでの 使い方をお見せします

まずは システムメニューから ディスプレイを選択し ポップアップメニュー内から Fine-Tuneキャリブレーションを オプションで選びましょう

ここで ターゲット輝度と白色点の値を 入力してください 次のセクションでは 詳細についてお話しします

Pro Display XDRの測定値 コンテンツクリエイターとして 期待通りのパフォーマンスが出るのか 気になることでしょう このセクションでは コンテンツが正しくレンダリングされるか 客観的な数値で評価していきます

推奨手順をフローチャートにしました Pro Display XDR使用時における モニター前面を評価します

まずはテストパターンを作成 期待する参考値を算出します テストパターンを映し出し キャリブレート済みの機器で測定します

続いて 測定器具と環境を準備します

正確を期すため 測定を行う際は 高性能な測定器をお勧めします 以下が推奨モデルです PHOTO RESEARCH社製 PR788　PR745　PR740 COLORIMETRY RESEARCH社製 CR300 器具が正しく設定されているか 確認します 例えば 分光放射輝度計 PR-740を使う場合は 波長範囲を4ナノメートルに設定し 測定数値の平均を取って 3.0または3.0以上にします

低輝度で生じる迷光は 測定結果に影響する恐れがあるので より正確に行うために 完全な暗闇にしましょう

熱放射を避けるため 室内の温度は 25度以下を保ってください

次に テストパターンをスクリーンに表示し 測定を行います

測定値と参考値が得られたら エラー解析を実行します 工程自体にエラーがある恐れもあり テストパターンの紐付けが正しくない場合や リファレンスモードの誤選択 測定環境が正しくない場合もあります

エラー解析用に 知覚できる色差の指標を算出し 測定値と参考値の差を 視覚化する方法をご覧ください

今回は こちらで用意した 色差計算シートを使用し いくつかの色差を指標に算出します 例示用に数値を入力しました

計算式に参考値と測定値を入力し デルタE ITP　デルタE 2000 デルタPQを算出します

入力信号の設定メニューでは 色空間や色域のほか

変換関数やフォーマットを指定します

今回の入力信号は測定器のため Yxy色空間とします

次に 参考用の輝度と色度の値を入力 ここでは 94ニト D65を暫定値としました

そして 測定した輝度と色度の値を入力 ご覧の通り 僅差でした 最後にエラー値を算出 この工程を 21段階のランプで繰り返し 各測定ポイントで エラー解析を実行します

これは 各ランプにおける デルタE ITPのチャート例です 今回の例では 目標輝度94ニト前後で エラーが最大値になると分かります

続いて エラーが些細な場合 ワークフローを進行します 輝度と白色点に 重大なエラーが生じた場合は Fine-Tuneキャリブレーション機能で 改善します

最大エラーが生じたときの Fine-Tune機能を実演します

測定された白色点と輝度の値を入力

次に 目標とする白色点と輝度の値を入力

概要を記入し“OK”を押せば ディスプレイが最適化されます

これでディスプレイの キャリブレーションは調整完了 最終確認として 測定値でエラー解析を再実行します

これは改善後の デルタE ITPチャート図です Fine-Tuneキャリブレーションの 効果が出ています 全体的に ランプと 測定器による数値が近づきました

将来的には 現場較正サポートも行う予定です

この機能があれば ディスプレイをキャリブレートし より良い調整を可能にします キャリブレート工程では プライマリカラー 輝度 ガンマを調整し ハイエンドな測定器と暗い環境が 求められます

これが現場較正をステップに加えた フローチャートです

最後に 皆さんに覚えてほしい ポイントをまとめます

Pro Display XDRのリファレンスモードは ICCプロファイルよりも有用で ディスプレイの輝度 カラー ガンマを 設定する方法として適しています Macのカラーマネジメント機能を使い リファレンスモードで様々な形式をカバー可能

AVFoundationのワークフロー またはビデオパイプラインを使う策も カスタムリファレンスモードでは 独特なワークフローに合わせた リファレンスモードを作成できます ワークフローの評価用に テストパターンや参考数値を提供中です そして 現場較正とFine-Tune機能を 活用してください ディスプレイのプライマリカラー 輝度 白色点を最適化しましょう 手持ちの機器で より良い調整を行えます ありがとうございました