脱炭素とはなにか
今年のSneaksのテーマは｢'90年代｣。会場の巨大スクリーンいっぱいに、'90s風のさまざまなイラストが描かれていた。
米ロサンゼルスで10月15日〜17日まで開催中のクリエイターの祭典｢Adobe MAX 2018｣。会期2日目の夜には、アドビリサーチの研究者やエンジニアが社内でこっそり開発中の選りすぐりの機能を先行公開する人気イベント｢Sneaks｣（スニークス）が開催された。
基調講演の雰囲気とはまったく変わって、全世界から集まったクリエイターら参加者たちが、アドビ社内の｢天才｣たちがお試しでつくった機能を見て、ビールなどドリンク片手にアレコレ言い合って盛り上がるという趣旨のイベントだ。
ゲストにはアメリカで有名な女優でコメディアンのティファニー・ハディッシュさんが登場。底抜けに明るいキャラで登壇者にツッコミを入れまくっていた。
完全なお遊びというわけではないところが、Sneaksの面白いところ。たとえば、昨年のAdobe MAX 2017のSneaksでデビューした｢Project Puppetron｣という、人の顔写真をリアルタイムでキャラクター化するエフェクトは、2018年に｢Character Animator CC｣の｢キャラクタライザー｣という機能として、正式デビューすることになった。
昨年のSneaksで登場したキャラクタライザーを使っているところ。ハディッシュの顔写真を取り込んで、石膏像風や絵画風などさまざまな顔に加工するデモを見せた。
今年の傾向として目立ったのは、Adobe Senseiなど機械学習やディープラーニングの画像認識を使ったもの。人間がやると非常に大変だったり面倒な作業をAIがうまく肩代わりして、単純作業からクリエイターを解放するというストーリーを感じるものが多かった。
今年のSneaksの中から、気になった6つの作品を解説する。
化粧箱のデザインから｢コレジャナイ｣をなくす？｢FANTASTIC FOLD｣
今回唯一の、女性の参加。アドビリサーチの研究者だそうだ。
FANTASTIC FOLDは、パッケージデザインなど、紙を折りたたんで設計する物の表面の印刷を設計するツールとして制作。イラストレーターなどで設計してみたけれど、組み立ててみたら絵柄がうまく合わない、といったことがないように、3Dのプレビューを見ながらデザインを設計できる。
アドビの3Dコンポージングツール｢Dimensions｣に出力することもでき、リアルな3DCGで仕上がりを確認することも可能。
つくったイラストレーターのデータはDimensionsに出力してリアルなCGで仕上がりを確認できる。
会場から感嘆の声が上がったのは｢折り鶴｣に透明骨格標本のような図柄をプリントしたデモ。折った状態で見るとシンプルでも、展開図は極めて複雑。これをつくるのは、コンピューターの力を借りなければ至難の技だ。
このプロジェクトの応用例として、折り鶴に透明標本風の印刷をしてみたところ。完成形を見ると｢派手な折り鶴ですね｣というだけだが……。
展開するとこうなる。複雑な折りが必要な物体へのデザインの難しさがよく分かる。
まるで魔法！｢似たフォント｣を勝手に生成｢FONT PHORIA｣
イラストレーターCCのプラグインとして動くAI系のSneak。あるフォントをカスタマイズして書体をつくりたい場合に、1つの文字だけデザインし、ほかの文字は｢似たようなデザイン｣を適用することでスピーディーなデザイン作業を可能にする。
AIによる画像認識の応用が非常にユニークで、｢似たような書体を生成する｣機能は、イラストレーター以外でも使えるようだ。
デモでは、iPadを使い、カメラで撮影した写真の書体を分析して、｢HORN｣という文字の頭に1文字足して｢THORN｣に変えてしまうというデモを見せた。書体を認識するだけではなく、似た書体の特徴量を抽出して、書体生成までしてしまうというのは、可能性を感じる技術だ。
また、デモの後半には、カメラのリアルタイム映像から文字を認識し、その場でまったく別の書体にリアルタイムに書き換えるという様子も見せた。まさに｢魔法のような｣Sneak。アドビ製品で使えるようになると、便利な上に面白い使い方ができそうだ。
最後に見せたデモ。｢TIFFANY YOU ROCK｣というナプキンに書いた手書き文字を認識して……。
iPadを使って別の書体に書き換えてしまった。この文字のデザイン自体も、FONT PHORIAで生成したオリジナル書体だ。
ディープラーニングで被写体を認識する｢PROJECT FASTMASK｣
一時停止させた状態で、人物の周囲に2、3の点を置くと人物を認識。人物の周囲をマスクの線で覆ってくれる。
Adobe SenseiのAIを使った動画のマスク作成プラグイン。被写体を認識して背景を別のものに変えるような作業は一般的だが、静止画ならまだしも動画でこれをやろうとすると非常に面倒だ。
FASTMASKでは、ディープラーニングを使ったマスク生成システムで、被写体の周辺に数個の点（ポイント）を置くだけで、被写体（この場合は人物）を認識。以降、被写体にマスクを追従させてくれる。
この機能を使うと、背景と人物の間に、実際には存在しないCGのオブジェクトを置く、といった加工が簡単にできる。
子猫に適用したデモ。猫の周囲がマスクとして認識されている。驚くのは、体の左側半分が隠れているのに、｢猫｣だけを認識できているところだ。
子猫に適用したシーンでは、物陰に猫の体の一部が隠れても、物体と猫とを個別に認識していて、いかにもディープラーニングを使っているっぽい動作だった。被写体の対応範囲をどこまで広げられるかで実用性が変わってきそうだ。
猫だけを認識できているので、花吹雪を散らすエフェクトをかけると、猫の後ろ側にエフェクトが周りこむような、立体的で自然な加工ができる。
被写体を認識してトリミングを追従させる｢Project SMOOTH OPERATOR｣
アドビのAI、Adobe Senseiを使って、動画の被写体を画像認識して、カメラをパンするように追いかけてくれるSneak。360度系の動画撮影では、被写体追尾で｢カメラアングルは後から決める｣ような撮り方が一般的になりつつある。一般的なカメラでも、たとえば4K映像なら一部をトリミングしても十分綺麗に使えるわけで、こうした動く被写体のトリミングは実用性が高そうだ。
ベクターデータのイラストに｢骨｣を与える｢Project GOOD BONES｣
イラストレーターで作成したイラスト。見た目にはよくかけた絵にしか見えないが、実は複数のベクターデータのパーツからできている。こういうものを動かしたり、ポーズを変えるのは相当に手間がかかる作業だ。
イラストレーターCCのプラグインとして開発。ベクターグラフィックで絵を描くと、実際には複数のオブジェクトが重なって表現されているため、ポーズや形の変更がかなり難しい。
こんな風に、ただ動かすとパーツがズレてしまう。
GOOD BONESでは、絵に対してボーン（骨格）をマウス数クリックで設定することで、頭、腕といった部位ごとのオブジェクトをまとめて動かせる。
うまく使うと、イラストのポーズを変えて複数パターンのイラスト案をつくるといったようなことも簡単にできる（GOOD BONESなしで同じパターンを作れと言われたら、うんざりするデザイナーは多そうだ）。
GOOD BONESでボーン（骨）を設定して、複数のポージングパターンをつくったところ。普通のイラストレーターでつくると、6パターン分をそれぞれ描く必要があり、相当な作業時間がかかる。GOOD BONESを使えば、6パターンつくるのに数分しかかからない。
楽器がひけなくても演奏できる｢Project KAZOO｣
入力した音の音階を読み取って、まったく違う音に変えてしまうSneak。歌声やリコーダーの音などを録音して、バイオリンやアルトサックスの合成音（シンセサイザー）に変えてしまうデモを披露した。
作者本人が歌が苦手だということで、デモアプリにはAutoTune機能を実装。歌に自信がなくても、ドレミファの音程を外さずに録音できるようにしていた。楽器がひけなくても歌声で演奏ができる。
楽しそうだからやってみたい、とハディッシュさんも乱入。自分の声を録音して｢演奏｣に変えてみるサプライズも。
オリジナルBGM作成が簡単にできるという意味で、Adobe MAX 2018で正式発表されたPremiere Rush CCのようなアマチュアクリエイター向けアプリと相性がよさそうだ。
（文、写真・伊藤有、取材協力・アドビ）
