8月26日、runtimewire.comが「Skild AI ships S1, a robot model prompted by one video」と題した記事を公開した。この記事では、動画1本を見せるだけでロボットが未知タスクを実行できる基盤モデル「S1」をSkild AIがリリースしたことについて詳しく紹介されている。
デモ動画を渡すだけで、11分後には自律実行
ロボット制御における長年の課題の一つが、新しいタスクを教えるコストだ。通常、ロボットポリシー（ロボットの行動方針を定めるモデル）は、タスクごとにデモデータを収集して追加学習サイクルを回す必要がある。
Skild AIが発表したS1は、このループを省略する。人間がタスクをこなす様子を撮影した動画1本を「プロンプト」として推論時のコンテキストとして入力するだけで、モデルの重みを更新（ファインチューニング）することなくロボットが動作を実行する。LLM（大規模言語モデル）にテキスト指示を与える感覚に近い。
実際の計測値が具体的だ。植物の植え替えタスクを用いたテストでは、午後9時16分に人間のデモ撮影を開始し、9時22分に撮影完了、9時27分にはロボットが自律実行を開始した。デモ収集から実機稼働までわずか11分。
紹介されたタスクはコーヒーのハンドドリップ、植物の植え替え、キットの組み立て、パンケーキの調理で、一部のシーケンスは最長10分に及ぶ。
「新しいタスクを本当に学んでいるか」への答え
ロボット研究で常に問われるのが、「それは本当に汎化しているのか、学習データに近い動作をなぞっているだけではないか」という点だ。
Skild AIはこの懸念に正面から向き合っている。S1が実行した4つのタスクは、いずれも事前学習データに含まれていないとSkild AIは説明している。パンケーキのフリップ動作については、S1がそれを実行した後に学習データを遡って検索したところ、類似例は見つからなかったとしている。
また、テスト環境をデモから意図的にずらした実験も公開された。ロボットは失敗した動作を自らリトライし、じょうろが手元にない場合はカップで代用し、オブジェクトの配置が変わると動き方を変えた。これはトラジェクトリ（軌跡）の再生ではなく、ゴールの解釈が行われていることを示唆している。ただし、これらのデモとベンチマークはSkild AI自身が作成・評価したものであることは留意が必要だ。
内部ベンチマークの数値
Skild AIは動画プロンプト型の手法と、言語プロンプト型のVLA（Vision-Language-Action）ポリシーを、同一アーキテクチャ・同一計算量・1,000〜100,000時間のデータセットで比較した。
VLAとは、視覚・言語・行動の3つのモダリティを統合してロボットを制御するアーキテクチャの総称で、RT-2やOpenVLAといったモデルがその代表例として知られている。今回Skild AIが比較対象としてVLAを選んだのは、「言語でタスクを指定して動作を生成する」という点でS1の動画プロンプト方式と最も直接的に対比できる手法だからだ。
未知タスクに対するベンチマーク（内部）では、100,000時間の学習時点でS1が平均66%のステップ成功率を記録したのに対し、言語プロンプト型は**9%**にとどまった。
一方、既知タスクでは差が縮まる。1,000時間の学習では言語条件付きが53%に対し、S1は43%。学習データが増えるにつれてS1が言語型を逆転する傾向が確認されている。
また、新タスクに対して最大2,000件のテレオペレーション（遠隔操作）デモで追加学習した従来型ポリシーとの比較では、動画プロンプト1本のS1はおよそ380件分の追加学習に相当する性能とSkild AIは試算している。なお、2,000件まで積み上げた場合の従来型ポリシーはS1を上回り、86%に達した。
評価はステップ単位の成功率であり、完全自律での一連の動作完了率ではない点も明記されている。
背景：14億ドル調達した研究者発スタートアップ
S1を開発したSkild AIは、DeepakPathakとAbhinav Guptaがカーネギーメロン大学ロボティクス研究所での研究キャリアを経て2023年に創業した。Pathakは機械学習・コンピュータビジョン・適応的ロボット学習、Guptaはコンピュータビジョン・自己教師あり学習・視覚推論を専門とする。
Skild AIの中核的な主張は「1つのモデルが複数のロボット設計を制御できる」というものだ。今年1月には、SoftBankが主導するシリーズCで14億ドル（評価額140億ドル超）を調達。NvidiaのNVentures、Macquarie Capital、Bezos Expeditions、Lightspeed、Sequoia Capitalなども参加した。
S1は現在、限定的な産業パートナーとの展開を開始しており、今後数ヶ月で広範なロールアウトが予定されている。
※編集部の考察：ワンショット学習はデータ戦略でもある
Skild AIにとってワンショット学習はデータ戦略とも直結している。デプロイが速くなれば実世界でのロボット稼働データが増え、それを事前学習に戻せる。S1のプロンプト機能は製品機能であると同時に、次の学習データを収集するための仕組みでもある。
詳細はSkild AI ships S1, a robot model prompted by one videoを参照していただきたい。
