JRT Lab ｜ 合宿の事前課題カメラで机を見る
机全体が映るようにカメラを置く。最初はペン・部品・小物の3種類に絞ろう。
PHYSICAL AI HACKATHON「あったらいいな」を、
「あったらいいな」を、
動く発明にしよう。
Claude × ロボットアーム。
身近な「困った！」が、発明のはじまり。
読む・動画を見る・アイデアを提出するまで、目安20〜30分。
競技の外にも、
ロボットの出番がある。
今回は「フィジカルAIハッカソン」です。いつものCoRE-2出場のための競技用ロボットづくりから、少し頭を切り替えてみよう！
エンジニアにとって、モノづくりの技術を磨くのと同じかそれ以上に大事なのが、どんなものを作ったらみんなが幸せになるか思いつく事です。
身の回りの困りごととか、あったら嬉しいモノとか、そういった物事を思いつけるように日ごろから考えている事が重要です。
一方、最新技術を活用することもとても重要です。
生成AIは、文章・画像・プログラムなどを作る技術が進歩し、アイデアを考えたり、アプリを作ったりする手助けができるようになっています。
フィジカルAIは、カメラや力を測るセンサーなどから得た情報をもとに周囲の状況を理解・判断し、ロボットなどを通して現実の世界で動作するAIです。
これから数年で、どんなサービスや商品が生まれるだろう？ 最先端の技術に触れながら、身の回りの社会をよくするアイデアを考えよう。
ハッカソンって？
工夫して作る「ハック」と「マラソン」を合わせた言葉。仲間と短い時間でアイデアを形にするイベントです。
当日は相互投票で表彰も！
「それ、ほしい！」とみんなが思う発明を目指そう。
アプリと2本の働く腕で、
アイデアを見せよう。
ハッカソンの条件は2つ
① Claudeを使って、PC上で動くアプリを作る。
② 2本のフォロワーアームも使って、デモする。
使えるSO-101はリーダー2本＋フォロワー2本＝計4本（2組）。人が動かすリーダーに合わせて、物をつかむフォロワーが動きます。
SO-101で、2組のテレオペ
（遠隔操作）
リーダー①
人が動かす
→人が動かすフォロワー①
つかんで運ぶ
つかんで運ぶリーダー②人が動かす
→人が動かすフォロワー②つかんで運ぶ
つかんで運ぶリーダー2本＋フォロワー2本、合わせて4本を使います。
実際の動きを見てみよう
約1分14秒。人がリーダーを動かすと、フォロワーも動きます。人の手元と、机の上の腕を見比べよう。
この方式を「マスタースレーブ」とも呼びます。腕の自動制御は時間内での完成が難しいため、当日は人が操作してアイデアを実演します。
班で話し合い、試作して、発表の準備をするまで約5時間。テーマは当日、班のみんなで決めます。
困りごとを持ち寄る→作るものを決める→試作・練習→5分以内で発表
AIやロボットアームを使って何を実現したいか、いきなり言われてもイメージがわかないかもしれません。1つだけ作例を掲載します。
作例「机片付けるマン」
課題と背景
机が散らかっている。でも、文房具や部品をどこに戻すか考えるのが面倒……。きれいになったら気分がいいのになぁ。
そんな声から、チームのテーマは「自動机整頓マシンを作ろう！」に決定。
将来の完成イメージ
当日はリーダー2本＋フォロワー2本を使い、物を動かす2本の腕を人が操作してデモします。
将来、実現したい姿
「全て片付けて」で、おまかせ。
机全体を真上から見下ろすカメラ1台と、四隅に取り付けたアーム4台。奥には「1. 文房具」「2. 遊び」「3. 雑貨類」の箱を並べます。「机片付けるマン、全て片付けて」と声をかけると、物の種類と戻す場所を考えて片付けます。
いつか、寝ている間にも片付けてくれたらうれしい！
ハッカソン当日に作るデモ
アプリが案内。腕は人が操作。
アプリが片付け先を表示
Claudeを使い、画像から物の種類を考え、「ペン → 文房具の箱」のように表示するアプリを作る。
2本の腕で片付ける
人が2本のリーダーを操作。フォロワー①がペン、②が部品を、それぞれの箱へ運ぶ。
「腕は人が操作しています」と説明して実演。将来の自動化を、分かりやすいデモで伝えよう。
画像をAIで判定する仕組みは、画面を作る作業とは別に接続・確認が必要です。指導者と進め、まずは撮影した画像1枚で試します。結果を人が選ぶ仮の画面で実演する場合は、そのことも説明します。
発表は「共感」から始めよう。
「机が散らかって、探し物が見つからないこと、ありますよね？」
困りごと → 発明の紹介 → 片付けの実演 → 将来できるようにしたいこと、の順なら魅力が伝わります。
各チーム5分以内。「どう作ったか」だけでなく、「あると誰がうれしいか」を話そう。
Claudeで、何が作れる？
言葉でお願いし、できたものを動かして、直していく。Claudeの「Artifacts」は、作ったアプリなどを画面で試せる機能です。
会話からアプリへ
この動画で分かること
「こんなものがほしい」という会話から、使えるアプリを作る。ClaudeのArtifactsを紹介する公式動画です。文章の返事を読むだけでなく、できた画面を操作できるところがポイントです。
例えば、学びたいテーマから問題を作る暗記カードや、自分好みの物語を作るアプリ。作りたいものを伝え、できたものを試し、さらにお願いして変えていく使い方につながります。
自分たちなら、誰のために、どんな画面を作る？「工具の名前を覚えるクイズ」「片付け先を教えるアプリ」など、合宿で作るものを想像しながら見よう。
まず冒頭から最大3分見よう。短い場合は動画の終わりまででOK。
見るポイント：お願いした内容が、文字の返事だけでなく「操作できる画面」になるところ。
英語を全部聞き取る必要はありません。画面の変化に注目しよう。
公式に紹介されているアプリの例
暗記カード：学びたいテーマから問題を作る。
物語づくり：自分好みの物語を作る。
学習サポート：理解に合わせてプログラミングを学ぶ。
これをヒントに、「工具の名前クイズ」「部品の整理案内」など、自分たちの目的へ変えてみよう。
フィジカルAIは、どこまで来た？
Google DeepMindが2026年7月に紹介した「Gemini Robotics 2」では、全身での動作、細かな物の操作、ロボット同士の協力が研究されています。
現実の物を動かすAI
この動画で分かること
言葉の指示を、現実の動作につなげる。Google DeepMindのGemini Robotics 2を紹介する公式動画です。周囲を見て、物を扱い、全身を使って作業するロボットの研究を紹介しています。
例えば、指定された物を棚へ運ぶような仕事には、「どれを持つ？」「どこへ運ぶ？」「どう動く？」という判断が必要です。細かな手の動きや、複数のロボットが協力する方向にも研究が広がっています。
自分の家やクラブなら、何を任せたい？「見る→考える→動く」のつながりに注目しよう。合宿では、この未来の働き方をアプリと人が操作する腕でデモします。
こちらも冒頭から最大3分。短い場合は終わりまで見よう。
見るポイント：どんな物を、どこへ、どう動かしている？ 自分の生活で任せたい作業はある？
研究の実演です。どんな場所でも必ず成功するわけではありません。当日のSO-101は人が操作します。
「何を作る？」を、
小さく、具体的に。
これだけだと伝わりにくい
「すごい片付けロボットを、全部いい感じに作って」
最初のお願いの例
「机を片付ける人向けのPC用アプリを作って。まずはペン・部品・小物のボタンを並べて、押すと片付け先の箱を大きく表示して。カメラとロボットの接続は、まだ付けないで」
誰のため？ → 何を入力？ → 何を表示？ → まずどこまで？
この4つを伝えると、作りたいものが具体的になります。
動かしてから、次のお願い
「ペンを押すと『部品の箱』と出ます。『文房具の箱』に直して」
その次に「撮影した画像から物の種類を判定するには、何が必要？」と相談し、指導者と機能を足していこう。
最初から機能を詰め込まず、作る → 動かす → 直すを繰り返します。パスワードや個人情報は入力しません。
事前課題では、Claudeへの登録やアプリの完成は不要です。当日は指導者が用意した利用方法で進めます。
次は、あなたの
「あったらいいな」。
一人ひとりが案を考えて、案内されたGoogleフォームへ回答してください。当日、班のみんなで持ち寄ってテーマを決めます。
すごい技術を思いつかなくても大丈夫。自分や身近な人が困る場面を、1つ思い出そう。
1. 誰が、どんなときに困っていますか？
例：机が散らかったとき、何をどこに戻すか考えるのが面倒になる。
2. どんなサービス・商品・ロボットがあったらうれしいですか？ 名前と、してほしいことを教えてください。
例：「机片付けるマン」。お願いすると机の上を片付けてくれる。
3. そのアイデアの中で、PCのアプリとロボットアームは、それぞれ何をしますか？
例：アプリはカメラに映った物と片付け先を表示する。アームは物をつかんで箱へ運ぶ。
4. 当日、どんな場面を実演すると、アイデアの魅力が伝わりそうですか？
例：散らかった机から文房具を3個片付け、きれいになる様子を見せる。腕は人が操作する。
準備は、ここまででOK！
できることを知る。頼み方を知る。作りたいものを考えてくる。
当日は仲間と相談して、動く発明にしよう。
回答はこのページでは入力しません。提出用GoogleフォームのURLは、クラブからのお知らせを使ってください。