ブラウザジェスチャーに"URL割り当て"はかなり強力かも？

御多分に漏れずAIを使う機会も増えたきた筆者だが、先日はこちらの記事を参考にRaspberry Piで、オープンソースのAIエージェント「ZeroClaw」をインストールして、カメラスキルを設置しチャットツールに"シャッタープリーズ"の一声で自宅の一室をリアルタイム撮影するところまでハンズオンできた。

シャッタープリーズ

動画も可能なの？と聞いてみると、聞いているだけなのに勝手に試そうとする怖さはあるが、デフォルトの設定でかなり制限されているので、そこは簡単には通らない。代わりに動作までの道筋、スクリプトの作成などを提案する。

動画の方法を示すZeroClawc

インストールから設定、多様なLLMからの選択となかなか難易度の高いハンズオンだが、実行できるとスマートフォンからRaspberry PiのなかのLinuxのコマンドを組み合わせた動作でいろいろ拡張できるというわけだ。

設定するのにLinuxの基本操作、エラーメッセージ解読が随所に必要となるが、これもCopilotやGeminiなどのAIに聞けば、ほぼ正確な回答で進められる。サーバー周りでは必須な側面もあるLinuxを触ってスキルアップを図るという前向きなマインドも醸成される。

意外に強力なブラウザジェスチャー機能にURL

さて、AIでエラーメッセージ解読の成功率が比較にならないほど楽になっているとは言え、LLMの設定やconfigのコマンド追記の試行錯誤などの学びに労力を使った筆者。自動起動の方法など独自に進めるたびに、調べなければならないことも多々あり、何か手軽な成功体験で少し回復させようと考えた。

今回の"自然言語で操作"とは、違う何か似た感覚に覚えがある・・・そうだジェスチャー(Gesture)である。

ジェスチャーとは"身振り・手振り"を意味するが、ITの操作インタフェースに取り入れられてきた部分もある。Visorやソニーのクリエなどのガジェットも保有していたが、文字入力以外にも一定の操作が現在のIT機器にも備わっていた。

手軽なジェスチャー機能はブラウザの拡張機能である。右クリックのプレスで「←」戻る「→」進むなどストロークを描き操作する。ひさしぶりにインストールしてみると(Firefox Recommended拡張機能「Gesturefy」)、設定に以前(10年以上前)にはなかったと思われるURLへのリンク機能がある。

設定機能の新しいジェスチャー登録に「G」を手書きで登録、カスタムURLを登録にhttps://www.google.comを設定、