音を体感するUIのプログラミング教育環境をろう学校などに富士通が無償公開

富士通は12月11日、オンラインで記者説明会を開き、音を体感するユーザインタフェース「Ontenna(オンテナ)」のプログラミング教育環境を全国のろう学校や普通学校向けに無償公開した。

「Ontenna(オンテナ)」の外観

文部科学省が目指す「誰一人取り残すことのない、公正に個別最適化された学び」の実現に向けたICTによる教育環境整備支援活動の一環として、同社は2019年6月からOntennaの体験版を全国の7割強のろう学校に無償提供しており、発話やリズム練習の授業や学校生活などで活用されている。

Ontennaは、音の大きさをリアルタイムに振動と光の強さに変換し、伝達するユーザインタフェース。これを髪の毛や耳たぶ、えり元やそで口などに付けたユーザーはリズム、パターン、大きさといった音の特徴を知覚することができる。

また、ろう者に音を届けることを目的に、ろう学校の教育現場をはじめとしたスポーツ観戦やコンサート、タップダンス鑑賞など、さまざまな環境での実証や、ろう者との協働研究を経て、2019年8月から提供している。

富士通グローバルサービスビジネスグループビジネスマネジメント本部戦略企画統括部事業企画部 Ontennaプロジェクトリーダーの本多達也氏は、Ontennaについて「60dB(デシベル)～90dBの音圧を256段階の光と振動の強さにリアルタイムに変換することで、リズムやパターンといった音の特徴をろう者にと伝えるものだ。2012年から研究を開始し、2014年に情報処理推進機構(IPA)の「未踏プロジェクト」に採択され、2019年に製品化しており、現在では全国のろう学校で音楽、発話練習、体育の授業などで活用されている」と説明する。

富士通グローバルサービスビジネスグループビジネスマネジメント本部戦略企画統括部事業企画部 Ontennaプロジェクトリーダーの本多達也氏

今回、ろう学校でも広く使われているOntennaに対し、プログラミング機能と指導教材を併せた教育環境を無償公開する。プログラミングを通し、ユーザーが感じたい音の大きさや高さに対して、Ontennaの振動や光のパターンをカスタマイズすることが可能になる。

プログラミング機能は、世界中の学校で初心者学習用に使用されているビジュアルプログラミングランゲージツール「Scratch」を用いたOntennaプログラミング機能を提供。ユーザーが感じたい音の大きさや高さに対して、Ontennaの振動の強さや光の色をプログラムすることで「大きな音が鳴った時に3回振動する」「小さな音をキャッチすると赤く光る」といったカスタマイズができるようになる。

「Scratch」を用いたOntennaプログラミング機能のイメージ

加えて、指導教材は全国のろう学校や教育機関での活用を目指し、プログラミング機能の指導教材をろう学校の教職員と協力して作成し、対象授業は総合的な学習の時間、対象学年は小学部4年生への指導を基準としているが、3～6年生への指導も可能。

内容は、教育指導案が教育指導者向けプログラミング授業指導案、授業用スライドがプログラミング授業の投影資料、ワークシートがプログラミング学習プリント、ユーザーズマニュアルがプログラミング機能の基本操作集となる。

さらに、教育指導者には教育指導案・授業用スライド・ワークシートなどを提供することで授業での活用を支援し、全国のろう学校や普通学校に対してプログラミング教育の普及を目指す。

教育指導案・授業用スライド・ワークシートを提供する

共同で開発に携わった東京都立葛飾ろう学校教務主任の杉岡伸作氏は「子供たちと授業をするなかで感じたことは、自分でこういう音に気付きたいと考え、音の種類を分析して大きな音や高い音をプログラミングするという経験を通して、聴覚障害に対する解決策を主体的に学ぼうとしていた」と述べていた。

東京都立葛飾ろう学校教務主任の杉岡伸作氏

なお、開発したOntennaプログラミング教育環境は、科学技術振興機構(JST)の戦略的創造研究推進事業(CREST)の研究領域「イノベーション創発に資する人工知能基盤技術の創出と統合化」における研究課題「計算機によって多様性を実現する社会に向けた超AI基盤に基づく空間視聴触覚技術の社会実装(研究代表:「xDiversity」落合陽一)」の支援を受けて開発した。

xDiversityの落合陽一氏は「人の多様性をどのようにしてAIで拡張できるかというビジョンのもと、2020年代には自動化が肝になり、その後は人は支えられるものではなく、多様性を受容したまま社会で生きていくことが本質的な課題だ。そのよう中でソフトウェアはキーパートとなり、これまで障がいに関する技術と高齢化に関するの技術は違うマーケットと認識されていたが、これらのマーケットを拡張していくには高齢化社会を逆手にとり、違いに寄り添う計算機技術を発展させていくことが肝要だ。われわれのアプローチは能力多様性に伴う困難、つまり視覚障がい、聴覚障がいなどに対して、どのようにAIを活用できるかに注力し、一環としてOntennaを機械学習を活用して知能化させていくことは重大なテーマとなる。機械学習により、われわれは他者をどのように理解するかについて、Ontennaを用いた教育には非常に期待している」と話す。

xDiversityの落合陽一氏

今後、まずはろう学校でのプログラミング教育の活用を進め、普通学校向けにも広く普及させ、また機械学習を用いてチャイムの音や赤ちゃんの泣き声といった、特定の音に反応するOntennaのプログラミング機能の開発を目指す。

プログラミングを行うろう学校の生徒の様子

今回のプログラミング教育環境の公開にあわせ、Ontennaを用いたプログラミング教育に興味のある学校・教育機関を対象に、アンケート回答に協力いただいたうえで、標準でOntenna10個を1か月間無償で貸出す。プログラミング教育用Ontenna無償貸出しの申込みは、Ontennaプログラミングサイトで確認できる。

富士通理事 Fujitsu Way、産学官連携推進担当兼サステナビリティ推進本部長兼ダイバーシティ推進室長の梶原ゆみ子氏は「今年に定義した当社のパーパス(存在意義)は“イノベーションによって社会に信頼をもたらし、世界をより持続可能にしていくこと”だ。そのため、今回の取り組みは当社がこうした取り組みを通して、誰1人取り残すことなく、教育環境を提供するとともに新しい子供たちの可能性を広げていければと考えている」とコメントしていた。