風力発電設備の点検時間が10分の1に! MATLAB活用における自動化・高品質化のコツ

全国に100箇所の発電設備を保有し、出力規模1800万kWを提供する電源開発株式会社(J-POWER)。クリーンで再生可能なエネルギー資源である風力発電にもいち早く取り組み、全国23箇所で合計出力57.9万kWと、国内事業者としてトップクラスの規模を誇る。

電源開発が現在取り組んでいるのがドローンを活用した風車ブレードの点検・保守だ。MATLABで異常検出アプリを内製開発し、現場担当者がドローン操作から教師データ追加、AIモデルの更新までを可能とした。「現場でのAI活用」を成功させたのは、担当者の強い思いとそれを支えるMathWorksのコンサルティングサービスだった。

ドローンの空撮画像を深層学習し、風車ブレードの異常を検出

AIの社会実装の1つにドローンを使った社会インフラの点検・保全がある。橋梁や鉄塔、高層建築物などをドローンで空撮し、深層学習することで事故や故障につながる可能性のある破損や傷、劣化などを見つけ補修するというものだ。目視では見逃しやすいキズを高い精度で見つけたり、人手では手間のかかるメンテナンス作業を効率化するといったメリットがある。

ただ、ドローンの操作や画像の処理、AIの活用などは高度な技術やスキルを要するため、専門人材や専門業者に依頼すると、コストや時間がかかってしまう。そのようななかで、ドローン操作から、撮影した画像の処理、教師データ作成、AIモデルのアップデートまでを内製化し、現場担当者自らがAIを活用した保全業務を遂行できるよう目指した取り組みをしているのが電源開発(J-POWER)だ。

電源開発では、風力発電のための風車ブレード(回転羽)の外観検査にドローンを活用し、MATLABで作成したAIモデルを使った異常検出アプリでブレードの破損や傷をすばやく見つけ、さらに、新たな破損や傷が見つかった場合、現場の担当者がその場でMATLABアプリから新たな教師データとして学習させることを念頭にしている。AIモデルや推論へのフィードバックまで内製化し、現場担当者がAIの取り組みを自ら改善できるよう目指した取り組みを推進しているのだ。

この取り組みをリードした電源開発株式会社デジタルイノベーション部 DXソリューション室杉山豪氏は、こう説明する。

電源開発株式会社デジタルイノベーション部 DXソリューション室杉山豪氏

「電源開発では風力発電所を全国23箇所に設置し国内第2位の規模となる57.9万kWの発電設備を保有しています。今後も風車は建設され続けますが、高さ80mを超えるタワーや直径100mを超えるブレードをすべて人の目と手で点検・保守するには限界があります。そこで2019年からドローンを使った目視点検の代替を進めてきました。ドローンを使うことで点検・保守を効率化し、風車に落雷があったときなどの臨時点検を素早く行なうこともできます。大きな事故につながる故障をすばやく見つけるとともに、正常性を判断し再稼働が高速化できるため、発電・販売量の増加につながります。ただ、ドローンで撮影した画像からどのように修繕すべき箇所を見つけるかにはいくつか課題がありました。そこで採用したのがAI/深層学習のためのMATLABのさまざまなツール群です」(杉山氏)

内製化を推進。設備保有者にしかできない「答え合わせ」を目指す

ドローンによる点検・保守業務における最大の課題は、撮影した映像や画像を確認する手間だ。風車1基あたりの点検に際し、人による点検では2〜3時間程度かかるところ、ドローンを活用すると20分ほどで完了する。ただ同時に、撮影した画像の確認までを含めると、作業時間は大幅に増えてしまうという課題も抱えていた。

「撮影する画像は風車1基あたり300枚ほどになり、20基を点検すると6000枚になります。これらの確認作業をどう効率化するかが課題でした。画像の整理を外部に委託することもできますが、その場合、やりとりに時間がかかり、点検・保守の時間も長くなってしまいます。落雷時の緊急点検の際にはいかに風車の停止時間を短縮するかが問われます。結果をすばやく入手するためには画像解析の自動化と、処理の内製化が重要でした」(杉山氏)

画像解析を自動化することで点検時間と人の負担を減らすことができる。また処理の内製化を進めることで、自社のニーズを反映させやすくなり、運用しながら改善していくことができる。さらに、診断ノウハウが社内にデータベースとして蓄積されることで判断基準の明確化にもつながる。

「画像解析や深層学習のためのツールを探していたところ、上司からMATLABを勧められました。これまで利用した経験はなかったのですが、実際に自分でプログラミングして画像解析のPoCを行ったところ予想以上に良い結果が得られました。MATLABで内製化することで、課題やニーズに対してもダイレクトかつ迅速に対応が可能だとわかりました。特に重要だったのは、MATLABで異常検出アプリを作成することで、風車という設備保有者しかできない『答え合わせ』ができることでした」(杉山氏)

「答え合わせ」というのは、AIの予測モデルで検知した異常を実物で確認できるという意味だ。電源開発では風車設備を自社で設置・運用している。そのため、設備保有者として風車のリプレースのタイミングで実物を前に異常箇所の確認や、意図的に傷をつけるなど教師データを拡充することができる。つまり異常検出の精度などについてアプリ開発にダイレクトにフィードバックができるわけだ。

MATLABのわずか70行のコードでネットワークモデルを作成

PoCで好感触を得た杉山氏は、2020年から風車を管理する風力部門や各種ソフトウェア開発を行なっているグループ会社らと連携し、アプリ開発をスタートさせた。風力事業部門では設備画像の収集やアプリの検証を、グループ会社では教師データ作成や各種検証作業をそれぞれ担い、杉山氏が所属するデジタルイノベーション部が全体の管理やプログラムの改修を行なうというかたちで分担した。

「画像解析や深層学習のためのプログラムは、Image Processing ToolboxやDeep Learning Toolboxなどの製品群を使い、MathＷorksが公開しているコードやさまざまな情報を頼りに自作しました。MATLABは、ニューラルネットによる転移学習についてもわずか70行のコードでネットワークモデルまで含めて作成できるなど開発生産性が高いことが特徴です。また、学習もGPU搭載のPCで行うことができ、使い勝手が良いところが魅力です」(杉山氏)

異常検出アプリは、大きくアップローダーとビューワーという2つのアプリで構成されている。アップローダーは、ドローンが撮影した画像データを現場担当者がクラウド上の解析環境にアップロードすると、背景処理や画像結合などの前処理を行ったうえで、解析までを行なう。

一方、ビューワーは解析した画像を現場担当者がPC上で閲覧するもので、地点・号機・ブレードを選択すると、ブレードの全体像を異常箇所とともに表示する。現場担当者はビューワーに表示された解析結果をもとにすばやく異常有無を確認し、必要な修繕や塗装など補修計画を行なうことができるわけだ。

「最も苦労したのは、現場の担当者が使いやすいGUIをどう設計するかです。そこでMathＷorksに相談し、コンサルティングサービスで技術支援を受けながらアプリのGUI改善や前処理の効率化、学習精度の向上などに取り組みました。MathＷorksのコンサルティングサービスは、業務知識が豊富なエンジニアが伴走しながら具体的な実装方法の提案やアドバイスを行なってくれるため、非常に頼りになり、開発のなかで直面した課題をスムーズに解決できました。また、ソフトウェア開発会社とMathWorksと共に、MATLABという共通の環境で開発したので、プロジェクトを進めやすかったです。」(杉山氏)

伴走型の技術支援を受け、現場担当者が使いやすいアプリを開発

開発のなかで直面した課題の例として、前処理段階での背景の処理がある。ドローンで撮影した画像の背景には、空や森、道路、建物などが写り込むことにより物体の認識精度を落としてしまう。背景部分を除去するためにイメージラベラーを用いて背景領域をマスクしたが、背景と接していることにより故障箇所も多いブレードのエッジ部分までマスクされてしまうケースがあった。そこでエッジ部分の判定に処理を追加することで正しくブレードを抜き出せるようにした。

また、画像の結合処理も課題となった。撮影した画像はブレードを拡大して撮影するため画像単体ではブレードのどの部分かがわからない。しかし、補修するためには、ブレードのどの位置に異常が存在しているかをすばやく把握する必要がある。そこで特徴量抽出アルゴリズムを用いて、各画像の特徴点から画像を1枚のブレードとして結合できるようにした。

さらに、画像の解析段階では、解析の精度を上げながら、学習時間を短くすることが課題となった。精度については、18層のニューラルネットを使う「RestNet-18」モデルによる転移学習で97%という高精度を実現。学習時間はGPU搭載PCで約90分かかっていたが、MATLAB Compilerを用いて、必要な教師データと参照ファイルを別のPCにコピーし、複数台での並列処理を行うことで処理時間を短縮させた。

また、異常検出の結果についても、AIモデルがどこを見て判断しているかの根拠がわかるように、CAM(Class Activation Mapping)を用いて、過去に補修したであろう箇所を認識し可視化できるようにした。補修箇所はブレードの画像の上に重ねて表示できるため、補修履歴の管理が出来るようになる。

「こうしたさまざまな課題の解決にMathＷorksからいただいたアドバイスが生きています。さらに、AIの予測、CAM、現地調査の結果を比較することで、AIモデルの精度を『答え合わせ』し、さらなる改善につなげられるようになりました」(杉山氏)

異常検出アプリの開発は2021年から本格化するが、特にビューワーのGUI開発では、現場担当者の意見を踏まえてさまざまな使い勝手の向上が図られた。たとえば、補修履歴をブレードの画像として年度別に表示する機能や、拡大して見たい画像をクリックすると高精細な画像が表示されるといった工夫がある。ビューワーで拡大した画像のなかに、もし新たな異常部分を見つけたら、その箇所を指定して登録することで、新しい教師データを追加できるという仕組みも実装した。

作業時間は、これまでの10分の1に短縮

杉山氏は最も工夫したというアプリのGUI開発について、こう話す。「GUIは、MATLAB App Designerを用いて開発しています。アプリの画面開発もまったく経験がありませんでしたが、MathＷorksのアドバイスやドキュメントを見ながら簡単に作成し、MATLAB Compilerで実行形式にして展開することで、MALTAB環境のない関係者（点検、解析）と共有アプリとして展開することができました。ドローンが撮影した大量の画像を1つのZIPファイルにまとめてアップロードすればクラウドに登録できるなど、使い勝手のよいUIになっています。また、ビューワー上からブレード全体を見て故障箇所の確認や、過去の履歴を見ることができます。新たな教師データを現場担当者自らがその場で追加することで、点検・保守業務を高度化していくことができる点も大きなポイントです」(杉山氏)

完成した異常検出アプリは2022年から正式に風力事業部門で試験利用を開始したが、さまざまな効果を確認している。

まず、人に代わってドローンによる画像取得が実現できたことで、作業時間は10分の1にまで短縮された。また、自らドローンを操作し、画像データをクラウドにアップロードし、同じPCを使いその場で解析結果の確認やAIモデルへのフィードバックする一連の動きが確認できたのだ。

また、AIモデル作成や教師データの追加などを含めアプリ開発のサイクル全体を内製化することで、アプリの改善や自社のニーズに沿ったカスタマイズが可能になる。AIモデルの再作成やチューニングなども外部の事業者に頼らずに迅速に社内の意思決定で実施できる。これは今後の風車の設置が増え、海外など異なる環境でのアプリ活用の際に、より効果を発揮することになる。

さらに、アプリ開発内製化の成功事例ができたことで、AIの実装に向けた新しい取り組みの土台を作ることができた。今後は、風車に備わる数百個のセンサーのデータをAIで解析し、ブレード以外の部分における点検や保守などに生かしていく方針だ。

「現場の担当者が深層学習などの新しい技術を簡単に使えるようにすることを強く意識しました。ナレッジやノウハウを蓄積しながら、自社ニーズに即したAI活用とDXを推進していきます」(杉山氏)

劣化・故障予測のMATLAB活用例

ここまで電源開発でのMATLAB活用について話をしてきたが、近しい事例として全日本空輸(ANA)で取り組んでいる劣化予測についても紹介したい。

ANA整備センターでは、故障予測技術の高度化を目指しているが、挙動が複雑で、様々な外部要素が影響しているような対象物の分析に苦慮していた。そこで1,000フライト以上、数十種類のセンサーデータの経時変化を、MATLABを使って解析。MATLABがもつローコードのデータ解析機能、予備知識なしでも分析手法を短時間で習得できる開発環境を活かしながら、キャビンエアコンプレッサーのベアリング劣化予測に取り組んでいる。現在ではコンプレッサーの機能試験に基づいた劣化の傾向分析が可能となっている。

設備保全や品質管理について、業界はもちろん各企業によって抱える課題は千差万別だ。しかし、ここで述べてきた2社の事例を見ても分かるように、自社で工夫しながらもMATLABとMathWorksのコンサルティングサービスを経て解決に繋げてきた実績がある。ぜひ、この機会にMATLAB活用を検討してみてはいかがだろうか。