ケース6 - コンテンツフィルタへの悪意のある入力

米国の「Children's Internet Protection Act(CIPA)」は、公立の学校や図書館では、子供に害があるとみなされたインターネットコンテンツをブロックするメカニズムを使用することを義務付けている。Blocker Plusは自動のインターネットコンテンツブロッカーで、CIPAの要件に適合することを助けるものである。Blocker Plusは、ソフトウェアを開発した会社が管理するブラックリストを使って不適当なコンテンツをブロックする。Blocker Plusはユーザーが使い易いインタフェースを提供しており、家庭で子供の両親が用いる場合にも人気があった。

しかし、ブラックリストを常時メンテナンスするのは大変なため、Blocker Plusのメーカーは、マシンラーニングを使って不適当なコンテンツを自動的に認識するという試みを開始した。この変更の開発中は、Blocker Plusは家庭と図書館のユーザーの入力を使ってマシンラーニングシステムの学習を行った。初期の結果は満足すべきものであり、Blocker Plusはこのやり方を製品にも適用することにした。そして、Blocker Plusは、システムを改良するため、ユーザーの入力を使って学習を行うことを継続した。

最近のレビューで、開発チームは、ブロックが不適当であるという苦情が寄せられていることに気が付いた。ゲイやレスビアンの結婚、ワクチンの接種、気候変動やその他のCIPAではカバーされていないコンテンツがブラックリストに追加されているというケースが増えていた。

調査の結果、いくつかの活動家のグループが、Blocker Plusのフィードバックメカニズムを使って、識別モデルを汚染するように入力を与えていることが判明した。しかし、モデルを正しく戻すことは難しいことから、Blocker Plusのメーカーの幹部は、活動家のグループに属するアカウントを閉鎖し、不適当な入力が無くなれば、その内にはモデルは正しいものになっていくという希望的観測から、従来のモデルを使い続けることにした。古いモデルに戻すとすでに不適当と認識されているコンテンツがブロックされなくなるという問題が出るため、現在のモデルを使い続ける方が、社会的、ビジネス的なリスクは小さいと判断したのである。

倫理規定を用いたケース6の分析

Blocker Plusは、法律で子供に害があると指定されたコンテンツをブロックするように設計されたシステムである。フィルタリングは一種の検閲であるが、子供は脆弱性を持った保護されるべきものであり、自由な行動にはいろいろな制約を受けると理解されている。大人に対する影響を減らすため、CIPAは要求があれば、フィルタを停止できる機能を持たせることを義務付けている。Blocker Plusは、社会的に責任のあるコンピュータの使用を助けるものであり、米国の法律に適合している。この点で、Blocker Plusシステムは【1.1項】(すべての人々がコンピューティングのステークホルダーであることを認め、社会と人間の良好な状態(well-being)に貢献する )、および【2.3項】(プロフェッショナルの仕事に付属する既存のルールを理解し、それを尊重すること)の規定と矛盾しない。

しかし、Blocker Plusのマシンラーニング技術を組み込むと言う変更は、倫理的に問題がある。この変更は複雑でリスクを含んでおり、【2.5項】(コンピュータシステムの包括的で完全な評価を与えること。それには考えられるリスクの分析を含むこと)はマシンラーニングの適用には特別の注意が必要と規定している。

意図的な誤った使用からシステムを守ることに失敗しており、Blocker Plusは必要な注意を払っているとは認められない。この見落としは【2.9項】(システムは堅牢で、間違った使い方をしても安全であるように設計、製造されること)の違反である。また、複数の活動家のグループは協調して悪意のある入力をシステムに与えた。システムは、広く一般にアクセスできるものであったが、悪意のある入力が許可されたと信じる理由は無く、【2.8項】(コンピューティングやコミュニケーションを行う手段へのアクセスは、その使用が認められた場合と公共の利益のためにやむを得ない場合に限ること)は、入力できるからというのはこの誤用を正当化する十分な理由とはなり得ないと規定している。

Blocker Plusがマシンラーニングを使った結果、正当な公衆の興味であり安全なコンテンツへのアクセスがブロックされ、性的指向に基づく差別的なブロックが行われるという害が生じた。したがって、この変更は【1.2項】(害を与えることを避ける)と【1.4項】(公平で差別を行わないように行動する)に違反している。

この問題に対するBlocker Plusの対応は、倫理的なジレンマを悪化させてしまった。特に、Blocker Plusはシステムの限界について株主や大衆に対して十分な情報開示を行うという努力をまったく行っていない。これは【1.3項】(正直に、信頼されるように行動する)、【2.4項】(適切なプロフェッショナルの評価(Review)を受け入れ、また、与えること)、および【2.7項】(コンピューティングや関連テクノロジ、とその結果について公衆の知識や理解を広めること)に違反している。

また、Blocker Plusのケースは、社会の教育インフラストラクチャとして組み込まれている。【3.7項】(社会のインフラストラクチャに組み込まれるシステムは、明確に識別して特別に注意を払うこと)は、そのようなシステムの開発者はそのシステムを責任を持って管理する責任を負うことを定めている。適当な保護機能をシステムに組み込んでおらず、システムの制約についての情報公開を行っていないという点で、Blocker Plusは管理責任を規定する【3.7項】に違反している。

倫理規定の適用

ACMの会員は、この規定を順守することが求められ、規定に違反する行為があれば書面をもってCommittee on Professional Ethicsの委員長、あるいはACMのPresident、あるいはACMのCEOに申し立てを行う。

ただし、ACMは任意加入の学会であるので、会員以外の人の規定違反を罰することは出来ない。したがって、規定違反の申し立てを受け付けることも出来ない。

そして、会員の違反が申し立てられた場合は、申し立てを審査し、まず、どのようにして違反のダメージを回復するかの勧告を出して問題の解決を図る。違反者が勧告を受け入れてダメージを最小化することになれば、それで解決である。

違反者が勧告を受け入れない場合は、3人の委員からなるパネルが再審査を行う。そして、違反者がパネルの裁定を受け入れない場合は、処分ということになる。しかし、ACMは司法機関ではないので、最も重い処分はACMからの除名である。その次に重い処分は、学会誌などへの論文の掲載の禁止である。

ケーススタディにでてきたQ社がACMのメンバーであるかどうかは分からないが、この罰則は、多分、Q社には何の影響も与えないと思われる。しかし、Q社はACMの倫理規定に重大な違反をしているという指摘から、Q社に勤めているACMメンバーのエンジニア達が会社を辞めると言い出せば、Q社としても放ってはおけず、倫理規定に違反しないように方針を変更する可能性はある。そうなれば、この社会の倫理性を高める効果を発揮することができる。