「4の1の1」を「4丁目 1-1」に、富士通が氏名/住所を補正するソフト発表

富士通は、住所や氏名のデータ表記を統一するデータクレンジングソフト「Interstage Information Quality」を、9月9日から販売開始したと発表した。10月末から出荷が開始され、来年には法人名のクレンジング機能を提供し、今後情報活用の適用範囲を拡大していくという。

「Interstage Information Quality」は、住所や氏名の表記のゆらぎを解消するためのソフト。データベースの住所や氏名には、漢字/ひらがな、区切りスペースの有無、数字の全角/半角などの表記ゆれが存在し、これはさまざまなシステムからデータを収集し、データ分析を行うBI分野では大きな妨げとなる。

日本語の表記ゆれの例

また、統合したデータベースでは、同一人物を示すデータが重複して存在するケースがあり、ダイレクトメールの重複発送や宅配物の配達遅延、顧客情報の不整合などの問題が生じている。

富士通ミドルウェア事業本部データマネジメントミドルウェア事業部長堀江剛氏

富士通ミドルウェア事業本部データマネジメントミドルウェア事業部長堀江剛氏は、「データを統合するための運用コストだけなく、時間もかかるというのが大きな問題となっている」と語る。

Interstage Information Qualityは、住所データを文節に区切ることなく、各要素ごとに住所辞書内の要素と総当たりで照合して一致する割合の高い住所を選択し、ゆれを補正する。

これにより、高速化を実現すると同時に、これまで他社のソフトではできなかった省略や誤りも補正できるという。

具体的には、住所の欠落補完、誤り補正、「丁番地」表記の標準化、住所・氏名の分かち書き、市町村合併等による新住所への変換といった住所・氏名のクレンジングや、ひらがな/カタカナ統一、半角/全角統一、空白/記号の除去といった文字列クレンジングを実現する。

Interstage Information Qualityのクレンジング機能

富士通の検証では、成功率は97%で、クアッドコアのCPUで100万件処理する時間は350秒ほどだったという。

表記ゆれの補正例

富士通の独自技術により成功率は97%を達成(社内検証による)

対応フォーマットは、入力、出力ともCSVで、企業のポリシーに合わせ、半角スペースで区切る、丁番地の区切りをハイフンにするなどの指定も可能だという。