自然言語処理（NLP）の基礎―テクノロジー最前線 データアナリティクス&AI編（4）

自然言語処理を使ったAIモデル開発の流れ（簡易版） 

ここからはSMSメッセージがスパムか否かを判定するAIモデル作成の事例をもとに、自然言語処理がどのように活用されているかについて簡潔に紹介します。

データの内容：
label列: メッセージがスパムか否か（ham=スパムではない）
message列: SMSメッセージの内容

機械可読辞書とコーパスの構築

自然言語処理を行う前準備として、機械可読目録とコーパス(corpus)が必要になります。

耳慣れない用語ですが、「私たち人間が英単語帳、英語例文集を使って英語を勉強するように、機械が辞書を使いながら人間の書いた文章を学習する」というイメージを持っていただけると分かりやすいでしょう。

機械可読目録は「人間の言葉を機械が理解するための辞書」、コーパスは「言葉の使用方法を大量に蓄積・記録したデータベース」の役割を果たします。

今回の事例ではSMSメッセージが全て英語のため、膨大な英文データを収集し機械に学習させるイメージです。

実務に役立つTips

• Wikipediaなど、膨大な文章を保有しているサイトを活用してコーパスを構築することが一般的です。
• コーパスを構築する際には、NLTKやGensimなどのPythonライブラリを活用することで効率的に作業可能です。

形態素解析（およびその他の前処理) 

初めに行われるのが、形態素解析と呼ばれる作業です。これは「文章を単語レベルに分割し、品詞等の判別をする作業」のことです。以降で少し掘り下げていきましょう。

「単語レベル」で分割した要素は「形態素」と呼ばれており、これは言語学の用語で「意味を持つ表現要素の最小単位」を意味します。例えば、「私は日本人です」という文章に対して形態素解析を行った場合、「私 / は / 日本人 / です」となりますが、これをさらに「日/本/人」や「で/す」まで分解してしまうと意味が通じなくなってしまいます。

それでは、例文として有名な「すもももももももものうち」に対して形態素解析を行った処理結果を見ていきましょう。文章が形態素単位で分割され、それぞれに品詞が割り当てられます。

上記の例は日本語でしたが、今回のデータは英語の文章のためすでに各単語がスペースで分かれており、日本語と比較すると形態素解析を含む前処理が容易に行えます。

SMSメッセージの形態素解析 + 前処理の例：

前処理前：　URGENT! You have won a 1 week FREE membership
前処理後：　urgent win 1 week free membership

形態素解析を行うにあたって、下記のような前処理を行うことが一般的です(ほんの一例です)。

・感嘆符など特殊文字の削除
・単語を小文字へ変換
・”You”や”a”など、あまりにも一般的で分析の役に立たない単語（Stop Words）の削除

実務に役立つTips

• 形態素解析をする際のツール/ライブラリとして、日本語ではMecab、英語ではNLTKなどが有名です。
• 形態素解析以外にも、N文字単位で文字列を分解するN-gramという手法があります。「私は日本人です」という文章をN=3で処理した場合、「私は日」「は日本」「日本人」「本人で」「人です」という結果になります。

文章のベクトル化

次に形態素解析を行った文章をベクトル化します。「ベクトル化」とは以下のように「文章を数値化すること」です。

(例) ['urgent', '1', 'week', 'free', 'membership'] → [0.5253, 0.2347, 0.2654]

AIの学習を行うにあたってテキストのままでは機械が読み込めないため、数値に変換して処理する必要があります。

単語の出現頻度をもとにベクトル化するモデル、文章全体の文脈を考慮してベクトル化を行うモデルなど、現在までにさまざまな手法が確立しており、多くのモデルが無料公開（オープンソース）され世界中で利用されています。

今回はその中でも一番シンプルな、単語の出現頻度をベースにベクトル化を行う手法についてご紹介します。下図の例では、3つの文を使ってベクトル化を行っています。

1. まずは文章全体(3文章)でユニークな単語を全て抜き出します。
→ “I”, “like”, “dogs”, “cats”

2. 1単語あたり1列作成します。
→ 今回は4単語あるので4列

3. 各文における各単語の出現回数を数値化します。
→ 1番の文であれば、”I”, “like”,”dogs”の列に1を入れて、その他の列は0を入れる

SMSメッセージをベクトル化した結果：
4,179行の文章に対して、7,235列(= 7,235単語)のベクトルができました。

実務に役立つTips

• 上記の手法は出現数の多い単語の影響が強くなってしまったり、文脈を考慮できなかったりといったさまざまな欠点があるため、この手法を実務でそのまま使わないようにご注意ください。

AIモデルの学習

最後に、ベクトル化された文章をもとにAIモデルの学習を行います。今回の趣旨は自然言語処理のため詳細は割愛しますが、学習のイメージは、

[1, 1, 1, 0, 0, 0, 0] → Spam
[0, 1, 1, 1, 0, 0, 1] → Ham(=スパムではない)….

という流れで、どういったベクトルが来た時にスパムと判定すべきかをAIに学習させます。答えを準備して学習を行うため、教師あり学習と呼ばれています。

このメッセージはスパムで、このメッセージはスパムではない、といった正解データの準備は人間が行う必要があるため(ラベリング)、

• ラベリングを行うデータの収集・選別
• 正確なラベリングを行える専門家の協力
  (例: 契約書からリスクの高い条項を発見するAIを開発する場合、弁護士の協力が不可欠)
• 継続的に新規データを収集し、AIの再学習を行える仕組み作り

など、ベクトル化の手法以外にも色々と考慮すべき点があります。

SMSメッセージのデータを使ってAIの学習を行った結果：
SMSメッセージがスパムか否かを97%の精度で判定できるAIモデルの開発に成功。以下、Python（scikit-learn、外部サイト)を使ったAccuracyの出力処理とその実行結果です。

Pythonコード
metrics.accuracy_score(y_true, y_pred)  # y_trueは正解データ、y_predはAIの予測結果です。
実行結果
0.9727207465900933

実務に役立つTips

• 今回は簡易的にAccuracy（正解率）という指標を使用しましたが、仮に学習データの100行中99行が「ham」、 1行が「spam」と偏っていた場合、勘で全て「ham(=spamではない)」と予測するAIがあたかも精度99%の高精度AIかのように見えてしまう危険性があります。
• 探索的データ分析（EDA）と呼ばれる「データの特徴の分析・可視化」を行うことによってデータ理解を深め、Precision（適合率）やRecall（再現率）などさまざまな評価指標をケースに合わせて使用することで、上記のような“実践で役に立たないAI”を作ってしまうのを未然に防ぐことが可能です。

自然言語処理は急速に進化を遂げている技術であり、これを活用することで、これまでには得られなかった有用なインサイトを導き出すことができます。前回のコラムで紹介したように、PwCではさまざまな領域で自然言語処理や他のAI技術と幅広い専門分野の知見を組み合わせ、クライアントの課題解決を支援しています。