テキストマイニングとは？【簡単に】やり方、無料ツール

テキストマイニングとは、コンピュータに日常言語を分析させ、有益な情報を抽出すること。テキストマイニングの定義ややり方、無料ツールなどを解説します。

１．テキストマイニングとは？

テキストマイニングとは、コンピュータで日常言語を単語や文節ごとに区切って分析し、膨大な情報の中から有益なものを抽出すること。「text（文字）」と「mining（採掘）」を合わせた語です。

膨大なデータから有益な情報を探す「データマイニング」の一種で、テキストマイニングでは文字列のみを対象にします。

種類

テキストマイニングの種類は、主に「探索的データ解析」と「文書分類」の2つにわかれます。

1. 探索的データ解析：時系列変化や出現頻度など多くの観点でテキストマイニングを行い、全体の大きな傾向を新しく見出すこと
2. 文書分類：テキストマイニングを用いて文章データを分類すること

探索的データ解析は、本格的なデータ分析の下準備としてよく使われます。

２．テキストマイニングの活用シーン

ここではテキストマイニングの活用シーンとして、下記3つを説明します。

1. マーケティング
2. 人事
3. 論文

①マーケティング

テキストマイニングは、顧客満足度の向上を目指して、マーケティング全般に広く活用されています。マーケティングにおけるテキストマイニングの活用例は以下のとおりです。

• 顧客の声やアンケートの分析
• 口コミやSNSの分析
• コールセンターの応対品質の分析
• チャットボットといった質疑応答ツールの分析

テキストマイニングの活用により、商品やサービスの開発・品質改善の効率化が進むようになりました。

口コミやSNS分析

テキストマイニングはマーケティングの一部として、口コミやSNSの分析にひんぱんに活用されています。

口コミやSNSは市場や顧客ニーズの宝庫であるものの、量の多さゆえ分析は難しいとされてきました。しかしテキストマイニングが、分析の手間や時間を著しく短縮したのです。

そして大量のデータ分析がより身近になり、口コミやSNSの内容が商品・サービスの開発などに活用されるようになりました。

コールセンター

テキストマイニングはマーケティングの一部として、コールセンターの応対品質の分析に活用されています。

コールセンターの品質向上には、オペレーターの適切な評価が欠かせません。全応対の網羅的な評価は難しいとされてきましたが、テキストマイニングで文章化した音声を分析できるようになったのです。

オペレーターがより適切に評価できるようになり、応対品質が飛躍的に向上しました。

②人事

テキストマイニングは人事書類の分析、そしてそれによる人材の抽出など人事分野でも活用されています。

人事に関わる書類は幅広く、「社員アンケート」「自己申告書」「面談履歴」「エントリーシート」「業務日誌」など非常に膨大です。これまでは量の多さゆえ、すべてを活用しきれていませんでした。

しかしテキストマイニングの導入により、短時間での有効な分析が可能となったのです。やる気のある人材や離職する可能性の高い人材など、対応が必要な人材を効率よく抽出できるようになりました。

③論文や特許などの動向分析

論文や特許などの専門書類は、専門性の高さゆえに正確な理解が難しく、全体の関連性や傾向を見出すのもかんたんではありませんでした。

そこでテキストマイニングを使い、文章内の単語や語句で専門書類を自動で分析する手法を考案。この手法によって需要のある分野や他社の動向を把握できるようになりました。

３．テキストマイニングの効果とできること

「マーケティング」「人事」「論文」などの動向分析に活用されているテキストマイニングの効果とできることを説明します。

1. 市場や顧客ニーズの分析
2. 将来予測
3. 時間と経費の削減
4. 客観的にデータを分析
5. 離職防止
6. ハイパフォーマー分析

①市場や顧客ニーズの分析

テキストマイニングを利用すればインターネット上の大量の書き込みを正確に素早く分析し、市場や顧客ニーズを効率的に把握できます。

インターネット上の書き込みは貴重な顧客の意見。しかし同時に誤情報や偏りなども生じやすく、また大量であるがゆえ一つひとつ分析していくのも困難です。

テキストマイニングを利用すれば、誤情報や偏りなどを取り除いた有益な情報が短時間で抽出できます。正確な市場や顧客ニーズがいち早くわかるため、売り上げの伸び悩みや機会損失を効果的に改善できるのです。

②将来予測

テキストマイニングを利用すれば、大量のデータから今後のトレンドや売れ行きを予測できます。

テキストマイニングは大量のデータを文字列で分析し、もし何度も登場する語句があれば、そこから今後のトレンドを予測可能です。また同じ手法で商品が売れやすい時期の把握などもできます。

現在ビジネス分野だけでなく、株価の変動や病気の流行などの予測も可能になりつつあるのです。

③時間と経費の削減

テキストマイニングを利用すれば、大量のデータを短時間かつ自動で分析でき、時間と経費の大幅な削減につながります。

人の手による大量のデータ分析には、これまで時間と人件費、一定のミスなどがつきものでした。しかしテキストマイニングで、短時間の自動分析で時間と経費の削減が可能となったのです。

人的なミスがない結果を得られるうえ、ツールによっては見やすい形へのデータ加工も行えるため、さらに分析が効率化します。

④客観的にデータを分析

テキストマイニングを利用すれば、客観的な事実にのみもとづいた分析が可能となり、より正確な結果が得られます。人間による分析には、主観による判断や思い込み、重要な見落としなどがつきもの。

しかしテキストマイニングは、客観的な事実にのみもとづいた分析結果を得られます。さらに人間では見出せないような関連性の抽出も可能です。

⑤離職防止

テキストマイニングを利用すれば、離職の予兆が分析でき、それにもとづいた適切な離職対策が講じられます。

たとえばテキストマイニングで大量の人事書類を効率的に分析し、離職前の社員に共通する特徴を抽出。それにもとづいてスクリーニングを行えば、離職する可能性の高い社員が判明します。人事担当者はいち早く離職防止対策に着手できるのです。

⑥ハイパフォーマー分析

テキストマイニングを利用すれば、ハイパフォーマーを客観的に分析でき、その結果を組織の強化に活用できます。

優秀な自社社員の行動や発言などのデータをテキストマイニングで分析し、共通する行動特性や特徴が見つかったらそれらを社員教育へ組み込むのです。たとえば優秀な営業職の社員がいたら、営業トークを分析して成約率の高いマニュアルを作れるでしょう。

教育に組み込むことで社員のパフォーマンスが向上し、組織全体の強化につながります。

４．テキストマイニングの分析手法

ここでは主なテキストマイニングの分析手法として、下記4つを説明します。

1. 主成分分析
2. センチメント分析
3. 対応分析
4. 共起分析

①主成分分析

シンプルで分かりやすい結果を得るため、データの項目を減らして分析する手法のこと。

データの項目をわざと減らせば分析がより単純になり、それに伴って結果もシンプルで分かりやすくなります。全体の傾向を可視化するのに適しているものの、重要なデータを切り捨ててしまうリスクもあるのです。よって運用は慎重に検討しなければなりません。

②センチメント分析

顧客の感情を言葉により、「肯定」「否定」「中立」の3つに分ける手法のこと。「感情分析」と呼ばれる一般的な手法です。「好き」や「楽しい」などは肯定、「嫌い」や「悲しい」などは否定、事実のみを記載したような文は中立にわけられます。

商品やサービスに対する評価を分かりやすく可視化できますが、年代や文脈などは分析に反映されません。分析前に人の手で補足を入れるなど、精度を高める工夫が求められます。

③対応分析

項目同士の関係を散布図として可視化する手法のこと。コレスポンデンス分析とも呼ばれ、ほかの手法に比べて類似点や相違点を見出しやすいのが特徴です。

分類項目と集計項目の相関をわかりやすく表すのに適しており、「加工前のローデータ」「アンケート」「リサーチ」など、クロス集計表の可視化によく利用されます。

④共起分析

言葉同士の関係性を洗い出し、意味や特徴を分析する手法のこと。登場回数の多い言葉やセットで使われる言葉を明らかにして、そのデータにおける大まかな傾向を見出します。

また共起分析でよく用いられるのが、結果を図式化した「共起ネットワーク」です。共起ネットワークでは言葉同士のつながりを線で、登場回数の多さを円などで表し、結果を視覚的にわかりやすく伝えます。

５．テキストマイニングのやり方

テキストマイニングはどのような手順で行うのでしょう。テキストマイニングのやり方を、4つの手順にわけて説明します。

1. データ収集
2. データ前処理
3. 構造化データへ変換し蓄積
4. 分析

①データ収集

テキストマイニングの目的を明らかにしたうえで、それを達成しうるテキストデータを収集します。主なテキストデータ例は、以下のとおりです。

• 電子メール
• Webページ
• SNS
• アンケートの回答文
• 問い合わせ履歴

顧客のニーズを知りたいならSNSやアンケートの回答文、自社サイトのFAQを改善したいなら問い合わせ履歴など、目的にあったテキストデータを選びましょう。

②データ前処理

パソコンで正しく処理できるよう、収集したデータから利用できないものを取り除き、決まった形式にそろえます。

パソコンは欠損や異常値、ダブルミーニングがあるデータは分析できず、また決まった形式に従わないデータは読み込み自体できません。収集したデータを選別し、形式をそろえておけば、より正確な分析結果が得られます。

Pythonによる収集と加工

データを効率よく収集する手法に「スクレイピング」があります。スクレイピングとはWeb上のデータを自動収集し、抽出や加工をおこなうこと。このスクレイピングは「Python（パイソン）」というプログラミング言語で作れます。

Pythonでスクレイピングツールを作れば、「キーワードに合致した画像データを大量に収集する」「Webサイトから収集したデータをまとめてCSVファイルで出力する」などの一連の作業を自動化できるのです。

③構造化データへ変換し蓄積

前処理を施したデータを、より分析しやすい「構造化データ」に変換し、蓄積しておきます。構造化データとは、列と行という構造を持つデータのこと。分析に最も適したデータ形式といわれています。

しかしテキストデータは非構造化データで、そのままでは効率的に分析できません。そのため分析前に、あらかじめ構造化データに変換しておく必要があるのです。

④分析

テキストマイニングを行い、結果やそれに対する考察をわかりやすくまとめます。テキストマイニングの手法は目的にあったものを選び、また結果は直感的にわかるよう「棒グラフ」「ヒストグラム」「フローチャート」などで表しましょう。

６．テキストマイニングツールの選び方

テキストマイニングツールを選ぶ際は、操作性や扱えるデータや機能などに注目しましょう。ここではテキストツールの選び方を説明します。

操作性

操作性のよいツールを選べば、ストレスなく短時間で作業を終えられます。

テキストマイニングは、有益な結果が出るまで、繰り返し行われるのが一般的です。扱いにくく複雑なツールでは、ストレスが溜まったり、余分な時間がとられたりしてしまうでしょう。

とくに「基本操作」「該当箇所の参照」「結果の視覚化」がかんたんで分かりやすいツールを選ぶと効率的に作業を進められます。

扱えるデータ

テキストマイニングの目的を明らかにし、それに対応したデータを上手く扱えるツールを選ぶと、有益な結果を得やすくなります。

扱えるデータの範囲や、どのようなデータを得意とするかはツールによってさまざま。SNSなどのチャット文字まで分析できるツールもあれば、会話などの音声データに強いツールもあります。

目的を踏まえたうえで、対応するデータを扱えるツールや得意とするツールを選びましょう。

機能

テキストマイニングの目的を踏まえ、それに対応する機能を搭載したツールを選べば、より効率的に分析・結果を活用できるでしょう。

搭載機能はツールによって異なり「形態素解析」や「構文解析」といった基本の分析機能にくわえて、「自動分類」「音声のテキスト化」「グラフ化やランキング化、マップ化」など多岐にわたります。

７．テキストマイニングの無料ツール

テキストマイニングツールは有料のものばかりではありません。テキストマイニングの無料ツールを4つご紹介します。

Excel

マイクロソフトの表計算ソフト「Excel」では、関数機能を利用すればテキストマイニングツールとしても利用できます。Excelをテキストマイニングツールとして使う方法は、以下のとおりです。

• スペースを利用して文章を単語ごとに区切る
• COUNTIF関数で単語の数をカウント
• SUM関数やINDEX関数で単語の数を合計

形態素解析エンジンや集計用のソフトウェアを併用すると、より効率的にテキストマイニングが行えます。

UserLocal AIテキストマイニング

インストール不要で気軽に使えるツール。対象の文章をアップロードするだけで単語の登場回数や関係性を分析し、ワードクラウドや共起ネットワークとして見える化します。

KH Coder

ソースコードが公開されており、カスタマイズも可能なツール。単語の登場回数や関係性から文章の特徴を見出せます。スライドや動画で利用法が詳しく解説されているため、テキストマイニング初心者にもおすすめです。

統計ソフトR

統計データの分析用ソフトとして開発されたツール。多彩な統計処理機能を備えており、テキストマイニングツールとしても利用できます。高度な分析ができますが、プログラミング言語「R」の知識を要するため初心者には難しいかもしれません。

８．テキストマイニングツールの活用事例

テキストマイニングはすでに多くの企業で活用され始めています。ここではテキストマイニングツールの活用事例をふたつ説明しましょう。

雪印メグミルク

乳製品メーカーの雪印メグミルクでは、コールセンターへの入電内容をテキストマイニングにかけ、自社商品についての新たな気づきを得ました。

同社のコールセンターには、年間約6万件にも上る顧客の声が集積。しかし膨大な量ゆえに活用しきれていませんでした。

そこでテキストマイニングシステムで分析したところ、会社側が想像していなかった食べ方や利用シーンなど、貴重な顧客の意見が明らかになったのです。

ヤマハ

楽器や電子機器などを製造しているヤマハは、顧客の評価分析にテキストマイニングを導入。

以前から顧客満足度の向上を追求していたものの、「顧客の声から細かな評価分析を行う」「結果を見やすく出力して共有する」という2点がなかなか実現できなかったのです。

テキストマイニングツールの導入で、短時間での分析とグラフなどを用いた視覚的なレポーティングが可能となりました。今ではテキストマイニングによる分析を複数の部門へ拡大しています。

９．テキストマイニングの理解に役立つ本

これからますます注目されるであろうテキストマイニング。ここではテキストマイニングの理解に役立つ本を2冊ご紹介します。

テキストマイニング入門 ExcelとKH Coderでわかるデータ分析

テキストマイニングの意味や効果、手法を解説している本です。データの準備やデータクレンジングといったテキストマイニングの基本を押さえたうえで、無料ツール「KH Coder」を利用した具体的な分析法を学べます。

マンガやイラスト、図解でわかりやすく解説されており、テキストマイニングに初めて触れる方にもおすすめです。

動かして学ぶ! はじめてのテキストマイニング

KH Coderを利用したテキストマイニングを、開発者が自ら解説した本です。入門から応用までKH Coderによるテキストマイニングを幅広く、また具体的な事例を用いて紹介しています。

入門だけでもKH Coderの基本的な使い方や、Excelでのデータ準備、クロス集計などが含まれており、ひととおりの分析が実行可能です。第2部は応用にあたり、アンケート自由記述やレポート、インタビューや新聞記事などのデータ準備を解説しています。