テキストマイニングとその周辺
2005年10月10日 Advertise&PR Business 某所で気になった(ESのふるいに使われているとか)のでテキストマイニング(Text Mining)について少し。
wikipediaの英語版によれば(日本語版にはまだ記事がない)
まぁ適当な訳で、しかも実は大した中身が無いんじゃん?って
疑惑ですが。ビジネス的にはアンケートの自由記述などから商品の評価などを機械的に分析してくれるみたいです。すごい!
http://www.cec.or.jp/e2a/other/04PDF/f24.pdf
例えば上記pdfはぐぐって出てきたモンですが授業の感想を書かせたものを解析してみたりしてます。
http://nazuki.jp/static/index.html
これはNTTデータの「日本語意味理解商品」という凄い名前の(いや製品名は脳の古代語「なずき」ですが)製品。
原理的には「形態素解析」というものを使ってやってるみたいなんですがケイ素?って感じの僕としては全くついていけません。でもwikipediaでその項を読んだだけでかなり面白そうだなぁ、という気はしてきます。理解できないなりに。要するに統計の質的データを量的データに変換してくれるんですね。しかもこれ、別にそんなところがゴールじゃなくて要するに「コンピュータに言葉の持つ意味を理解させる」事が目的なわけだからあー夢は広がるなぁと思うわけです。人工無能がなつかしい…。
今は辞書を使ってこの試みは行われているようですが人間ってそんな覚えてるんですかねー?辞書みたいに。なんか感覚的にはもっと普段はまとまってなくてばらけてて必要なところだけ思い出す(記憶を再生する)、みたいな感じかなとか思ったりします。いや僕、全然人の顔とか思い出せないんですが一回でも会ってると(というのは少し言いすぎだけど…)どこで何年後に会っても結構覚えてるんですよね。「〜ってどんな人?」とか言われても全然思い出せないのに。なんか凄く効率のよい記憶方法をしているのではないかと我ながら思うわけです。
なんか本でもよんでみようかな。
wikipediaの英語版によれば(日本語版にはまだ記事がない)
Intelligent text analysisやtext data minig、Knowledge-discovery in text(KDT)とも呼ばれるテキストマイニングは一般的には「興味深く、そして自明でない情報と知識を構造化されていない文章から抽出する過程」のことである。テキストマイニングは分野としてはまだ若い総合的なもので、 information retrieval, data mining, machine learning, statistics and computational linguisticsなどを利用している。
80%以上の情報がテキストとして蓄積されるのでテキストマイニングは高い潜在的商業価値を持つと信じられている。近年、テキストマイニングは非常に注目されている。世界中の調査グループだけでなく大企業のR&D部門もテキストマイニングに基づいた調査を行っている。例えばIBM、Microsoftなどである。
現存する最も大きなテキストマイニングのアプリケーションは多分機密であるエシュロンのスパイシステムであろう。
まぁ適当な訳で、しかも実は大した中身が無いんじゃん?って
疑惑ですが。ビジネス的にはアンケートの自由記述などから商品の評価などを機械的に分析してくれるみたいです。すごい!
http://www.cec.or.jp/e2a/other/04PDF/f24.pdf
例えば上記pdfはぐぐって出てきたモンですが授業の感想を書かせたものを解析してみたりしてます。
http://nazuki.jp/static/index.html
これはNTTデータの「日本語意味理解商品」という凄い名前の(いや製品名は脳の古代語「なずき」ですが)製品。
原理的には「形態素解析」というものを使ってやってるみたいなんですがケイ素?って感じの僕としては全くついていけません。でもwikipediaでその項を読んだだけでかなり面白そうだなぁ、という気はしてきます。理解できないなりに。要するに統計の質的データを量的データに変換してくれるんですね。しかもこれ、別にそんなところがゴールじゃなくて要するに「コンピュータに言葉の持つ意味を理解させる」事が目的なわけだからあー夢は広がるなぁと思うわけです。人工無能がなつかしい…。
今は辞書を使ってこの試みは行われているようですが人間ってそんな覚えてるんですかねー?辞書みたいに。なんか感覚的にはもっと普段はまとまってなくてばらけてて必要なところだけ思い出す(記憶を再生する)、みたいな感じかなとか思ったりします。いや僕、全然人の顔とか思い出せないんですが一回でも会ってると(というのは少し言いすぎだけど…)どこで何年後に会っても結構覚えてるんですよね。「〜ってどんな人?」とか言われても全然思い出せないのに。なんか凄く効率のよい記憶方法をしているのではないかと我ながら思うわけです。
なんか本でもよんでみようかな。