| [ 22776 ] 迷惑メール(spam)撲滅私的調査会 HTML化ログ |
|---|
ID-code:JI096QsAdIM
はじめまして、MNと申します。
私は学生で情報工学を専攻しており、スパムメール分析システムの構築を卒業研究にしようと考えております。
その仕様についてご相談したいと思い、投稿させていただきました。
スパムメールについては今年勉強をはじめたばかりなので至らない発言もあると思いますが、よろしくお願いします。
スパムメール分析システムはUNIX系OS（もしくはLinux）でサーバを立ち上げ、その内部での動作を予定しています。
動作は、
①ユーザに使用しているメールアドレスのpopサーバ、id、pass等を登録してもらう。
②一定の時間ごとにメールサーバへアクセスし、メールの分析を行う。
③結果を表示。java等で視覚化して表示させ、各ユーザのデータは保存しておく
システムの特徴は、利用者個人の分析結果を表示すると共に、利用者”全員”の分析結果を総合することでスパムメール全体の傾向をつかむことです。
③結果の表示では、
・時間帯別、日付別、月別のスパムメール数、容量
・国別の割合
・ジャンクメール（明らかなスパム）、バルクメール（おそらくスパム）、合法メールの割合
などの表示を検討しています。
まだ研究の前調べをしている段階で、「すでに似たような技術がある」「こんな機能があったらどうか」「この技術を使えば実現が簡単」と言ったアドバイスをいただきたいと思い、投稿させていただきました。
よろしくお願いいたします。
ID-code:DJp8wnmYjN2
MN様
テーマが大きすぎではないでしょうか？
たかだか１年程度の片手間の「研究」でSPAMを「語る」のは不可能だと思います
（世界中の「本職」のエンジニアが束になって研究しているのにSPAMが減らない原因を考えれば、SPAMの面倒さがわかるのでは？）
技術的なものを除外して傾向だけを調べるのであれば、個別のPCにSpamMailKillerを放り込んで、そのログをhdparに突っ込めば相当詳しく情報は得られます。
ただ、そうなると、どう考えても情報工学の卒業研究テーマではなく、統計学あるいは社会学のテーマではないでしょうか？
ID-code:no_id
学生さんがやる気出してがんばっているのですから、頭からやる気を挫くような事を書かなくても・・・。
今は無理でも、将来すごい物に発展したり、すばらしいアイデアが生まれて、
スパム撲滅のきっかけになるかもしれませんし。
私はあまり詳しくないので適切なアドバイスはできませんが、
ぜひがんばってください。（応援しかできなくて申し訳ない）
ID-code:DJp8wnmYjN2
>月夜様、
暑さも手伝ってか、随分批判がましく書いてしまいました
時期的に「夏休みの宿題どうしよう…」と重なるので…
よくわかんないんですけど、卒業研究ってのは複数年にわたるものなんでしょうか？
１年でカタをつけるのだとすると、正に「夏休みの宿題に慌てる状況」なんですけどね…
>MN様
さて、アドバイスですが、
・メールアドレスが異なると、着弾するSPAMの傾向は全く異なる
・英文が読めないと話にならない
・ハングルも読めればいいかも（シコタホァ系）
・とにかくSPAMを収集すること
サンプルは多ければ多いほど傾向が明らかになります。当然分析も面倒になります
英文SPAMが欲しければ、フリーのNGにメアド登録すればバンバン届きます
日本語SPAMが欲しければ、メジャーな掲示板にメアドを晒せばすぐです
恐らく、時間との戦いになるでしょう。頑張ってください
ID-code:mG11UlRCZEU（本記事は投稿者自身により08/21-09:40に修正されました）
Zeitです。
MNさんがお聞きになりたいことが今ひとつよく理解できていませんが、
> 2.一定の時間ごとにメールサーバへアクセスし、メールの分析を行う。
> 3.結果を表示。java等で視覚化して表示させ、各ユーザのデータは保存しておく
(注：丸つき数字は機種依存文字ですので変更しました。)
の間で行う「メールの分析」の手法・技術について知りたい、という理解でよろしいでしょうか。
以下、この前提でいくつかアドバイスします。
まず、あるメールが迷惑メールかどうか、その迷惑メールの種類は何か、という判断は、いろいろ考えられると思います。
「迷惑メール」の定義は難しく、ある1つのメールを見た時、ある人は「迷惑メールだ」と感じるのに対して、別の人は「別に迷惑メールとは思わない」と感じる場合も多々あります。
この点に十分注意し、まず最初に「この研究において『迷惑メール』とは、このようなものを指す」ということをきちんと定義することが重要かと思います。
なお、一般に「迷惑メール」と呼ばれるものとして
1.いわゆる未承諾広告メール
→詳細は後述します。
2.ウイルスつきメール
→ウイルス対策ソフトに引っ掛かる添付ファイルつきメール。
3.ストーカーメール、嫌がらせメール
→特定の差出人(知人の場合もあり)から繰り返し来る交際要求や誹謗中傷など。
4.返信やURLアクセスを促し違法行為につなげるもの
→ワンクリック詐欺等で後で架空請求が来るもの、偽サイトに誘導しクレジットカード番号などをフィッシングして不正使用するものなど。
があります。
さらに、1.の「未承諾広告メール」の中には
・ドラッグ販売系
・違法コピーソフト販売系
・違法コピーブランド品販売系(ブランド腕時計や鞄など)
・ケーブルテレビ違法チューナー販売系
・アダルトサイト勧誘系(直球なものから、親しげ、間違いを装ったものまで)
・出会い系サイト勧誘系(同上)
・金融系(保険や融資の勧誘などで、ヤミ金融の場合が多い)
・政治的主張系(いわゆる広島県知事名誉毀損スパムなど)
・その他、違法または違法スレスレ商品・サービス宣伝系
・まっとうな商品宣伝系(スパムの知識不足で、真面目な企業がつい未承諾広告メールを出してしまったもの等)
・本文内容がないもの(メールアドレスの存在確認目的で故意に空っぽのものや、ヘッダ内不正コードにより切れているもの等)
等があります。
さて、本題の「スパムかどうかを判断する技術」ですが、いわゆる「フィルタ」を作るのと似たものになります。
個々の人に対応したものとしては、ヘッダ内の特定の文字列により判断するものが一般的です。
以下のようなものが多く使われます。
・Received内のIPアドレス(特定のアドレス決めうちか、aaa.*.*.*といった範囲指定)
・Fromのアドレスやドメイン
・Toのアドレスやドメイン
・Subject内の文字列
上記ヘッダ内の情報の他、プロバイダ提供のサーバ側フィルタでは通信の秘密に抵触するとの判断で使えないことが多いのですが、メール本文中の文字列でも判断はできます。
これらの、ユーザが個々に細かく指定するパターンや条件での判断は、確実にできるフィルタリングとなります。
この他、特にパターンを指定せず、1つのメール全体を指して「このメールは迷惑メールである」とだけ指定した情報を蓄積し、それにより新たに来たメールが迷惑メールかどうかを自動的に判断する、という技術もあります。いま最も一般的なものは「ベイジアン・フィルタ」と呼ばれるものです。
詳しくは、検索サイトで探してみてください。多くの情報が得られるはずです。
実際にベイジアン・フィルタをインプリメントしたサンプルコードはないか、ということでしたら、Mozilla Thunderbirdというオープンソースのメールクライアントがありますので、このソースコードなら無料で入手が可能です。これも、検索サイトで簡単に見つかるはずです。
ただしライセンス条項などがありますので、当然ですがそれに違反しないようにお使いください(商業利用への流用でなければ、通常は問題ないはずですが)。
他にも、様々な迷惑メール対策技術が研究されていますが、それについてはIT関係のサイト(＠ITとかIT Mediaとか)で、サイト内検索をすればいろいろ見つかると思います。
スパム対策の技術は、他の方も書かれているように、非常に難しいものである反面、多くの「迷惑メールに困っているユーザ」には熱望されているものです。ぜひ、頑張って研究成果を出してください。期待しております(研究結果が公表可能でしたら、ぜひこの掲示板にご報告ください)。
私からは、以上です。
ID-code:JI096QsAdIM
>>おっさん様
返信ありがとうございます。
> テーマが大きすぎではないでしょうか？
> たかだか１年程度の片手間の「研究」でSPAMを「語る」のは不可能だと思います
研究は2年にわたり、論文発表、学外での研究発表のあるものです。
もちろん「スパムメールを全部撲滅する！」「シマンテックに勝つ！」などと思っているわけではなく、何か新しい方法でスパムメールにアプローチできたら、と考えています。
ここに書いた全ての機能を実装できない場合もありえますし、「大きなことを書きすぎ」とおっしゃるならそうかもしれません。既にある技術はできるだけ応用していくつもりです。
さて、書きそこねてしまいましたが一番上に書かせていただいたシステムは、WebメールやYahoo!ブリーフケースを利用するような手軽さでユーザー登録ができて、迷惑メールを分析できるシステムがあったらいいなと思ったのでこのような卒業研究にしました。
スパムメールは「無視と削除」といわれているので、スパムメールの分析は専門の会社しか行っておらず、個人やフリーでは少ないように見受けたのでこのようなシステムにしたいと考えました。
システムの特徴は、
1.スパムメールに詳しくない人でもスパムメールの分析ができる。
2.ユーザ全員の分析結果を総合する。
にしようと思っています。
>・メールアドレスが異なると、着弾するSPAMの傾向は全く異なる
2.でユーザ全員のデータを平均することで、スパム全体の動向がある程度把握できるようにします。
>・英文が読めないと話にならない
英文ならなんとか対応できると思います。
>・ハングルも読めればいいかも（シコタホァ系）
ハングルは…、正直無理です。
対応できない言語についてはヘッダのみを見るか、何か方法を考えていきたいです。
>サンプルは多ければ多いほど傾向が明らかになります。当然分析も面倒になります
「分析結果を出すこと」が研究ではなく、「分析するシステムを構築すること」がメインの研究です。
とはいえ、実行例が多いに越したことはないのでおっしゃるとおりサンプルは多く集めようと考えています。
>>月夜様
ありがとうございます。
お気持ちだけでありがたいです。
>>Zeit様
ご意見ありがとうございます。
教えていただいたことはちょうど知りたかったことと合致していて、役立ちました。
>ぜひ、頑張って研究成果を出してください。
海のものとも山のものともつかない研究を応援してくださってありがとうございます。
どこまでできるか本人もわかっていない状態ですが、胸を張って結果報告ができるよう努力します。
ID-code:DJp8wnmYjN2
>MN様
かなり明確なビジョンを持っていらっしゃるようで、感心しました
批判めいた書き込みをしてしまったのが恥ずかしいです
（実際、「教えて君」がホント多いのでそうしてもそっち系で身構えてしまいます）
研究の成功をお祈りしています
とりあえず、お詫びまで
ID-code:79G.esk4m2w
MN さん、こんにちは。
> 研究は2年にわたり、論文発表、学外での研究発表のあるものです。
それでしたら、SPAMメールを分析するより、
「海外発信メールをサーバーでブロックする手法」のような
研究テーマにしてもらえるとありがたいですね。
たとえば、私の場合は中国やマレーシアに友人がいないので、
中国発、マレーシア発のメールはすべて迷惑メールと判断できます。
何らかの事情で中国のａさんと知り合いになったときはａさんの
アドレスをホワイトリストに登録するとホワイトリストが優先され
ａさんのメールを受信することができる。
そして、この設定はユーザーごとに設定できる。
こんなシステムができればSPAMはブロックされる確率が高くなり、
効果が薄れるため、割が合わなくなり、廃れていくはずです。
こんなシステムを作る研究に切り替えてもらえませんか？
ID-code:mG11UlRCZEU
Zeitです。
> 「海外発信メールをサーバーでブロックする手法」のような
> 研究テーマにしてもらえるとありがたいですね。
これは、今から大学レベルで研究すべきものではないと思います。
なぜなら、ほとんどのメールはReceived内のIPアドレスで「どの国から発信されているか」を特定できるからです。
IPアドレス aaa.bbb.ccc.ddd のうち、先頭のaaaがどの地域に割り当てられているか、は
http://www.cman.jp/network/support/IP_list.html
で確認できます。
さらに、このページの下方に、aaa.bbb.ccc がどの国に割り当てられているか、が参照できるページが一覧になっています。
たとえば、日本を含むアジア・太平洋圏であるAPNICが管轄するものは、
http://ftp.apnic.net/stats/apnic/delegated-apnic-latest
で参照できます。
IPアドレスを特定できれば、whoisコマンドを発行して参照する、というのはもっと手っ取り早いですね(Geek Toolsの参照結果と同等のものが得られます)。IPアドレスに対し、英字2文字の国コード(日本ならJP、中国ならCNなど)が特定できます。
これで、IPアドレスから発信元の国が特定できますので、あとはそれが拒否対象に指定された国であれば拒否する、とすればいいわけです。
これは、技術的には難しくないのですが、とにかく煩雑なプログラムとなります(判断の数が非常に多いので、書く側からすると「面倒くさい」プログラミングとなるのです)。
これで1つだけ難しいところを挙げると、スパムのメールヘッダはよく偽装されているので、正しい発信元のIPアドレスを決めるのが困難なことがある、というところだけでしょう。ただ、hdparなどでも「このIPアドレス以降に不審な情報がある」といった警告が出るので、同じように「怪しいメール」や「判断ができないメール」については、何らかのマークをつけて残しておき受信者の判断に任せる、といった形にもできるでしょう。
残念ながら、今のところこういったフィルタを実装しているものは、サーバ(プロバイダ)側でもメールクライアント側でも実例を見聞したことがありません。
私は10年以上の＠niftyユーザですが、どこかのプロバイダが頑張ってこういった「指定した世界の地域や国から発信されたメールを受信拒否する」という設定ができるようなフィルタを作ってくれるなら、今からでもそこへ移行してもいいかな、と思いますね。
ID-code:3i9klsdUSss
Gokurakuです。
ヘッダ情報内のＩＰアドレスを用いたフィルタのお話になって
いますが、私も常々こういったフィルタの実装は必要であると
考えています。
確かにこちらの掲示板においてあまり推奨されている方法では
ありませんがいくつか理由を挙げると
１：国内初の迷惑メールの減少
別スレッド（記事２２７６６）の本年７月中の海外初の日本語迷惑
メール発信元分析と同時期の日本国内初の日本語迷惑メール発信元
分析（記事２２７６３）を比較すると日本語迷惑メールは同時期で
計２０１２通あり、うち日本国内初のものはわずか５９通（２．９
％）にすぎない。この傾向は今年春頃より顕著になり、国内初のも
のは海外初のものに比べて大幅な減少を示している。また国内初で
あったものが、海外へ移転したケース（誘導先ＵＲＬや、文面から
の判断）も複数見受けられ、最悪、国内初のものについてはフィル
タリングを行わなくても１日あたりの受信数が約２通でありＳＰＡＭ
の最大の弊害である「対処に時間を食う」部分においては大きな影
響がないと考えられる。
参照スレッド
記事２２７６６
http://www2g.biglobe.ne.jp/~stakasa/nospam_bbs/past/log/022766.html
記事２２７６３
http://www2g.biglobe.ne.jp/~stakasa/nospam_bbs/past/log/022763.html
２：国外発信の迷惑メールの集中状況
上記記事２２７６６において統計結果が出ているとおり海外発信の日本語
迷惑メールのおよそ７割が中国１国から発信されており上位３国（中国、
マレーシア、韓国）ではおよそ９割を占める状況となっている。
仮に上位５カ国（上記３国＋フィリピン、ブラジル）を排除できると試算
すると１８５３通（日本語迷惑メールのおよそ９２％）を排除できるとい
う試算になる
３：国外発信の迷惑メールのＩＳＰの集中
同じく記事２２７６６における統計で、最も多かった発信元ＩＳＰは
CNCGROUP（中国）で、その総数は６９５通であった。これだけで迷惑メール
のおよそ３分の１を閉めており以前の国内のSPAM２代巨頭（Freebit,NTT
PC Com）をも圧倒する発信数である。もちろんSPAMCOPでの通報は行って
いるし、問い合わせの英文メールに対しても、全くなしのつぶてである。
国内であれば、直接電話するという手もあるが、国外では言語の問題もあり
そうはいかない。
こういった理由から、対処をしないISP(国)からのメールは受信しないという
消極的な防衛策をとらざるを得ないのが現状なのではないだろうか。
さて、こういった事実を前提として、理想的なフィルタ条件を少し考えて
みよう。（私はプログラムなどはほとんど知識がありませんので実現できる
かどうかなどについては全くわかりません。ここで述べているフィルタリン
グの条件は「こんなフィルタリングができれば楽なのに」という意図のもの
です）
１）２バイト文字フィルター
まず簡単にできるものとして２バイト文字フィルターが考えられる。
（本文に２バイト文字の入っていないメールをフィルタリングする）
これによって半角英語のみの英文迷惑メールについてはほとんどがフィルタ
リングできるはずである。最近はペイジアンフィルタ逃れで本文が半角ロー
マ字の（内容としては）日本語迷惑メールが散見されるが、これもここで
フィルタリングできるだろう。
これによって
「英文迷惑メール」
「本文のないアドレス存在を確認するメール」
「本文が画像である迷惑メール」
を排除できると考えられる。
２）ヘッダ内のIPアドレスフィルター
これが一番欲しい機能である。
必要なメールを逃さないように考えられる手法としては
・海外の国別のIPアドレスを拒否するブラックリスト法
・国内と、自分の必要な国のIPアドレスを通過させるホワイトリスト法
の２つが考えられるが、設定の手間などを考えると「国にチェックを入
れるだけで拒否できる」ような手軽なものが望ましいが、次善の方法と
してはワイルドカードを用いる、もしくは範囲指定を行って拒否するのが
手軽ではないだろうか（私はいずれにしてもブラックリスト法を支持）
ワイルドカード法はワイルドカード(*)を用いてaaa.bbb.*.*を拒否する
ような設定をする。範囲指定であればaaa.bbb.1.1～aaa.bbb.255.255
を拒否する設定ができるようにする。
その理由をあげてると、ブラックリスト法を支持する理由としては
・現在の一極集中状態ではブラックリストでも十分効果が上がる
・ブラックリストの中でも、これだけは通すというホワイトリストの併用ができる
・ほとんどの場合、偽装があっても発信元IPは記述されているため、これを排
除の基準として用いることができる。ホワイトリストだと、国内に割り当て
られているIPをかかれると通ってしまう。
といった点が上げられる。
とりあえずこういった方法でフィルタリングできるアドオンができれば
うれしいのにと思います。まずは、ヘッダ内の文字列でフィルタリング
できる技術でしょうか（エンコードがShift-JISは排除とか）。
また、山田健一様のおっしゃっているSPAMPALですがなかなか初心者向け
であるとは言い難いと思います。また、必要なメール自体もフィルタリン
グしてしまうことを考えると受信後の振り分けにおいて上記のフィルタリ
ングができるメーラーが一番手軽なのではないでしょうか。
ID-code:79G.esk4m2w
Gokuraku さん、こんにちは。
> ヘッダ情報内のＩＰアドレスを用いたフィルタのお話になって
> いますが、私も常々こういったフィルタの実装は必要であると
> 考えています。
賛同ありがとうございます。
ISPがこのフィルタ方法を採用してくれて、大々的に宣伝して
くれれば、日本語spamはほとんど壊滅できると思います。
私は、現在のフィルタ技術はspam大国の米国用であると考えていま
す。
米国ではspam発信が多いので、国別ブロックは実装できません。
日本の場合は、国内ISPの努力により、spam発信が難しくなってい
ます。
そのため、spam業者が海外から発信するようになってきているわけ
ですが、国内ISPが海外発メールを受信ブロックする技術を実装すれ
ば、spamを発信しても読んでもらえないため、意味がなくなります。
そうなれば、必然的に日本語spamはなくなるでしょう。
そして、海外発メールをブロックできれば英文spamもブロックできてしまう一石二鳥です。
先進的なプロバイダの出現が待ち遠しいです。
ID-code:JI096QsAdIM
>>おっさんさま
いえ、私もかなりアバウトな書き方をしていました。
教えて君と勘違いされても仕方ありません。
>研究の成功をお祈りしています
ありがとうございます。
>>山田健一さま
>>Zeitさま
> 「海外発信メールをサーバーでブロックする手法」のような
> 研究テーマにしてもらえるとありがたいですね。
ユーザに望まれている機能のようですね。
検討してみます。
ご意見ありがとうございました。
ID-code:kSQPUW41PXo
とある弱小レンタルサーバの共同経営の一人で、サーバ管理の責任者です。
こちらでの対応状況を簡単に説明しますと、
SMTPで受けたメールは、全てフィルタを通され、分析されます。
電気通信事業者の立場からメールをフィルタに掛ける事は難しいのですが、
ユーザが４企業で、全て良く知っている企業なので、事前に伝える事で出来るのですが。
また、SPAMを誘う為のダミーアドレスをあちこちの掲示板等に書き込んで、
（掲示板にはダミーと書き込んであるので、自動収集されてSPAMしか届かない）
そこから主に学習させています。
ちなみに、bsfilterとspamassassinの２種類を使って、パターン分析を基本に、ベイジアンを併用して判定させています。
ただ、いくら学習させても、突然新しいパターンが増殖するので、追いつかないのですが。
フィルタで困るのは、本来必要なメールもSPAMと判定されてしまう事なので、
若干甘めな設定にせざるを得ません。
一度、これらのフィルタを使ってサーバを起こしてみてはどうでしょう？
spamassassinでは、
http://tlec.linux.or.jp/topic.html
が参考になります。
あと、こちらでの対応策は、気が向いた時（１～２ヶ月に１度くらい）に、
数日分のSPAMを、送信元と思われるアドレスの管理者に送る事くらいです。
ID-code:kSQPUW41PXo
大事な事を忘れていました。
ある人が見たSPAMは、他の人にとってSPAMでは無い。
と言う事です。
個人間でのメールでは、ほとんどSPAMのようなメールもあります。
それと、IPアドレスは、偽装（中継）可能である。
と言う事。
ID-code:JI096QsAdIM
hiro_lphさま
返信ありがとうございます。
> SMTPで受けたメールは、全てフィルタを通され、分析されます。
> ただ、いくら学習させても、突然新しいパターンが増殖するので、追いつかないのですが。
tumbleweed
(http://www.dtc.co.jp/products/Networking/tumbleweed/）など、管理者の立場の方がメールを分析する方法はあると耳にしていました。
tumbleweedは会社から新しいフィルタリングパターンを定期的にダウンロードして対応しているそうですが、そういうものはつかわず、自社でフィルタリング内容を学習させてらっしゃるんですね。
>一度、これらのフィルタを使ってサーバを起こしてみてはどうでしょう？
ありがとうございます。参考になります。
>ある人が見たSPAMは、他の人にとってSPAMでは無い。と言う事です。
>個人間でのメールでは、ほとんどSPAMのようなメールもあります。
>それと、IPアドレスは、偽装（中継）可能である。と言う事。
システムを実際に動かすとき、気をつけるようにします。