コピペチェックツールをつくってみるトライグラム(3-gram)編

そこでコピペコンテンツを摘発するアプリを作ってみることにします。

一文が完全に一致していた。これ、うっかりやってしまうことが多いいんですよ。悪気はなかったとしてもやっぱりアウトです。見逃してはくれません。

元の文章と新しく作成した文章で一文まるごと同じになっている部分をみつける方法はないのでしょうか？

文は「。」で終わるので文章を「。」で区切る。そして元の文章の中に同じものがないか調べます。

public partial class Form1 : Form
{
    private void button1_Click(object sender, EventArgs e)
    {
        List<string> vs = SearchCopySentence(richTextBox1.Text, richTextBox2.Text);
        if(vs.Count == 0)
        {
            MessageBox.Show("コピペされた文は見つかりませんでした。");
        }
        else
        {
            int count = vs.Count;
            string str = String.Format("コピペされた文が{0}件見つかりました。", count);
            MessageBox.Show(str, "", MessageBoxButtons.YesNo);
        }
    }

    List<string> SearchCopySentence(string oldText, string newText)
    {
        string[] split = new string[] { "\n", "。" };
        string[] oldSentences = oldText.Split(split, StringSplitOptions.RemoveEmptyEntries);
        string[] newSentences = newText.Split(split, StringSplitOptions.RemoveEmptyEntries);

        return newSentences.Intersect(oldSentences).ToList();
    }
}

public partial class Form1 : Form

{

private void button1_Click(object sender, EventArgs e)

{

List<string> vs = SearchCopySentence(richTextBox1.Text, richTextBox2.Text);

if(vs.Count == 0)

{

MessageBox.Show("コピペされた文は見つかりませんでした。");

}

else

{

int count = vs.Count;

string str = String.Format("コピペされた文が{0}件見つかりました。", count);

MessageBox.Show(str, "", MessageBoxButtons.YesNo);

}

List<string> SearchCopySentence(string oldText, string newText)

{

string[] split = new string[] { "\n", "。" };

string[] oldSentences = oldText.Split(split, StringSplitOptions.RemoveEmptyEntries);

string[] newSentences = newText.Split(split, StringSplitOptions.RemoveEmptyEntries);

return newSentences.Intersect(oldSentences).ToList();

}

これでは実際には役にたちません。

元の文章

書き換えた文章

両者は語尾を変えただけで、あとはまったく同じ文章です。こんな方法でコピペチェックをすり抜けられては困ります。

そこでどうするか？

トライグラム(3-gram) を使って文の類似度を調べるというのはどうでしょうか？

となりあった3個の文字の並びを取り出します。

であれば

ウェブ
ェブ上
ブ上の
上のコ
のコン
コンテ
ンテン
テンツ
ンツを
ツをそ
をその
そのま
のまま
まま自
ま自サ
自サイ
サイト
イトに
トに掲
に掲載
掲載す
載すれ
すれば
れば無
ば無断
無断転
断転載
転載で
載です

このように元の文章と書き換えた文章を比較して、同じ部分が多ければコピペで作られた文章と判断するのです。

public partial class Form1 : Form
{
    List<string> GetTrigrams(string str)
    {
        int len = str.Length;
        List<string> trigrams = new List<string>();
        for(int i=0; i< len-2; i++)
            trigrams.Add(str.Substring(i, 3));
        return trigrams;
    }

    float SimilarRateFromTrigram(string oldText, string newText)
    {
        List<string> oldTrigrams = GetTrigrams(oldText);
        List<string> newTrigrams = GetTrigrams(newText);

        // oldTrigramsにあるものはnewTrigramsから取り除く
        int intersectTrigramsCount = newTrigrams.Except(oldTrigrams).ToList().Count;
        int newTrigramsCount = newTrigrams.Count;

        // 残ったnewTrigramsの要素数が独自性。100％からこれを引いたものが類似率
        return 100 - 100 * intersectTrigramsCount/ newTrigramsCount;
    }

    private void button2_Click(object sender, EventArgs e)
    {
        float s = SimilarRateFromTrigram(richTextBox1.Text, richTextBox2.Text);
        MessageBox.Show(s.ToString(), "", MessageBoxButtons.YesNo);
    }
}

public partial class Form1 : Form

{

List<string> GetTrigrams(string str)

{

int len = str.Length;

List<string> trigrams = new List<string>();

for(int i=0; i< len-2; i++)

trigrams.Add(str.Substring(i, 3));

return trigrams;

}

float SimilarRateFromTrigram(string oldText, string newText)

{

List<string> oldTrigrams = GetTrigrams(oldText);

List<string> newTrigrams = GetTrigrams(newText);

// oldTrigramsにあるものはnewTrigramsから取り除く

int intersectTrigramsCount = newTrigrams.Except(oldTrigrams).ToList().Count;

int newTrigramsCount = newTrigrams.Count;

// 残ったnewTrigramsの要素数が独自性。100％からこれを引いたものが類似率

return 100 - 100 * intersectTrigramsCount/ newTrigramsCount;

}

private void button2_Click(object sender, EventArgs e)

{

float s = SimilarRateFromTrigram(richTextBox1.Text, richTextBox2.Text);

MessageBox.Show(s.ToString(), "", MessageBoxButtons.YesNo);

}

この方法だとコピペ率87％という厳しい数値（というより適正な数値）が出ます。

インチキ記事作成のなかに「単語の順番を入れ替える」というのがあります。

元の文章

書き換えた文章

この場合はコピペ率は83％になりました。単語の順番を入れ替えるだけでは見逃してくれないようです。

ではこれならどうか？

文章を自分で書くのは面倒ですよね。だからといってウェブ上に掲載されている文章をそのままパクって自分のサイトに掲載するのは絶対にダメ。著作権法違反で処罰されるかもしれません。ネタになるものがない場合、他のサイトに書かれていることを参考するのはいいのですが、文章は自分で考えてかきましょう。きちんとリライトしたつもりでも、文章を編集しているあいだに元の文章と同じになってしまうことがあります。気がつかなかったでは良いわけになりません。最低限、コピペチェックはやっておきましょう。

これならコピペ率26％まで下がりました。

コピペチェックツールをつくってみるトライグラム(3-gram)編

関連記事

鳩でも分かるC#管理人からのお願い

コメントについて

管理人のモチベーションアップのために

コメントをどうぞ