添加文章相似度计算（余弦夹角）

Author: hero

similarity_code/cosine.go

@@ -1,6 +1,67 @@
 package similarity_code
 
-import "math"
+import (
+	"github.com/huichen/sego"
+	"math"
+)
+
+//比对两片文章的相似度
+
+func ComPare(a string, b string) float64 {
+	var (
+		aArray    = Divide(a)
+		bArray    = Divide(b)
+		aArrayLen = len(aArray)
+		bArrayLen = len(bArray)
+		aMap      = make(map[string]int, aArrayLen)
+		bMap      = make(map[string]int, bArrayLen)
+		allMap    = make(map[string]string, bArrayLen+aArrayLen)
+		AllArray  = append(aArray, bArray...)
+		aA        []float64
+		bA        []float64
+	)
+	//计算出全部词的并集
+	for _, v := range AllArray {
+		allMap[v] = ""
+	}
+	//开始统计每个次出现的次数
+	for _, vA := range aArray {
+		if _, ok := aMap[vA]; ok {
+			aMap[vA] += 1
+		} else {
+			aMap[vA] = 1
+		}
+	}
+	for _, vB := range bArray {
+		if _, ok := bMap[vB]; ok {
+			bMap[vB] += 1
+		} else {
+			bMap[vB] = 1
+		}
+	}
+	//计算每个key出现的次数
+	for key, _ := range allMap {
+		if _, ok := aMap[key]; ok {
+			aA = append(aA, float64(aMap[key]))
+		} else {
+			aA = append(aA, 0)
+		}
+		if _, ok := bMap[key]; ok {
+			bA = append(bA, float64(bMap[key]))
+		} else {
+			bA = append(bA, 0)
+		}
+	}
+	//计算相似度
+	return Cosine(aA, bA)
+}
+
+func Divide(a string) []string {
+	var segmenter sego.Segmenter
+	segmenter.LoadDictionary("./dictionary.txt")
+	segments := segmenter.Segment([]byte(a))
+	return sego.SegmentsToSlice(segments, true)
+}
 
 //向量空间余弦相似度(Cosine Similarity)
 func Cosine(a []float64, b []float64) float64 {

similarity_code/cosine_test.go

@@ -9,12 +9,18 @@ func TestCosine(t *testing.T) {
 	t.Log(Cosine([]float64{1, 1, 1, 1, 1}, []float64{1, 0, 1, 1, 1, 1, 1, 1}))
 }
 
+func TestComPare(t *testing.T) {
+	A := "梦是美好的吗?我不能确定，但也不是悲伤的。天使的彩色羽翼张开，羽毛飘落，每一片羽毛都有一个梦，你的梦是什么颜色的羽毛?"
+	B := "我不能确定，但也不是悲伤的。天使的彩色羽翼张开，羽毛飘落，每一片羽毛都有一个梦，你的梦是什么颜色的羽毛?"
+	t.Log(ComPare(A, B))
+}
+
 func TestSego(t *testing.T) {
 	var segmenter sego.Segmenter
 	segmenter.LoadDictionary("./dictionary.txt")
 	segments := segmenter.Segment([]byte("梦是美好的吗?我不能确定，但也不是悲伤的。天使的彩色羽翼张开，羽毛飘落，每一片羽毛都有一个梦，你的梦是什么颜色的羽毛?"))
 	a := sego.SegmentsToSlice(segments, false)
-	b := sego.SegmentsToString(segments, true)
+	b := sego.SegmentsToSlice(segments, true)
 	for _, v := range a {
 		t.Log("a >>>>>>", v)
 	}