集合知プログラミング、今日の進捗

あんまり進んでいません。以上


……だけではあれなので。現在「2.7 アイテムベースのフィルタリング」まで進んでいます。コードは10行程度プラスされただけ。

#!/usr/bin/env python
# -*- coding: utf-8 -*-

# Import
from math import sqrt


""" 映画評者と評点のDictionary """
critics = {'Lisa Rose':
               {'Lady in the water': 2.5,
                'Snakes on a plane': 3.5,
                'Just My luuck': 3.0,
                'Superman Returns': 3.5,
                'You, Me and Dupree': 2.5,
                'The Night Listener': 3.0},
           'Gene Seymour':
               {'Lady in the water': 3.0,
                'Snakes on a plane': 3.5,
                'Just My luuck': 1.5,
                'Superman Returns': 5.0,
                'You, Me and Dupree': 3.5,
                'The Night Listener': 3.0},
           'Michel Phillips':
               {'Lady in the water': 2.5,
                'Snakes on a plane': 3.0,
                'Superman Returns': 3.5,
                'The Night Listener': 4.0},
           'Claudia Puig':
               {'Snakes on a plane': 3.5,
                'Just My luuck': 3.0,
                'Superman Returns': 4.0,
                'You, Me and Dupree': 2.5,
                'The Night Listener': 4.5},
           'Mick LaSalle':
               {'Lady in the water': 3.0,
                'Snakes on a plane': 4.0,
                'Just My luuck': 2.0,
                'Superman Returns': 3.0,
                'You, Me and Dupree': 2.0,
                'The Night Listener': 3.0},
           'Jack Matthews':
               {'Lady in the water': 3.0,
                'Snakes on a plane': 4.0,
                'Superman Returns': 5.0,
                'You, Me and Dupree': 2.0,
                'The Night Listener': 3.0},
           'Toby':
               {'Snakes on a plane': 4.5,
                'Superman Returns': 4.0,
                'You, Me and Dupree': 1.0}
           }


def sim_distance(prefs,person1,person2):
    # 2人とも評価しているアイテムのリストを得る
    si={}
 
    for item in prefs[person1]:
        if item in prefs[person2]:
            si[item]=1

    if len(si)==0: return 0

    sum_of_squares = sum([pow(prefs[person1][item]-prefs[person2][item],2)
                          for item in prefs[person1] if item in prefs[person2]])

    return 1/(1+sum_of_squares)

def sim_pearson(prefs,p1,p2):
    si={}
    for item in prefs[p1]:
        if item in prefs[p2]: si[item]=1

    n=len(si)
    if n==0: return 0

    sum1=sum([prefs[p1][it] for it in si])
    sum2=sum([prefs[p2][it] for it in si])

    sum1Sq = sum([pow(prefs[p1][it],2) for it in si])
    sum2Sq = sum([pow(prefs[p2][it],2) for it in si])
    
    pSum = sum([prefs[p1][it]*prefs[p2][it] for it in si])


    # ピアソン相関によるスコア計算
    num = pSum - (sum1*sum2/n)
    den = sqrt((sum1Sq-pow(sum1,2)/n)*(sum2Sq-pow(sum2,2)/n))
    if den == 0: return 0

    r = num/den
    return r

# 評者とのマッチング
def topMatches(prefs,person,n=5,similarity=sim_pearson):
    scores=[(similarity(prefs,person,other),other)
            for other in prefs if other!=person]

    scores.sort()
    scores.reverse()
    return scores[0:n]

# personへの推薦を算出 person以外の全ユーザの評点の重み付き平均
def getRecommendations(prefs,person,similarity=sim_pearson):
    totals={}
    simSum={}
    for other in prefs:
        # 自分自身とは比較しない
        if other==person: continue
        sim=similarity(prefs,person,other)

        # 0以下は無視
        if sim<=0: continue

        for item in prefs[other]:
            # まだ見ていないものの得点を算出
            if item not in prefs[person] or prefs[person][item]==0:
                # 類似度*スコア
                totals.setdefault(item,0)
                totals[item]+=prefs[other][item]*sim
                simSum.setdefault(item,0)
                simSum[item]+=sim
    
    rankings=[(total/simSum[item],item) for item,total in totals.items()]

    rankings.sort()
    rankings.reverse()

    return rankings

def transformPrefs(prefs):
    result={}
    for person in prefs:
        for item in prefs[person]:
            result.setdefault(item,{})
            result[item][person]=prefs[person][item]
    return result


def calculateSImilarItems(prefs,n=10):
    # アイテムをキーとして持ち、それぞれのアイテムに似ているアイテムの
    # リストを値としてもつディクショナリを作る
    result = {}

    #嗜好の行列をアイテム中心なかたちに反転させる
    itemPrefs = transformPrefs(prefs)
    c = 0
    for item in itemPrefs:
        c+=1
        if c % 100 == 0: print "%d / %d" % (c,len(itemPrefs))

        # このアイテムに最もにているアイテムたちを探す
        scores = topMatches(itemPrefs,item,n=n,similarity=sim_distance)
        result[item] = scores
    return result