Comment obtenir la liste des amis en commun entre toute paire d'amis dans le réseau à l'aide de pyspark

Question 1

J'ai trois dossiers comme ceci [('a1', ['b1', 'c1', 'd1', 'e1']), ('a2', ['b1', 'c2', 'd2', 'e1']),('a3', ['b1', 'c2', 'd1', 'e2'])] contenant l'id de la clé en tant que liste de valeurs pour chaque clé.

Je veux obtenir le nombre total de valeurs dans la liste pour chaque clé dans pyspark.
Comment je peux obtenir la liste des amis en commun entre toute paire de démons dans pyspark.

Question 2

1 utilisez Simplement l' size fonction.

df = df.withColumn('num_friends', F.expr('size(friends)'))

2 Utilisez l' array_intersect fonction permettant d'obtenir l'intersection de tableaux.

cp_df = df.toDF('key_pair', 'friends_pair')
cross_df = df.crossJoin(cp_df).filter('key!=key_pair')
cross_df = cross_df.select(F.create_map('key', 'key_pair').alias('key_pair'),
                           F.array_intersect('friends', 'friends_pair').alias('common_friends'))
cross_df.show(truncate=False)

过过招 · Answer 1 · 2021-11-24T02:39:00

1 utilisez Simplement l' size fonction.

df = df.withColumn('num_friends', F.expr('size(friends)'))

2 Utilisez l' array_intersect fonction permettant d'obtenir l'intersection de tableaux.

cp_df = df.toDF('key_pair', 'friends_pair')
cross_df = df.crossJoin(cp_df).filter('key!=key_pair')
cross_df = cross_df.select(F.create_map('key', 'key_pair').alias('key_pair'),
                           F.array_intersect('friends', 'friends_pair').alias('common_friends'))
cross_df.show(truncate=False)

Comment obtenir la liste des amis en commun entre toute paire d'amis dans le réseau à l'aide de pyspark

La question

La meilleure réponse

Dans d'autres langues

Cette page est dans d'autres langues

Populaires dans cette catégorie

Questions populaires dans cette catégorie