神刀安全网

拨云见日,浅谈游戏领域的数据分析

一年一度的TI刚刚结束,来自世界各地的dota2职业战队齐聚西雅图,争夺这一dota2领域的荣誉桂冠,同时还有高达900多万美金的冠军奖金,最终此项荣耀由来自中国的Wings战队豪取。

拨云见日,浅谈游戏领域的数据分析

本文将以dota2为例浅谈一下电子竞技领域的数据分析。

准备

巧妇难为无米之炊,进行数据分析当然需要先有数据。这里,我们拿dota2各种比赛的BP数据进行分析(BP,就是Ban/Pick,赛前每个战队Ban掉5个英雄,Pick 5个英雄,然后开始比赛。对于实力接近的两个队伍,BP对比赛最终的胜负有极其重要的作用)。

BP数据可以从某网站获得:

拨云见日,浅谈游戏领域的数据分析
(获取每一局的链接)

拨云见日,浅谈游戏领域的数据分析
(获取每一局的对战详情)

使用python来进行网页爬取,信息采集,入库,分别需要引入package:urllib2, BeautifulSoup, MySQLdb。同时由于效率问题,最好使用多线程爬虫,用到threading 和Queue:

拨云见日,浅谈游戏领域的数据分析

引入Pickle是希望在程序过程中不断持久化已经得到的数据(list对象),可以保存进度。

main程序里面轮询page num,读取每个page页面的match url,放入Queue,同时起NUM_WORKER数目的子线程,不断地读取Queue里面的url(生产者消费者问题),进行页面爬取,并使用BeautifulSoup parse HTML文档,得到需要的各种信息(所属赛事,时间日期,每场胜者(这里面一个url可能有多场比赛),队伍名,成员,Ban,Pick,Bestof等),以特定的分隔符按照相同的顺序拼接成字符串,放入一个全局的list对象,最终load到MySQL。

多线程,爬取match url等的代码如下:

拨云见日,浅谈游戏领域的数据分析

拨云见日,浅谈游戏领域的数据分析

拨云见日,浅谈游戏领域的数据分析

do_work主要处理对于每一场比赛,进行爬取,以及parse HTML文档得到详细信息,如下:

拨云见日,浅谈游戏领域的数据分析

拨云见日,浅谈游戏领域的数据分析

编码完成,就nohup到后台执行。我开了8个线程,依然用了将近10个小时得到22000场比赛数据,插入MySQL数据库(urllib2.urlopen方法中加入了timeout值,可以记录timeout的request url,用于重新抽取)

MySQL Table DDL:

拨云见日,浅谈游戏领域的数据分析

拨云见日,浅谈游戏领域的数据分析

全部条目数:

拨云见日,浅谈游戏领域的数据分析

TI6总决赛Wings vs DC:

拨云见日,浅谈游戏领域的数据分析

单独看下第二行数据:

拨云见日,浅谈游戏领域的数据分析

分析

首先,可以看下整个TI6期间所有战队的胜率排行:

拨云见日,浅谈游戏领域的数据分析

EH胜率最高。

此外,还能根据战队,或者联赛名称做filter,进行分析,这些都是纯SQL操作,不再赘述。

接下来可以使用R进行高级一点的分析:设定的场景是取所有胜场的pick list,然后分析hero frequency,还有做因子关联分析。

先了解三个术语:支持度(Support),置信度(Confidence),提升度(Lift)

支持度:Support(A→B),即A和B这两个项集在事务集D中同时出现的概率,为P(AUB)

置信度:Confidence(A→B),即在出现项集A的事务集D中,项集B也同时出现的概率,为P(B|A) = P(AUB) / P(A)

提升度:Lift(A→B),即项集A出现情况下,项集B出现的概率,与B总体发生概率之比,为P(B|A) / P(B)

满足最小支持度的项集称为频繁项集,满足最小支持度和最小置信度的规则,叫做强关联规则,强关联规则里面如果提升度大于1则称之为有效的,反之无效。

接下来,需要导出winner pick list,因为dota2版本的不同,会导致不同的英雄热度,在此只取基于最近的一个版本的近1500场比赛:

拨云见日,浅谈游戏领域的数据分析

导出成文本备用,winner_pick.data。

R里面做因子关联分析,需要使用到arules这个library,如下:

拨云见日,浅谈游戏领域的数据分析

第一行引入arules,第二行读取winner_pick.data文本,定义分隔符为“|”,第三行对数据集查看summary。

可以看到winner数据集中一共有1454行,每行有5个element,arules会把数据集转换为稀疏矩阵,从上图看出这个矩阵有1454行109列,每一个单元格里面表示的是此element是否出现(即此英雄是否pick)。

看下item frequence:itemFrequencyPlot(winner, topN=10, horiz=T)

拨云见日,浅谈游戏领域的数据分析

把数据集换成TI6(数据集较小,180场比赛左右),重新生成plot:

拨云见日,浅谈游戏领域的数据分析

可以看出Mirana(Pom)在TI6胜场pick里面占了很大比例。

接着进行因子关联分析,依旧使用1500多场那个数据集,数据集比较大情况下分析比较有意义:

拨云见日,浅谈游戏领域的数据分析

第一行使用apriori进行关联分析(分析满足支持度大于0.01,置信度大于0.25,且lhs + rhs数目最少为2的关联规则),第二行依据支持度排序关联规则。

Tiny与Io,Luna与Shadow Demon,Huskar与Dazzle成为比较火的组合,组内提升很明显;同时Phoenix(凤凰)和FV(虚空)组合支持度比较高,即组合选择比较多。

后续除了因子关联分析,还可以选取适当的feature,进行逻辑回归,预测胜负等等。

小结

本文简单介绍了从数据提取,清洗转换,到数据分析的一般流程。当然数据工程师处理的可能是更大的数据集(TB级别或以上),Hadoop存储以及Spark分布式计算,数据分析师使用的是可能是逻辑回归,SVM或者深度学习等更为高深的算法,不过从中还是可以看到数据工程师,数据分析师的日常剪影。


本文作者:韩新润(点融黑帮),目前就职于点融数据团队,负责数据仓库架构流程设计以及数据ETL实施。

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » 拨云见日,浅谈游戏领域的数据分析

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址