数据挖掘与分析对raw-title列标题进行文本分析
”
本文记录了作者使用Python爬取淘宝商品，挖掘分析商品数据，最后得出结论的整个过程。
项目介绍
项目目的
注：本项目仅以上述分析为例。
项目步骤
工具和模块
抓取数据
因为淘宝是反爬虫，虽然使用了多线程，修改了headers参数，但还是不能保证每次100%爬取，所以我加了一个循环爬取，每次循环爬取没有爬取成功的页面，直到所有Page抓取已成功停止。
注：淘宝商品页面为JSON格式，这里使用正则表达式进行解析。
代码如下所示：
数据清洗与处理
数据清洗和处理的步骤也可以在Excel中完成，然后读入数据。
代码如下所示：
注：根据需求，本案例只取item_loc、raw_title、view_price、view_sales四列数据淘宝关键词挖掘软件，主要分析地区、标题、价格、销量。
代码如下所示：
数据挖掘与分析
raw_title列标题的文本分析
使用口吃分词器，安装模块 pip install jieba：
过滤title_s（列表格式的列表）中的每个列表元素（str），删除不必要的单词，即删除停用词列表中的所有单词：
因为下面会统计每个单词的个数，所以为了准确起见，对过滤后的数据title_clean中每个列表的元素进行了去重，即每个标题划分后的单词是唯一的。
观察word_count表中的单词，发现jieba默认的词典无法满足需求。
有些词（如可移动、不可移动等）被剪掉。 这里，根据需要将新单词添加到词典中（也可以直接在词典dict.txt中添加或删除，然后加载修改后的dict.txt）。
词云可视化需要安装wordcloud模块。
安装模块有两种方法：
软件包下载地址：~gohlke/pythonlibs/#wordcloud
注意：下载的软件包必须放在Python安装路径下。
代码如下所示：
分析结论：
不同关键词对应的销售额总和统计分析
注：以“简单”一词为例，计算产品标题中含有“简单”一词的产品销售额总和，即计算风格为“简单”的产品销售额总和。
代码如下所示：
可视化表 df_word_sum 中 word 和 w_s_sum 列中的数据。 （本例以销售量最高的30个词进行绘制）
从图表中可以看出：
商品价格分布分析
分析发现有些值太大。 为了让可视化效果更加直观，这里我们结合自己的产品情况，选择了价格在2万以内的产品。
代码如下所示：
从图表中可以看出：
产品销售分布分析
同样，为了可视化更加直观，这里我们选择销量大于100的产品。
代码如下所示：
从图表和数据可以看出：
不同价格段产品平均销量分布
代码如下所示：
从图表中可以看出：
商品价格对销售的影响分析
同上淘宝关键词挖掘软件，为了让可视化效果更加直观，这里我们结合自己的产品情况，选择价格在2万以内的产品。
代码如下所示：
从图表中可以看出：
商品价格对销售的影响分析
代码如下所示：
从图表中可以看出：
各省商品数量分布
代码如下所示：
从图表中可以看出：
各省份商品平均销售分布
代码如下所示：
热图
微信后台回复关键词“淘宝”下载源码及相关文档
作者：孙芳辉，从事数据分析，热爱数据统计和挖掘分析