某电商商品属性获取分析

最新消息，日前，宜家的控股企业Interogo Holding AG斥资17亿瑞典克朗(约1.90亿美元)买入海恩斯莫里斯(H&M)集团0.6%的股份，并拥持有了后者0.3%的投票权。这是Interogo Holding AG第一次拥有快时尚企业的股份。

为完成一个小型爬虫项目，在并未操作该网站提供的API情况下，细致分析了国内某著名电商网站商品属性的获取思路和方法，兹此记录分享，学习交流。

静态页面部分

为了获取静态页面部分的内容，需要操作firefox的搭建者功能禁用javascript，如图

勾选"Disable JavaScript"。刷新页面后可见。通过静态页面可获取标题，商品ID，分类号，商品URL，图片url等内容。可直接操作正则表达式或xpath等工具分析获得，这里不再赘述。

动态内容部分

该网站大部分商品属性都是通过ajax动态获取的。还是通过浏览器来分析。取消勾选"Disable JavaScript"后，操作"Network"工具可对服务器响应的包进行抓包和分类。为避免反复重新加载页面时缓存的影响，勾选"Disable Cache"选项。先打开"Network"界面，然后刷新页面，可获得加载过程的抓包内容。ajax请求返回的数据为json或js类型。

例如：某json数据，url为

可在network工具箱内查看其response内容为

对照页面内容后发现其中p字段正是商品费用数据！

通过直接打开链接得到json串为

此response中带有回调函数名"cnp"，观察在url中也有一个相同字段。遂尝试在url中去掉该字段，重新请求后

获得json：

继续尝试删除请求中的get参数，最终发现可用

正常获取到相同的数据。

获取到费用数据，方便了自动化生成。其余不能通过静态内容获取的属性均可类比分析尝试获得。

<HiShop（www.HiShop.com.cn）是国内知名公司级电商网站提供商，为公司级商家提供最佳的软件搭建（多种商业模式电商网站开发：B2B/B2B2C/B2C/O2O/新零售等）、供应链软件开发及电商行业解决规划服务>