实现某东商城某商品评论数据的爬取(评论数据不少于100条,包括评论内容、时间和评分)

84bfb77877b84c5cb8823ec40abddd7a.png 实现某东商城某商品评论数据的爬取(评论数据不少于100条,包括评论内容、时间和评分)  nbsp page score 第1张


源码:



import requests
import csv
from time import sleep
import random

item_id = input("请输入商品ID:")
def main(page,f):
    url = 'https://club.jd.com/comment/productPageComments.action'
    params = {
        'productId': item_id,
        'score': 0,
        'sortType': 5,
        'page': page,
        'pageSize': 10,
        'isShadowSku': 0,
        'fold': 1
    }
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.35 Safari/537.36',
        'referer': 'https://item.jd.com/'
    }
    resp = requests.get(url,params=params,headers=headers).json()
    comments = resp['comments']
    for comment in comments:
        content = comment['content']
        content = content.replace('\n','')
        comment_time = comment['creationTime']
        score = comment['score']
        print(score,comment_time,content)
        csvwriter.writerow((score,comment_time,content))
    print(f'第{page+1}页爬取完毕')
 
if __name__ == '__main__':
    with open('04.csv','a',encoding='utf-8',newline='')as f:
        csvwriter = csv.writer(f)
        csvwriter.writerow(('评分','评论时间','评论内容'))
        for page in range(2):#()内为采集页数
                main(page,f)
                sleep(5+random.random())






作者头像
哆哆盘创始人

上一篇:关于/lib64/libc.so.6: version `GLIBC_2.28' not found报错修复
下一篇:一款带Web管理面板的内网穿透工具:lanproxy使用教程

发表评论

https://s.click.taobao.com/CfzAAut