使用 bs4 抓取网页时
soup = bs4.BeautifulSoup(res.text, 'lxml')
网页编码为 gbk,在 windows7 下没有任何问题,但在 centos7 下 input conversion failed due to input error...
centos7 默认是 utf-8,所以在 centos7 下是需手动转码下
soup = bs4.BeautifulSoup(res.text.encode(charset), 'lxml')
使用 bs4 抓取网页时
soup = bs4.BeautifulSoup(res.text, 'lxml')
网页编码为 gbk,在 windows7 下没有任何问题,但在 centos7 下 input conversion failed due to input error...
centos7 默认是 utf-8,所以在 centos7 下是需手动转码下
soup = bs4.BeautifulSoup(res.text.encode(charset), 'lxml')
展开阅读全文