input conversion failed due to input error

使用 bs4 抓取网页时

soup = bs4.BeautifulSoup(res.text, 'lxml')

网页编码为 gbk，在 windows7 下没有任何问题，但在 centos7 下 input conversion failed due to input error...

centos7 默认是 utf-8，所以在 centos7 下是需手动转码下

soup = bs4.BeautifulSoup(res.text.encode(charset), 'lxml')