BeautifulSoup遇到emoji,解析会自动截断

写代码的时候发现BeautifulSoup遇到emoji,解析会自动截断。导致后面的数据都消失。

解决办法:
用emoji库预先把文本里的emoji编译为CLDR Short Name。

import emoji 
res = s.get(base_url % (user, pageNum), verify=False, timeout=50) 
soup = BeautifulSoup(emoji.demojize(res.text),"lxml")
>> print(emoji.demojize('Python is 👍')) 
输出:Python is :thumbs_up:

API介绍地址:https://pypi.org/project/emoji/

© 版权声明
THE END
喜欢就支持一下吧,技术咨询可以联系QQ407933975
点赞12
分享
评论 抢沙发