.shtml网站解析UnicodeError
SHTML和HTML的区别 如果用一句话来解释就是:SHTML 不是HTML，而是一种服务器 API。 shtml是服务器动态产成的html. 虽然两者都是超文本格式,但shtml是一种用于SSI技术的文件。 也就是Server Side Include–SSI 服务器端包含指令。 如果Web Server有SSI功能的话(大多数（尤其是基于Unix平台）的WEB服务器如Netscape Enterprise Server等均支持SSI命令)。
html或htm与shtml或shtm的关系是什么 html或者htm是一种静态的页面格式，也就是说不需要服务器解析其中的脚本，或者说里面没有服务器端执行的脚本，而shtml或者shtm由于它基于SSI技术，当有服务器端可执行脚本时被当作一种动态编程语言来看待，就如asp、jsp或者php一样。当shtml或者shtm中不包含服务器端可执行脚本时其作用和html或者htm是一样的。
问题描述： http://www.chinanews.com/entertainment.shtml 例如CN新闻网，charset= utf-8 ，但是解析会异常，requests 和 urllib 解析后都是乱码。
解决方法：
1。使用selenium 来进行页面获取
2。使用scrapy 来进行页面获取。
本文参与?腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2019-07-08 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读