首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >[Go] 转换编码处理网页显示乱码

[Go] 转换编码处理网页显示乱码

作者头像
唯一Chat
发布2020-05-26 23:26:36
发布2020-05-26 23:26:36
2.5K0
举报
文章被收录于专栏:陶士涵的菜地陶士涵的菜地

在进行抓取网页或者获取一个网页的时候,有时会因为编码问题变成乱码,下面的函数可以转换一下编码

代码语言:javascript
复制
//转换编码
func Encoding(html string,ct string) string {
    e,name:=DetermineEncoding(html)
    if name!="utf-8"{
        html=ConvertToStr(html,"gbk","utf-8")
        e=unicode.UTF8
    }
    r := strings.NewReader(html)

    utf8Reader := transform.NewReader(r, e.NewDecoder())
    //将其他编码的reader转换为常用的utf8reader
    all, _ := ioutil.ReadAll(utf8Reader)
    log.Println(string(all))
    return string(all)
}
func DetermineEncoding(html string) (encoding.Encoding,string) {
    e, name, _ := charset.DetermineEncoding([]byte(html), "")
    return e,name
}

这个例子是把gbk转为utf8

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-05-16 ,如有侵权请联系 cloudcommunity@tencent.com 删除
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档