深圳网站建设公司——易捷网络科技欢迎您!我司主营业务:深圳网站建设。
深圳网站建设公司易捷网络科技logo
深圳网站建设7X24小时服务热线
0755-61603557
赵先生:13714247375
您现在的位置:> 首页 > 网站建设技术支持 > 易捷网络浅谈站长工具如何解决抓取谷歌结果返回403错误问题

易捷网络浅谈站长工具如何解决抓取谷歌结果返回403错误问题

文章来源:深圳网站建设易捷网络科技  作者:深圳网站建设公司
易捷站长工具能查询网站各大搜索引擎收录数量和百度权重、百度相关域、百度快照、百度近日收录、网站历史查询、关键词排名查询等。但是在抓取谷歌网页结果的时候,返回403错误问题,同样的地址,用浏览器打开时显示正常的搜索结果页面,但用程序抓取就出现403错误页面,里面讲的是判断访问对象是机器,可见谷歌对程序或软件抓取结果已经做了相关的措施,因为谷歌+1算法已经生效,防止机器抓取可以防止机器点击。所以,易捷站长工具一直因为这个原因无法抓取谷歌收录、谷歌排名数据。

一直以来,我都在网上寻找问题的答案,因为我看有些站长工具能够抓取,所以问题一定有解决的方法,我开始怀疑是路径不对,不过我发觉也只有这个路径,于是我把目标指向了抓取网页的程序,采用其他方法,没想到,让我惊奇的结果出来了。用Microsoft.XMLHTTP对象获取就可以抓取到正常结果,我以前是用MSXML2.SERVERXMLHTTP.3.0对象来抓取的。

Function getHTTPPage(url,charcode)
dim objXML
''set objXML=createobject("MSXML2.SERVERXMLHTTP.3.0") ''调用XMLHTTP组件,测试空间是否支持XMLHTTP
set objXML=createobject("Microsoft.XMLHTTP")
objXML.open "GET",url,false ''false表示以同步的方式获取网页代码,了解什么是同步?什么是异步?
objXML.send() ''发送
getHTTPPage=bBytesToBstr(objXML.responseBody,charcode)''返回信息,同时用函数定义编码
set objXML=nothing''关闭
End Function


Function bBytesToBstr(body,charcode)
dim objstream
set objstream = CreateObject("adodb.stream") ''//调用adodb.stream组件
objstream.Type = 1
objstream.Mode =3
objstream.Open
objstream.Write body
objstream.Position = 0
objstream.Type = 2
objstream.Charset = charcode ''转换原来默认的UTF-8编码转换成GB2312编码,否则直接用XMLHTTP调用有中文字符的网页得到的将是乱码
bBytesToBstr = objstream.ReadText
objstream.Close
set objstream = nothing
end Function

通过使用这个抓取函数,谷歌的收录数据、排名数据都可以正常获取了,从而解决了这个BUG。易捷站长工具正在一步步完善,而且源代码全部开源,只希望保留版权信息。

返回上一页
深圳网站建设公司易捷网络科技主营业务:企业网站建设、网站推广优化、企业邮箱申请、域名空间购买、网站备案、论坛网站建设和企业网站维护。网站建设服务热线:13714247375
企业网站建设相关信息推荐
关于我们
公司简介人才招聘我们的优势联系我们
网站建设套餐
基本型网站建设套餐标准型网站建设套餐品牌型网站建设套餐综合型网站建设套餐
业务范围
深圳网站建设网站推广优化企业邮箱申请/购买域名/空间备案主机/空间租赁
网站建设技术支持
网站建设常见问题推广优化常见问题公司通知公告
联系方式
电话:0755-61603557
邮箱:info@ejaket.com
联系人:陈先生
地址:深圳宝安西乡宝源路鸿源大厦7楼
网站建设合作伙伴:北京seo网站建设
深圳市易捷网络科技有限公司版权所有  备案号:粤ICP备12084881号-3
QQ在线咨询