当前位置：主页 > 金昌 >

还珠格格

火车头使用Post方法采集Ajax页面教程_我的网站

国庆请假休29天

一 |     

　    阿里云优惠券 先领券再下单        前面有写过一篇瀑布流的采集方法，今天在添加一个POST方法来采集Ajax刷新页面的教程。    

俄罗斯总统普京17日在哈尔滨的访问行程紧凑，向苏联红军烈士纪念碑献花，出席中俄博览会开幕式，参访东正教堂，并到哈尔滨工业大学与中俄两国学生座谈。

二 |     之前的文章请看：火车头采集动态加载Ajax数据（无分页瀑布流网站）    如果遇到POST方法来架子Ajax数据，这和我之前写的是两个类型，瀑布流是直接刷新出数据的页面。在17日晚间，结束为期两天的对中国国事访问行程。

普京：中俄贸易还未到极限，将增强多样性
俄罗斯总统普京17日中午正式展开在哈尔滨的访问行程。首先到红军街的苏联红军烈士纪念碑献花，普京手捧鲜花，摆放到纪念碑基座，两名俄罗斯礼兵跟随其后，向参加抗日战争中牺牲的苏联红军献花。    采集网站分析    采集任何一个新站前我们都要对他进行一番分析才好下手。
之后，普京转到哈尔滨展览中心，参加第八届中俄博览会、第四届中俄地方合作论坛开幕式，并发表演讲。普京表示，俄中两国将持续扩大贸易规模，优化商品结构，增强双边贸易的多样性。
俄罗斯总统 普京：我们有理由为俄中经济关系和俄中经济合作的成果感到自豪。就在几年前，1000亿美元的贸易额还被认为是双边贸易的巨大成功，但现在它已经突破了2000亿大关，或者更准确地说，根据中国的统计，2400亿，当然，这还远未达到极限。普京表示，俄中伙伴关系可靠地确保了能源安全，俄罗斯将继续为中国经济发展提供稳定、廉价的能源供应，支持中国企业在俄罗斯从事本土化生产，愿为中方投资者提供优惠条件。俄罗斯总统 普京：在产业合作领域，大型联合项目也在实施。中国汽车制造商正在积极进入俄罗斯市场，宽体远程飞机和重型民用直升机的项目正在推进。    列表页分析    这个网站的列表页，前面并不是通过Ajax加载的。
普京访问哈工大：俄中高科技合作大有可为
普京到哈尔滨工业大学参访，在学校展览馆听讲解频频点头，还与机器人进行握手。

三 | 普京在学校贵宾留言簿上留言，“祝贺哈尔滨工业大学在发展中取得的杰出成就，祝愿在今后的教育和科学发展中取得更大成就。

四 | 感谢哈尔滨工业大学对俄罗斯合作给予的关注。CTRL+U可以直接看到列表内容，通过浏览器也看不到相关请求地址。”

普京其后向哈工大师生发表讲话，他表示，在中俄元首会谈中，双方都指出科学和教育领域合作在中俄关系整体发展中占据优先地位。    
    因为习惯原因，我直接看了下尾页列表页。然后顺手CTRL+U看看网站代码结构有没有大的变化。

五 | 防止后期采集出错。他指出，在许多高科技突破性的大型项目，世界上任何一个国家都无法单独完成，中俄两国联手合作将大有作为，特别是两国有许多具前景的航天领域合作方向。结果就发现无法看到列表内容。普京又提到，哈工大是中国核能工业人才的摇篮，许多哈工大的毕业生都参与了中俄两国在田湾和徐大堡核电站的合作项目，又指中俄重要能源设施的建设都正在按照进度有序开展。普京又说，俄中两国会在延长在轨卫星生命周期方面互换讯息，互补长短，这有助于运输、降低成本，并节省能源。浏览器可以看到一个通过post请求的地址。    

    这时候就意识到这网站列表页可能后面的应该全是通过Ajax加载的。他又说，即便受到制裁和地缘政治的影响，俄罗斯企业仍会从欧洲和北美招揽高度专业化的人才，协助发展。

六 |     通过笨方法，手动访问页面看看Ajax加载大概是哪些。

七 | 最后找到大概从2200页左右开始Ajax加载。    那我们采集的时候，前面的列表页就可以使用普通方式去采集（速度更快）。

普京与学生对谈：我还有不足需继续努力
之后，普京与中俄两国学生座谈。

八 | 现场亲自点举手学生提问，不仅谈到中俄航天航空领域合作、教育交流等严肃问题，也谈到普京的个人问题，喜欢读什么书，吃什么中国菜，有问必答，展现个人魅力。俄罗斯留学生：您如何培养有远见有毅力的美好品质？谢谢。俄罗斯总统 普京：我不知道，长大之后就是这样。但我觉得我和所有人一样，还有很多不足。

九 | 我还是要靠自己努力。

他还说，当今世界出现了不公平竞争。

十 |     2200页开始到尾页就通过post请求Ajax页面数据。    抓包获取Post数据    这个Ajax地址我在浏览器看不到任何跟页码有关的数据。最后只能使用抓包工具看一下详细的请求内容了。    

    使用抓包工具Fiddler    Fiddler下载地址：OneDrive-Fiddler-Setup_v5.0.20204.45441.zip    安装设置完成后我们打开浏览器。美国对中国制造的电动车加征关税就是其中一个例子。俄罗斯总统 普京：不幸的是，当今世界出现了与不公平竞争有关的情况，最近美国人对中国电动交通工具和电动汽车加征关税，为什么？为了什么？因为中国汽车变得更好了，就是这个原因，没有其他原因，这是不公平竞争的一个例子。

十一 | 重新访问一下采集页面，Fiddler会抓到很多请求地址。

十二 |     查看分析Post数据    Ctrl+F 我们搜索那个Ajax地址    

火车头使用Post方法采集Ajax页面教程
    Fiddler会以黄色将搜索到的结果显示出来，我们点击一下他。    
火车头使用Post方法采集Ajax页面教程
    在Fiddler右侧会显示这个请求地址的相关详细信息。    
    信息顶部可以看到是post请求方法。普京还表示，世界上伟大的美食并不多，但中餐是其中之一。

十三 | 被问及最喜欢吃哪些中国菜，他说对北京烤鸭难以抗拒。

十四 |     可以看到有我们请求的页码相关内容。俄罗斯总统 普京：说实话我原本只想吃一块，但我没忍住吃了第二块，因为太好吃了。另外，普京结束为期两天的访华行程前，17日傍晚在哈尔滨会见记者，期间谈及俄乌战事，他对定于下月举行的乌克兰和平会议予以驳斥，并指俄方并未获邀参加。    

    访问不同页码的页面，经过研究发现规律。    
    currentPageIndex的值和页码相关，值等于页码减一。中国外交部欧亚司司长刘彬17日向中外媒体介绍俄罗斯总统普京对华进行国事访问的相关情况。刘彬表示，普京此次访华时机重要，成果丰硕，充分体现了两国元首的高度互信和密切互动。来源：凤凰卫视资讯台
。

十五 | 我们访问6139页时，currentPageIndex值是6138。

十六 |     这就找到了规律，我们打开火车头采集器。    火车头采集器配置分页设置    起始网址填入Ajax请求地址    

    点“高级模式”。    
    点“分页设置”，http请求方式“post”。    
    把我们Fiddler抓包获取的内容填进去。    
    将currentPageIndex值的内容替换成火车头采集器的“分页”标签。    
    下面填入页码。    页面地址是从2200到6140，上面我们分析得出post请求内容的currentPageIndex值是实际页码减一。所以这里面我们填2199到6139.    
    网址获取选项设置    为了筛选出我们需要的内容，我们设置一下网址获取选项。    打开浏览器F12开发工具，预览一下Ajax获取的内容。    
    可以看到链接的形式是    自考成考报名条件有哪些？    完整的链接地址是    https://域名/chengrenzikao/20200611152022.html    那我们就可以使用下面的规则提取地址。

十七 |     

    我们测试一下网址采集。    测试网址采集    点击测试可能提示“post请求必须选择网页编码”我们在火车头其他设置中将编码选为“UTF8”即可。    
    可以看到已经正确获取到了链接。不放心可以复制链接实际访问一下看看是否正确。    
    注意事项    采集过程注意运行线程和请求间隔时间。教程在测试时因为开的线程较多，频率过高导致对方网站开启了防CC设置。拉黑了我一个服务器IP，此教程写完用了两台服务器。    我们实际采集可以只开1个线程，并设置合适的间隔时间，比如1000ms到1500ms左右。    本文来自2号站长网，转载请注明出处：https://www.zz2zz.com/331414.html
        
    

申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！。

十八 |

Current article:http://www.liawucunsainantaonao.sbs/vo77l/20260826/765768.xls

Published on:16:09:28


下一篇：英雄联盟职业联赛：TES夺得夏季赛常规赛冠军 上一篇：思格新能源：上半年营收同比增长超260%，光储系列产品成业绩增长主要动力

猜你会喜欢....
    随机推荐

Copyright ＠ 2016-2017 我的网站 版权所有