幸福来敲门
火车头使用Post方法采集Ajax页面教程_我的网站
一 |
阿里云优惠券 先领券再下单 前面有写过一篇瀑布流的采集方法，今天在添加一个POST方法来采集Ajax刷新页面的教程。 之前的文章请看：火车头采集动态加载Ajax数据（无分页瀑布流网站） 如果遇到POST方法来架子Ajax数据，这和我之前写的是两个类型，瀑布流是直接刷新出数据的页面。 采集网站分析 采集任何一个新站前我们都要对他进行一番分析才好下手。 列表页分析 这个网站的列表页，前面并不是通过Ajax加载的。 逛一圈WAIC具身智能馆，最容易让观众停下脚步的，往往还是机器人正在做什么：抓取、搬运、行走，或者完成一项具体任务。CTRL+U可以直接看到列表内容，通过浏览器也看不到相关请求地址。
二 | 然后顺手CTRL+U看看网站代码结构有没有大的变化。
三 | 防止后期采集出错。结果就发现无法看到列表内容。
四 | 凌迪科技的展台上，同样摆出了一项直观的任务——叠衣服。浏览器可以看到一个通过post请求的地址。
五 | 单看结果，这是一场机器人衣物操作演示。但凌迪科技真正想被看到的，藏在机械臂动作发生之前。
六 | 展台呈现的是机器人完成一次操作，凌迪想讲的，则是这项能力如何被训练出来。 通过笨方法，手动访问页面看看Ajax加载大概是哪些。最后找到大概从2200页左右开始Ajax加载。
七 | 要让机械臂学会叠衣服，得先把衣服变成数字世界里一个可计算的对象。 那我们采集的时候，前面的列表页就可以使用普通方式去采集（速度更快）。不同面料有多重、多滑、弹性多大、软硬如何，布碰到机械爪会怎么滑、怎么皱，这些都要先算出来。然后模型才能换着材质、换着摆放方式、换着抓取角度一遍遍练，最后再通过评测判断它到底学会没有。 2200页开始到尾页就通过post请求Ajax页面数据。 抓包获取Post数据 这个Ajax地址我在浏览器看不到任何跟页码有关的数据。 这也是叠衣服与抓取规则刚体不同的地方。一只杯子被拿起后，形状通常不会发生明显变化；一件衣服被抓住一角，整体状态却可能随之改变。 看起来只是一次抓取和翻折，背后对应的却是机器人进入家庭、轻工业等真实场景后绕不开的一类问题：如何处理那些会折叠、滑动、缠绕和持续形变的对象。 凌迪科技此次重点展示的SynReal World，正是从这片更复杂的“柔性世界”切入。最后只能使用抓包工具看一下详细的请求内容了。 它不直接制造机器人，而是希望在机器人本体与具身模型之间，搭建一套覆盖3D资产生成、仿真训练和自动评测的一站式数据基础设施，让模型进入真实场景前，先在数字环境中经历足够多的物理交互与任务试错。
八 | 01. 机器人认出一件衣服，离叠好它还很远 过去两年，机器人的视觉识别和动作控制能力快速提升。 模型可以判断桌上放着什么，也可以根据指令生成动作。
九 | 重新访问一下采集页面，Fiddler会抓到很多请求地址。但“看见一件衣服”和“把衣服整理好”，仍然是两个不同层次的问题。
十 | 查看分析Post数据 Ctrl+F 我们搜索那个Ajax地址
十一 | 这也使柔性物体的操作数据更难规模化采集。
十二 | 机器人一次操作失败后，工作人员往往要重新铺平衣服、整理绳索或复位物料。
十三 | 面对不同材质、尺寸、形态和摆放方式，真机数采所需的时间与人工成本会迅速。
十四 | 可以看到有我们请求的页码相关内容。 仿真由此成为具身智能扩大训练规模的重要方式。
十五 | 简言之，谁更了解布料如何垂坠、拉伸、碰撞和褶皱，谁才更有可能把这类对象转化为机器人可用的训练数据。我们访问6139页时，currentPageIndex值是6138。 这也解释了，为什么一家长期服务服装行业的企业，会在此时进入具身智能。 02. 凌迪的具身智能入场券，来自十年柔性仿真积累 凌迪科技并非从机器人本体起步。 这就找到了规律，我们打开火车头采集器。但它过去十年处理的，恰好是机器人今天开始集中面对的问题——如何让计算机准确模拟柔性材料的物理变化。 火车头采集器配置分页设置 起始网址填入Ajax请求地址
十六 | 数字样衣并不只是把服装做成一个视觉逼真的3D模型。 同一件版型换一种面料，垂坠、拉伸、褶皱和贴合效果都可能发生变化。
十七 | 要在虚拟环境中还原这些差异，需要将重量、厚度、摩擦、弹性和弯曲刚度等材料属性转化为可计算的参数，并持续处理布料与人体、地面及其他布料之间的碰撞、滑动和形变。 据凌迪科技披露，其已经积累超过60万种行业面料数据库，围绕不同材料的物理属性、形变效果和仿真计算形成了长期积累。
十八 | 页面地址是从2200到6140，上面我们分析得出post请求内容的currentPageIndex值是实际页码减一。
十九 | 所以这里面我们填2199到6139.
| 不放心可以复制链接实际访问一下看看是否正确。
申请创业报道，分享创业好点子。这需要一套能够持续生成训练资产、组织模型试错，并判断机器人是否真正学会的数据基础设施。点击此处，共同探讨创业新机遇！。 SynReal World瞄准的正是这一环节。 凌迪科技将其定位为面向具身智能的全栈数据引擎，覆盖“3D资产生成—训练应用—仿真评测”完整闭环，将原本分散的建模、训练和验证环节接入同一条数据管线。 简单来说，SynReal World搭建的，可以理解为一个面向机器人的“训练世界”：其中的物体遵循物理规律，任务可以反复运行，训练结果也能够被量化验证。 这个“训练世界”的构建，可以拆成三个环节。
| 第一步，是把数字资产变成可用的训练对象。 SynReal World支持从文字、图片和CAD等输入生成物体与任务空间，并为资产补充质量、摩擦、弹性和碰撞等物理属性。
| 其核心能力覆盖高精度形变体仿真、刚体仿真和多物理场耦合仿真。 这一区别很关键。普通3D模型解决的是物体“看起来像不像”，机器人训练关心的是施加动作之后，物体是否会按照接近现实的规律变化。
| 只有数字对象能够合理地碰撞、滑动和形变，虚拟资产才可能变成有效的训练数据。 另外，通过可仿真与交互的3D资产与场景的智能建模，SynReal World 可以对真实世界中采集的任务数据进行灯光与物体材质的泛化，解决数据有效性过低的问题。通过仿真把一条有效数据低成本变成十条，高效地实现训练数据的多样性，同时有效降低数据采集的成本。 第二步，是把单次试错扩展为可规模化运行的训练过程。 SynReal World支持强化学习和模仿学习，可以面向灵巧手、机械臂、双足机器人和机器狗等不同形态开展训练与策略验证。 它的价值并不在于替代真机，而是承担大量高频、重复和早期探索阶段的试错，把有限的真实设备与现场资源更多用于校准、验证和落地。 第三步，把“机器人学会了”转化为可重复验证的任务能力。 一次演示成功，并不代表模型已经掌握任务。只有在场景和变量发生变化后仍能稳定完成，能力才具备进一步迁移到真机的可能。 SynReal World将程序化评测接入训练流程，支持并行测试、成功率统计、失败模式分析和过程记录，让模型每次更新后都能在已有任务中重新验证。 对一套具身智能数据引擎而言，完整闭环之外，还要看它能否以足够高的效率和精度运行，并接入现有研发体系。 根据凌迪科技提供的测试数据，在部分高复杂度场景中，SynReal World的仿真效率较Isaac Sim快5至10倍，静动力学误差降低近20%。 在生态层面，凌迪科技是NVIDIA Newton核心成员，SynReal World支持USD和Python API，并兼容MuJoCo、Newton等仿真引擎。
| 在SynReal World之外，凌迪科技此次还展示了面向服装等轻工业场景的数字伙伴中台StyleWork。
| 它融合AI Agent能力，让数字伙伴理解设计、选品、营销和运营等业务流程，调用专业工具并反馈结果，同时通过持续学习与记忆参与长期协作。
| 这是凌迪科技将AI嵌入真实产业流程的另一条路径。 04. 物理AI竞争，正在向“训练场”深处延伸 把资产生成、模型训练和结果验证放进同一套流程，首先解决的是研发效率。模型每更新一次，不必重新搭建场景、切换工具，再单独统计任务结果。 但这套数据管线更值得关注的地方，在于它回应了具身智能面临的一项核心约束：机器人所需的数据，无法像语言模型那样从互联网低成本获取。 语言、图像、视频，天然以数字形态存在。而机器人需要的数据，必须包含动作、接触、力和物体状态变化——每一次交互，都是一次物理事件。模型要学习的，不只是一个物体长什么样，更是对它施加动作之后会发生什么。 真机采集的速度和成本，很难跟上模型对任务多样性的需求。仿真不能取代真实世界，但它可以重新分配试错成本。 当仿真承担越来越多训练任务，行业比拼的焦点也在转移。画面逼真不再是唯一标准。
| 更关键的问题是：虚拟世界里的物体，是否遵循真实世界的物理规律？训练结果，能不能被重复验证？从仿真中学到的经验，又能在多大程度上迁移到真机？ 沿着这几个问题往下看，柔性物体成了一种更高门槛的检验标准。它更能代表家庭服务、轻工业和普遍的非结构化环境。 这正是凌迪正在卡住的位置。
| WAIC现场，机器人依然是聚光灯下的主角。凌迪选择进入的，是聚光灯照不到的地方——机器人的训练场。 当行业竞争从“完成一次漂亮演示”，转向“以更低成本稳定学会一项任务”，谁能生成一个物理规律可靠、任务可重复、结果可验证的训练世界，谁就在为下一阶段的物理AI铺设底座。
|
Current article:http://www.liawucunsainantaonao.sbs/list_s0tlivs/9g9.xlsx
Published on:04:50:55
