Python如何利用Selenium或者PhantomJS爬取动态网页内容
黄舟
黄舟 2017-05-18 11:01:14
[Python讨论组]

想用python做股票量化交易,第一步就是获取股票的历史数据。访问http://data.eastmoney.com/sto...网页,将网页源码打开后看不见表格中的数据,据说是利用ajax技术加载的。在网上看见可以利用selenium和phantomJS来获取这些动态网页内容,但是不知道如何获取完整源码。请高手指点迷津

黄舟
黄舟

人生最曼妙的风景,竟是内心的淡定与从容!

全部回复(2)
给我你的怀抱

用这个组合 好处是简单暴力,坏处是效率较低。
相当于打开一个你看不到的浏览器加载页面,再把运算好的结果读取。
新人学爬虫的话 推荐 python网络数据采集 这本动物书。
你需要的说明在采集动态页面那章。
这书很薄 很实用。

巴扎黑

我对js和json都不太了解,刚刚爬虫入门。经过你的提示,我再查看了一下源码,发现在defjson里面有这些数据,不明白是怎样把json里的数据显示到tbody里面的。我用pandas的read_html可以抓到这些数据,但是最后两列会丢失。看来我得先去看看js和json

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号