设为首页收藏本站
查看: 46|回复: 0

[PHP] 简单的数据抓取工具

[复制链接]

论坛元老

Rank: 6Rank: 6

积分
34274
主题
17031
UID
1347
M币
67
贡献
17176

  • 发表于 2014-3-27 18:17:00 | 显示全部楼层 |阅读模式
    求一个简单的数据抓取工具
    我需要的数据如:
    http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1&c=131&tn=B_NORMAL_MAP&nn=0&ie=utf-8&l=12&b=%2812925648.97,4823379.72;12990672.97,4828435.72%29&t=1368604536591
    更换其中的参数就可以得到不同的数据。把他它们存在文件或数据库就可以了。

    本来我想自己写的,把我们要下载的链接拼起来,循环下载,处理一下入库就行了。
    另外可以要考虑代理 ,多线程处理。

    可是老大非要我去找一个开源的爬虫工具。
    工具也要我给它链接,告诉他我要怎么处理这些数据才能工作呀。
    没办法,请教大家,有哪个爬虫工具有这样的功能呀,谢谢了。
    我只会PHP和简单的python,所以希望尽量是这两个语言写的,再次谢谢。
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    在我站开通SVIP可同时获得17个站点VIP资源 立即登录 立即注册
    快速回复 返回顶部 返回列表