博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
ubuntu12.04下网络爬虫 larbin 的安装
阅读量:6952 次
发布时间:2019-06-27

本文共 1055 字,大约阅读时间需要 3 分钟。

hot3.png

准备工作: 1. 安装gcc: sudo apt-get install gcc 安装g++: sudo apt-get install g++ 安装xutils-dev:sudo apt-get install xutils-dev 安装make: sudo apt-get install make 2. 到官网下载larbin.tar.gz 安装: 1.解压larbin的包: tar -zxvf larbin.tar.gz 2.进入到 larbin目录下:cd larbin 3.修改adns文件夹的internal.h文件569-571行: adns_status adns__parse_domain(adns_state ads, int serv, adns_query qu, vbuf *vb, parsedomain_flags flags, const byte *dgram, int dglen, int *cbyte_io, int max); 改为: adns_status adns__parse_domain(adns_state ads, int serv, adns_query qu, vbuf *vb, adns_queryflags flags, const byte dgram, int dglen, int cbyte_io, int max); (注意:此处的vb,dgram,cbyte_io均是指针类型,我编辑的时候是带星号的,但是博客上不显示星号) 4.复制/usr/include/c++/的iostream文件到larbin的src目录下,并改名为iostream.h,在文件中添加一句using namespace std; 5.修改编译选项配置:vi options.h 修改输出选项: 将//#define SIMPLE_SAVE前的//取消掉,在#define DEFAULT_OUTPUT前加// (注释的其实相当清楚的) 6.检查系统是否满足编译要求:./configure 7.编译:make 8.运行:进入larbin目录:./larbin 9.ctrl+c 终止程序

ps: 配置文件主要是options.h 和larbin.conf,可以根据自己的需求配置 在浏览器输入localhost:8081可以看到爬到的的网页的统计信息

转载于:https://my.oschina.net/u/1392563/blog/176413

你可能感兴趣的文章
C# NamePipe使用小结
查看>>
ZooKeeper Watcher注意事项
查看>>
Linux下清理内存和Cache方法
查看>>
表单元素的外观改变(webkit and IE10)
查看>>
帆软报表学习笔记②——行转列
查看>>
redis应用场景:实现简单计数器-防止刷单
查看>>
两款开发辅助工具介绍
查看>>
python 文件的打开与读取
查看>>
基于ROS的运动识别
查看>>
python 之selectors 实现文件上传下载
查看>>
【hdu - 2568】ACM程序设计期末考试081230
查看>>
C语言基础(一)
查看>>
python处理xml中非法字符的一种思路
查看>>
itextSharp 附pdf文件解析
查看>>
solr6.0.0 + tomcat8 配置问题
查看>>
[leetcode-303-Range Sum Query - Immutable]
查看>>
LinkButton(按钮)
查看>>
leetcode Largest Rectangle in Histogram 单调栈
查看>>
Word Break II
查看>>
驱动lx4f120h,头文件配置,没有完全吃透,望指点
查看>>