当前位置:

java爬虫理解_J2SE_Java

1、下载(页面html),请求头(如user-agent)处理,重定向,超时,代理,重试策略等

    1)使用jdk中的URL实现

    HttpURLConnection con = URL.openConnection()

    2)使用apache项目hc实现http://hc.apache.org/

    HttpResponse response = HttpClient.execute(HttpRequest)

2、解析(待爬链接 + 结构化数据)

    1)正则,Pattern类

    2)jsoup,http://www.oschina.net/p/jsoup,http://jsoup.org/

    3)xpath,http://www.w3school.com.cn/xpath/index.asp

3、存储(原始html + 结构化数据)

    1)文件系统,用于检索(Lucene,Hadoop)

    2)数据库

    3)URL分值?

4、调度

    1)待爬url优先级

    2)去重

    3)并发

    4)分布式


评论:

登录后发表评论




2022.11.30 群组聊天