最近研究项目需要用到一些资料,无奈网上资源要么添加无数广告花里胡哨,要么就是1页内容给你分了N页得来回点数次。研究的东西挺明确的,看文档给我整蒙了,为了让自己看着舒服及归纳总结,决定做个爬虫,由于Python的简便快捷以及多年之前也写过所以选定他来制作爬虫。
查找网上爬虫资料,发现写的大都千篇一律,要不就是贴段代码草草了事,对于小白那是看的稀里糊涂不得其法,对于大牛那更是不屑一顾根本看不上,每个网站不一样写的爬虫各有不同我这理所应当也没有啥太大帮助,当然我这白嫖的也没有权利说别人是吧,所以自己整吧,顺便分享给需要的朋友~
授之以鱼不如授之以渔,本篇主要写如何针对自己需求写出定制化爬虫~