爬虫 on 庞玉栋个人博客

爬虫分享【1】

Sat, 04 Aug 2018 20:34:47 +0800

Python环境：3.6

需要的库：requests 基于urllib 比urllib更加的简洁，BeautifulSoup ：网页解析库

1， headers 头部分用于向服务器发送信息伪装成浏览器访问

2， def save_artist(group_id, initial):
params：字典，用于组合传递过来的参数

3， r：接收爬虫向服务器发送的参数返回的数据

4， soup：参数有html的文档以及设置字符串的编码格式，htnl解析器

5，获取soup的body标签，也就是返回的html文档的body ，attrs字典参数，如果标签字符中带有-以及 class不能看作标签属性的时候用字典参数进行传旨，artists和上部分类似

6， For循环将查询到的列表通过遍历进行更深层的数据提取并且转换成格式相对的数据

7，然后调用sql命令插入到数据库

8，函数外面定义爬取网页的参数并且定义for循环以及range函数进行有规律的调用 sava_artist进行爬取

"""
获取所有的歌手信息
"""
import requests
from bs4 import BeautifulSoup
from sql import *
headers = {
‘Accept’: ’text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,/;q=0.8’,
‘Accept-Encoding’: ‘gzip, deflate, sdch’,
‘Accept-Language’: ‘zh-CN,zh;q=0.8,en;q=0.6’,
‘Cache-Control’: ’no-cache’,
‘Connection’: ‘keep-alive’,
‘Cookie’: ‘_ntes_nnid=7eced19b27ffae35dad3f8f2bf5885cd,1476521011210; _ntes_nuid=7eced19b27ffae35dad3f8f2bf5885cd; usertrack=c+5+hlgB7TgnsAmACnXtAg==; Province=025; City=025; NTES_PASSPORT=6n9ihXhbWKPi8yAqG.i2kETSCRa.ug06Txh8EMrrRsliVQXFV_orx5HffqhQjuGHkNQrLOIRLLotGohL9s10wcYSPiQfI2wiPacKlJ3nYAXgM; P_INFO=hourui93@163.com|1476523293|1|study|11&12|jis&1476511733&mail163#jis&320100#10#0#0|151889&0|g37_client_check&mailsettings&mail163&study&blog|hourui93@163.com; NTES_SESS=Fa2uk.YZsGoj59AgD6tRjTXGaJ8_1_4YvGfXUkS7C1NwtMe.tG1Vzr255TXM6yj2mKqTZzqFtoEKQrgewi9ZK60ylIqq5puaG6QIaNQ7EK5MTcRgHLOhqttDHfaI_vsBzB4bibfamzx1.fhlpqZh_FcnXUYQFw5F5KIBUmGJg7xdasvGf_EgfICWV; S_INFO=1476597594|1|0&80##|hourui93; NETEASE_AUTH_SOURCE=space; NETEASE_AUTH_USERNAME=hourui93; _ga=GA1.2.1405085820.1476521280; JSESSIONID-WYYY=cbd082d2ce2cffbcd5c085d8bf565a95aee3173ddbbb00bfa270950f93f1d8bb4cb55a56a4049fa8c828373f630c78f4a43d6c3d252c4c44f44b098a9434a7d8fc110670a6e1e9af992c78092936b1e19351435ecff76a181993780035547fa5241a5afb96e8c665182d0d5b911663281967d675ff2658015887a94b3ee1575fa1956a5a%3A1476607977016; iuqxldmzr=25; __utma=94650624.1038096298.1476521011.1476595468.1476606177.8; __utmb=94650624.20.10.1476606177; __utmc=94650624; __utmz=94650624.1476521011.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)’,
‘DNT’: ‘1’,
‘Host’: ‘music.163.com’,
‘Pragma’: ’no-cache’,
‘Referer’: ‘https://music.163.com/',
‘Upgrade-Insecure-Requests’: ‘1’,
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36’
}

python爬虫——写出最简单的网页爬虫

Sat, 09 Sep 2017 17:08:42 +0800

在我们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。我们可以通过python 来实现这样一个简单的爬虫功能，把我们想要的代码爬取到本地。下面就看看如何使用python来实现这样一个功能。

开发工具

笔者使用的工具是sublimetext3，它的短小精悍（可能男人们都不喜欢这个词）使我十分着迷。推荐大家使用，当然如果你的电脑配置不错，pycharm可能更加适合你。

sublime text3搭建python开发环境推荐查看此博客：

[sublime搭建python开发环境][https://www.cnblogs.com/codefish/p/4806849.

爬虫介绍

爬虫顾名思义，就是像虫子一样，爬在Internet这张大网上。如此，我们便可以获取自己想要的东西。

既然要爬在Internet上，那么我们就需要了解URL，法号“统一资源定位器”，小名“链接”。其结构主要由三部分组成：

（1）协议：如我们在网址中常见的HTTP协议。

（2）域名或者IP地址：域名，如：www.baidu.com，IP地址，即将域名解析后对应的IP。

（3）路径：即目录或者文件等。

urllib开发最简单的爬虫

（1）urllib简介

庞玉栋:浅谈seo优化对于网站建设的重要性

Mon, 04 Sep 2017 19:09:42 +0800

根据最近做SEO优化经验而写写的也都是我的方法大神勿喷

SEO：英文Search Engine Optimization缩写而来，中文意译为搜索引擎优化

如果你连个网站都没有那就点这里：如何拥有一个属于自己的网站

现在的中国搜索引擎百度是无可置疑的老大在以前是谷歌百度和soso平分天下只从谷歌退出江湖百度就成了第一 soso自然也就排名第二那为什么现在看不到soso的存在了呢。就是因为soso被搜狗并购然后360搜索接踵而来现在最主要的搜索引擎也就成了百度搜狗 360搜索

一个网站的建设除了把网站搭建好你还要让搜索引擎喜欢你要不然你的网站就是一个死站基本上没有什么人访问

那怎么样才能让搜索引擎喜欢你呢

简洁的站点结构代码结构良好层次分明这样更容易吸引搜索引擎的爬虫光临收录你的网站

第一就是你网页的内容爬虫会先爬取你meta标签里的内容所以网页的内容一定要和关键字想匹配还有就是关键词的密度一定要在全文占比的2%左右可以用站长工具的密度查询工具

第二是锚链接锚链接就是你网页内容中文本所链接超链接爬虫更喜欢爬这种页面但是锚链接一定要跟文本内容相匹配再之就是不要过过一个页面的锚链接在两个左右就可以

第三是图片的alt标签一定要写上可以在上面加点关键词以增加网页关键词的密度一举两得

有一句话就是内容为皇外链为王

网页的内容为主要的其次就是你域名在别的网站所在的数量建议多在各种博客和论坛多写点文章然后把超链接加到文本上这样会增加外链的数量还有就是选择权重和收录量比较高的网站这样怕虫子在爬网站的时候会查看你的超链接吸引爬虫更多的光临你的网站然后还有友链就是友情链接可以跟别的网站交换友情链接这也是seo优化的一部分