#strip_attributes 该方法是lxml中etree下的方法，主要是针对标签属性做更改，源码如下： def strip_attributes ( tree_or_element , * attribute_names ) : # real signature unknown; restored from __doc__ strip_attributes(tree_or_element, *attribute_names) Delete all attributes with the provided attribute names from an Element (or ElementTree) and its descendants. Attribute names can contain wildcards as in `_Element.iter`. Example usage:: strip_attributes(root_element, 'simpleattr', '{http://some/ns}attrname', '{http://other/ns}*') """示例：""" # 删除作者标签的href，a标签 user = html . xpath ( '//*[@class="authorName"]' ) etree . strip_attributes ( user [ 0 ] , [ "href" ] ) # 将a标签内的所有属性删除 etree . strip_attributes ( user [ 0 ] , "{}*" )

• Xpath替换标签属性值

# 替换指定标签属性值
# 查找img标签
imgs = html.xpath('//*[@class="contentMedia contentPadding"]/div/div/img')
for i in imgs:
    #  替换src属性值
    i.attrib['src'] = "要替换的值"
Xpath将etree转换后的页面再次转换为String
 
html_1 = requests.get(url).content.decode()
html = etree.HTML(html_1)
# 再次转换为String，tostring方法
html_str = etree.tostring(html, encoding="utf-8").decode("utf-8")
print(html_str)
后续不定期更新Xpath的非常用方法，谢谢阅读！！！！
                    Xpath删除指定标签# 过程：#		1.匹配到指定标签#		2.根据表属性删除scripts = html.xpath('//script')for s in scripts:    s.getparent().remove(s)Xpath删除指定标签属性#过程：#		1.匹配到指定标签#		2.根据strip_attributes方法删除#strip_attributes 该方法是lxml中etree下的方法，主要是针对标签属性做更改，源码如下：def strip_a.
				
# Xpath提取
node_list = response.xpath("//div[@class='article block untagged mb15 typs_hot']")
for node in node_list:
    item = QiuShiItem()
    name = node.xpath("normalize-space(./div/a/h2/text())")...
    doc('.article-t style').remove()
如上是：想要class为article里面的内容，但又不想要style标签中的内容，就可以通过以上把style标签删除，然后再提取article下的所有内容。
另一种情况，含有完整的标签时：
response.selector.xpath('//*[not(self::script or self::style or self::tit...
				
当我们有时候在爬取新闻等需要全部文本内容时，例如
通常会使用xpath下面的“//text()"来获取节点下全部文本，但是有的节点，比如script下的文本是我们不需要的，所以需要将这些节点在分析前就去除掉。
from random import randint
import pymysql
from lxml import html
import html as ht
r = requests.get(url, verify=False, timeout=60, headers={
tags = sel.xpath('//div[contains(@class,"goodsItem")]/a/img/@src|//div[@class="goodsItem"]/a/@href').extract()
2获取文本值：
tags = sel.xpath("//div[@class='goodsItem']/font/text()").extract()
CSS选择器：
1获取属性值：
参考scrapy中文教程：http://www.scrapyd.cn/doc/
参考XPATH菜鸟教程：http://www.runoob.com/xpath/xpath-tutorial.html
2、RE正则v表达式
参考RE菜鸟教程：http://www.runoob.com/python/pytho...
				
本案例列举的是爬取腾讯社招中涉及到 extract（）使用的总结（1）第一种：position = job.xpath('./td[1]/a/text()')[<Selector xpath='./td[1]/a/text()' data='22989-腾讯云虚拟化高级研发工程师（深圳）'>] 技术类 2 深圳 2018-07-11
（2）第二种position = job.xpath...
				
Scrapy是基于python的开源爬虫框架，使用起来也比较方便。具体的官网档：http://doc.scrapy.org/en/latest/
　　之前以为了解python就可以直接爬网站了，原来还要了解HTML，XML的基本协议，在了解基础以后，在了解下xpath的基础上，再使用正则表达式(python下的re包提供支持)提取一定格式的信息（比如说url），就比较容易处理网页了。
如图，省市区输入框，元素没有id， classname是多个且重复的，无法精准定位。通过xpath定位出来后，需要去掉只读属性。
但是找不到通过xpath定位元素的方法
常用方法中没有通过xpath获取元素的方法
可以直接在输入框中编辑内容了
代码示例：
response.css("p::text").extract()
response.xpath("//div[@class='post-content']//text()").extract()
scrapy提取数据之：xpath选择器 http://www.scrapyd.cn/doc/186.html
表达式描述
nod...