Python学习笔记

python判断多个字符串在另一个字符串中

在使用python的开发过程中，常常需要判断，字符串中是否存在子串的问题，但判断一个字符串中是否存在多个字串中的一个时，如if (a or b) in c或者if x contains a|b|c|d…，似乎就需要借助for做循环判断，那么这种情况有没有更pythonic的方法呢？

判断一个字符串中是否存在某一个子串

判断一个字符串中是否存在子串通常使用in关键词，如下：

>>> a = "I Love Crystal!And I Hate Tom!"
>>> b = "Crystal"
>>> c = "Tom"
>>> d = "Jessie"
>>> print(b in a)
True
>>> print(d in a)
False
>>>

in关键词可以用来判断一个字符串中是否含有一个子串，如"Crystal"在"I Love Crystal!And I Hate Tom!"中，"Jessie"不在"I Love Crystal!And I Hate Tom!"中。

判断一个字符中是否含有多个子串中的一个

问题来了，如果如果我想判断"I Love Crystal!And I Hate Tom!"是否含有"Crystal", "Tom", "Jessie"中的任意一个，只要有其中的任意一个就输出True，应该怎么判断呢？

>>> a = "I Love Crystal!And I Hate Tom!"
>>> name_list = ["Jessie", "Tom", "Crystal"]
>>> for name in name_list:
...     if name in a:
...             print("got you!")
...             break
... 
got you!
>>> 

我们发现，代码结构看起来还是不够pythonic，有没有更加优雅的写法呢？可以使用内置的any()函数。

>>> a = "I Love Crystal!And I Hate Tom!"
>>> name_list = ["Jessie", "Tom", "Crystal"]
>>> print(any(name in a for name in name_list))
True
>>> name_list = ["Jessie", "Tomi", "Rose"]
>>> print(any(name in a for name in name_list))
False
>>> 

pathlib 和 os.path的区别

pathlib 模块从 python3.4 开始，到 python3.6 已经比较成熟。pathlib是它的替代品，在os.path上的基础上进行了封装，实现了路径的对象化，api更加通俗，操作更便捷，更符编程的思维习惯。对比老式的 os.path,pathblib有几个优势：

1. 传统操作导入模块不统一。 既可以导入 os,又可以导入 os.path，而新的用法统一可以用 pathlib 管理。

2. 传统操作在不同操作系统之间切换麻烦。 换了操作系统常常要改代码，还经常需要进行一些额外操作。

3. 返回的数据类型不同。

• （1）传统主要是函数形式，返回的数据类型通常是字符串。
• （2）但是路径和字符串并不等价，所以在使用 os 操作路径的时候常常还要引入其他类库协助操作。
• （3）Pathlib模块是面向对象，处理起来更灵活方便。

4. pathlib 简化了很多操作，用起来更轻松

ModuleNotFoundError: No module named ‘setuptools_rust’ 报错

执行下面这个就OK了。

python3 -m pip install --upgrade pip setuptools wheel

python3 socket 中设置超时的几种常用方法

1、默认超时时间设置

socket.setdefaulttimeout(time)

• 参数time为超时时间,必须放到建立链接的前面，否则超时设置无效果
  （这种方式可以设置默认超时时间，包含当前上下文的所有socket连接超时和接收超时有效）

import socket
 
socket.setdefaulttimeout(5)
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.connect((host, port))
sock.sendall('xxx')
sock.recv(1024)
sock.close()

2、设置某一个socket实例连接或接收的超时时间

settimeout(time) socket实例调用的方法，设置当前socket实例连接或接收的超时时间，参数time为None时恢复默认超时时间

import socket
 
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.settimeout(5)
sock.connect((host, port))
# 恢复默认超时设置，设置某些情况下socket进入阻塞模式(如makefile)
sock.settimeout(None)
sock.connect((host, port))
sock.sendall('xxx')
sock.recv(1024)
sock.close()

3、使用select来设置超时时间

import select
 
mysocket.setblocking(0)
ready = select.select([mysocket], [], [], timeout_in_seconds)
if ready[0]:
    data = mysocket.recv(4096)

ssl.CertificateError报错处理

解决办法是 ：将默认的证书验证模式修改为不需要验证 代码如下

import ssl
#将默认的证书验证模式赋值为不需要验证
ssl._create_default_https_context = ssl._create_unverified_context

requests 失败重传

不用自己写， requests 已经帮我们封装好了。（但是代码好像变多了…）

import time
import requests
from requests.adapters import HTTPAdapter

s = requests.Session()
s.mount('http://', HTTPAdapter(max_retries=3))
s.mount('https://', HTTPAdapter(max_retries=3))

print(time.strftime('%Y-%m-%d %H:%M:%S'))
try:
    r = s.get('http://www.google.com.hk', timeout=5)
    return r.text
except requests.exceptions.RequestException as e:
    print(e)
print(time.strftime('%Y-%m-%d %H:%M:%S'))

windows下命令行激活venv虚拟环境

cd venv/Script
activate

selenium报错渲染超时解决

driver.save_screenshot(r'./screenshot/' + filename)

用selenium进行截图的时候出现报错：
selenium.common.exceptions.TimeoutException: Message: timeout: Timed out receiving message from renderer:10.0

该报错是因为截图时网站还未加载完成，可以通过停止页面加载的方式解决该报错。示例代码如下：

# !/usr/bin/python3.4
# -*- coding: utf-8 -*-
from selenium.common.exceptions import TimeoutException
from selenium import webdriver

# 打开谷歌浏览器
browser = webdriver.Chrome()
# 设定页面加载限制时间
browser.set_page_load_timeout(10)

# 如果10秒内没有加载完成就会报错
# selenium.common.exceptions.TimeoutException: Message: timeout: Timed out receiving message from renderer: 1.684
try:
    browser.get('http://www.amazon.com/dp/B001UPMC1Y')
    # 打印html
    print(browser.page_source)
except TimeoutException:
    # 报错后就强制停止加载
    # 这里是js控制
    browser.execute_script('window.stop()')
    print(browser.page_source)

browser.quit()

pip install 报错error: command ‘gcc’ failed with exit status 1

安装pycrypto的时候出现该报错。

yum install gcc libffi-devel python3-devel python-devel openssl-devel -y

Selenium基于PIL实现拼接滚动截图

from time import sleep
from PIL import Image
import numpy as np
from selenium import webdriver

driver = webdriver.Chrome()
driver.fullscreen_window() # 全屏窗口
driver.get('https://www.qq.com/')
window_height = driver.get_window_size()['height'] # 窗口高度

page_height = driver.execute_script('return document.documentElement.scrollHeight') # 页面高度
driver.save_screenshot('qq.png')

if page_height > window_height:
  n = page_height // window_height # 需要滚动的次数
  base_mat = np.atleast_2d(Image.open('qq.png')) # 打开截图并转为二维矩阵

  for i in range(n):
    driver.execute_script(f'document.documentElement.scrollTop={window_height*(i+1)};')
    sleep(.5)
    driver.save_screenshot(f'qq_{i}.png') # 保存截图
    mat = np.atleast_2d(Image.open(f'qq_{i}.png')) # 打开截图并转为二维矩阵
    base_mat = np.append(base_mat, mat, axis=0) # 拼接图片的二维矩阵
  Image.fromarray(base_mat).save('hao123.png')

driver.quit()

该代码实测可用！