python3判断url链接是否为404的方法


Posted in Python onAugust 10, 2018

本文实例为大家分享了python3判断url链接是否为404的具体代码,供大家参考,具体内容如下

import pymysql
import threading
import time
import urllib
import requests
 
# 打开数据库连接
db = pymysql.connect("192.168.0.*", "username", "password", "databasename")
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
# SQL 查询语句
sql = "SELECT sku,url_6 FROM url_new where flag_6 is null and url_6<>'' "
  # 执行SQL语句
cursor.execute(sql)
  # 获取所有记录列表
results = cursor.fetchall()
num = 0
for row in results:
  sku = row[0]
  url = row[1]
  html = requests.head(url) # 用head方法去请求资源头
  re=html.status_code
  num = num + 1
  print(num,re)
  if re == 200:
    sql_2 = "UPDATE url_new SET flag_6 = 0 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_2)
      #print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  if re == 404:
    sql_3 = "UPDATE url_new SET flag_6 = 1 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_3)
      print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  db.commit()
db.close()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python的内存泄漏及gc模块的使用分析
Jul 16 Python
Python正则表达式的使用范例详解
Aug 08 Python
python中threading超线程用法实例分析
May 16 Python
Python中特殊函数集锦
Jul 27 Python
在双python下设置python3为默认的方法
Oct 31 Python
详解django自定义中间件处理
Nov 21 Python
python 实现调用子文件下的模块方法
Dec 07 Python
详解Python的三种可变参数
May 08 Python
Python中的asyncio代码详解
Jun 10 Python
python如何解析配置文件并应用到项目中
Jun 27 Python
Pygame的程序开始示例代码
May 07 Python
keras多显卡训练方式
Jun 10 Python
Python实现数据可视化看如何监控你的爬虫状态【推荐】
Aug 10 #Python
Selenium元素的常用操作方法分析
Aug 10 #Python
Selenium定位元素操作示例
Aug 10 #Python
判断python字典中key是否存在的两种方法
Aug 10 #Python
详解python的sorted函数对字典按key排序和按value排序
Aug 10 #Python
Selenium(Python web测试工具)基本用法详解
Aug 10 #Python
Python生成器generator用法示例
Aug 10 #Python
You might like
《魔兽争霸3:重制版》翻车了?你想要的我们都没有
2019/11/07 魔兽争霸
php的大小写敏感问题整理
2011/12/29 PHP
Ajax实现对静态页面的文章访问统计功能示例
2016/10/10 PHP
thinkphp关于简单的权限判定方法
2017/04/03 PHP
jquery获取table中的某行全部td的内容方法
2013/03/08 Javascript
利用CSS、JavaScript及Ajax实现高效的图片预加载
2013/10/16 Javascript
jQuery获取当前对象标签名称的方法
2014/02/07 Javascript
js实现键盘操作实现div的移动或改变的原理及代码
2014/06/23 Javascript
jQuery循环动画与获取组件尺寸的方法
2015/02/02 Javascript
JS检测移动端横竖屏的代码
2016/05/30 Javascript
JavaScript中闭包的详解
2017/04/01 Javascript
Angular2生命周期钩子函数的详细介绍
2017/07/10 Javascript
AjaxUpLoad.js实现文件上传功能
2018/03/02 Javascript
JavaScript中this关键字用法实例分析
2018/08/24 Javascript
JS实现判断有效的数独算法示例
2019/02/25 Javascript
vue实现网络图片瀑布流 + 下拉刷新 + 上拉加载更多(步骤详解)
2020/01/14 Javascript
微信小程序动态添加和删除组件的现实
2020/02/28 Javascript
js实现批量删除功能
2020/08/27 Javascript
JS操作JSON常用方法(10w阅读)
2020/12/06 Javascript
[01:20]DOTA2 2017国际邀请赛冠军之路无止竞
2017/06/19 DOTA
在Python的Django框架中实现Hacker News的一些功能
2015/04/17 Python
在Python中使用正则表达式的方法
2015/08/13 Python
python连接数据库的方法
2017/10/19 Python
PyQt5每天必学之关闭窗口
2018/04/19 Python
使用python验证代理ip是否可用的实现方法
2018/07/25 Python
python使用magic模块进行文件类型识别方法
2018/12/08 Python
Python 3.3实现计算两个日期间隔秒数/天数的方法示例
2019/01/07 Python
pytorch 使用单个GPU与多个GPU进行训练与测试的方法
2019/08/19 Python
Python OpenCV去除字母后面的杂线操作
2020/07/05 Python
如何利用Python动态模拟太阳系运转
2020/09/04 Python
HTML5学习笔记之html5与传统html区别
2016/01/06 HTML / CSS
老海军美国官网:Old Navy
2016/09/05 全球购物
Petmate品牌官方网站:宠物用品
2018/11/25 全球购物
工伤劳动仲裁代理词
2015/05/25 职场文书
Python中快速掌握Data Frame的常用操作
2021/03/31 Python
JavaScript如何优化逻辑判断代码详解
2021/06/08 Javascript