python3判断url链接是否为404的方法


Posted in Python onAugust 10, 2018

本文实例为大家分享了python3判断url链接是否为404的具体代码,供大家参考,具体内容如下

import pymysql
import threading
import time
import urllib
import requests
 
# 打开数据库连接
db = pymysql.connect("192.168.0.*", "username", "password", "databasename")
# 使用 cursor() 方法创建一个游标对象 cursor
cursor = db.cursor()
# SQL 查询语句
sql = "SELECT sku,url_6 FROM url_new where flag_6 is null and url_6<>'' "
  # 执行SQL语句
cursor.execute(sql)
  # 获取所有记录列表
results = cursor.fetchall()
num = 0
for row in results:
  sku = row[0]
  url = row[1]
  html = requests.head(url) # 用head方法去请求资源头
  re=html.status_code
  num = num + 1
  print(num,re)
  if re == 200:
    sql_2 = "UPDATE url_new SET flag_6 = 0 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_2)
      #print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  if re == 404:
    sql_3 = "UPDATE url_new SET flag_6 = 1 WHERE sku = '%s'" % sku
    try:
      # 执行SQL语句
      cursor.execute(sql_3)
      print(cursor.rowcount)
    except Exception as e:
      print(e)
      conn.rollback()
  db.commit()
db.close()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python爬取51job中hr的邮箱
May 14 Python
python 截取 取出一部分的字符串方法
Mar 01 Python
django轻松使用富文本编辑器CKEditor的方法
Mar 30 Python
搞定这套Python爬虫面试题(面试会so easy)
Apr 03 Python
Python基础学习之基本数据结构详解【数字、字符串、列表、元组、集合、字典】
Jun 18 Python
Django模板Templates使用方法详解
Jul 19 Python
用Python从0开始实现一个中文拼音输入法的思路详解
Jul 20 Python
python科学计算之scipy——optimize用法
Nov 25 Python
opencv python如何实现图像二值化
Feb 03 Python
在pycharm中实现删除bookmark
Feb 14 Python
Python文件时间操作步骤代码详解
Apr 13 Python
Python实现天气查询软件
Jun 07 Python
Python实现数据可视化看如何监控你的爬虫状态【推荐】
Aug 10 #Python
Selenium元素的常用操作方法分析
Aug 10 #Python
Selenium定位元素操作示例
Aug 10 #Python
判断python字典中key是否存在的两种方法
Aug 10 #Python
详解python的sorted函数对字典按key排序和按value排序
Aug 10 #Python
Selenium(Python web测试工具)基本用法详解
Aug 10 #Python
Python生成器generator用法示例
Aug 10 #Python
You might like
Terran热键控制
2020/03/14 星际争霸
php 数学运算验证码实现代码
2009/10/11 PHP
Symfony2针对输入时间进行查询的方法分析
2017/06/28 PHP
PHP实现的权重算法示例【可用于游戏根据权限来随机物品】
2019/02/15 PHP
Laravel关系模型指定条件查询方法
2019/10/10 PHP
[JS源码]超长文章自动分页(客户端版)
2007/01/09 Javascript
javascript操作cookie_获取与修改代码
2009/05/21 Javascript
jQuery插件的写法分享
2013/06/12 Javascript
键盘上一张下一张兼容IE/google/firefox等浏览器
2014/01/28 Javascript
JavaScript function 的 length 属性使用介绍
2014/09/15 Javascript
javascript实现可键盘控制的抽奖系统
2016/03/10 Javascript
JavaScript6 let 新语法优势介绍
2016/07/15 Javascript
如何利用模板将HTML从JavaScript中抽离
2016/10/08 Javascript
深入理解jQuery.data() 的实现方式
2016/11/30 Javascript
js+html制作简单验证码
2017/02/16 Javascript
JavaScript之Map和Set_动力节点Java学院整理
2017/06/29 Javascript
Vue ElementUi同时校验多个表单(巧用new promise)
2018/06/06 Javascript
详解在React.js中使用PureComponent的重要性和使用方式
2018/07/10 Javascript
基于three.js实现的3D粒子动效实例代码
2019/04/09 Javascript
iview的table组件自带的过滤器实现
2019/07/12 Javascript
原生js实现点击按钮复制内容到剪切板
2020/11/19 Javascript
原生js实现放大镜组件
2021/01/22 Javascript
Python操作MySQL简单实现方法
2015/01/26 Python
Python Property属性的2种用法
2015/06/21 Python
在Django的通用视图中处理Context的方法
2015/07/21 Python
Python面向对象编程基础解析(二)
2017/10/26 Python
python3爬取各类天气信息
2018/02/24 Python
python3个性签名设计实现代码
2018/06/19 Python
python实现定时压缩指定文件夹发送邮件
2020/12/22 Python
python线程join方法原理解析
2020/02/11 Python
Python TestSuite生成测试报告过程解析
2020/07/23 Python
python 爬取英雄联盟皮肤并下载的示例
2020/12/04 Python
圣彼得堡鲜花配送:Semicvetic
2020/09/15 全球购物
文秘专业大学生求职信
2013/11/10 职场文书
技校毕业生自荐信
2014/06/03 职场文书
幼儿园教师师德承诺书
2015/04/28 职场文书