Python 实现3种回归模型(Linear Regression,Lasso,Ridge)的示例


Posted in Python onOctober 15, 2020

公共的抽象基类

import numpy as np
from abc import ABCMeta, abstractmethod


class LinearModel(metaclass=ABCMeta):
 """
 Abstract base class of Linear Model.
 """

 def __init__(self):
  # Before fit or predict, please transform samples' mean to 0, var to 1.
  self.scaler = StandardScaler()

 @abstractmethod
 def fit(self, X, y):
  """fit func"""

 def predict(self, X):
  # before predict, you must run fit func.
  if not hasattr(self, 'coef_'):
   raise Exception('Please run `fit` before predict')

  X = self.scaler.transform(X)
  X = np.c_[np.ones(X.shape[0]), X]

  # `x @ y` == `np.dot(x, y)`
  return X @ self.coef_

Linear Regression

class LinearRegression(LinearModel):
 """
 Linear Regression.
 """

 def __init__(self):
  super().__init__()

 def fit(self, X, y):
  """
  :param X_: shape = (n_samples + 1, n_features)
  :param y: shape = (n_samples])
  :return: self
  """
  self.scaler.fit(X)
  X = self.scaler.transform(X)
  X = np.c_[np.ones(X.shape[0]), X]
  self.coef_ = np.linalg.inv(X.T @ X) @ X.T @ y
  return self

Lasso

class Lasso(LinearModel):
 """
 Lasso Regression, training by Coordinate Descent.
 cost = ||X @ coef_||^2 + alpha * ||coef_||_1
 """
 def __init__(self, alpha=1.0, n_iter=1000, e=0.1):
  self.alpha = alpha
  self.n_iter = n_iter
  self.e = e
  super().__init__()

 def fit(self, X, y):
  self.scaler.fit(X)
  X = self.scaler.transform(X)
  X = np.c_[np.ones(X.shape[0]), X]
  self.coef_ = np.zeros(X.shape[1])
  for _ in range(self.n_iter):
   z = np.sum(X * X, axis=0)
   tmp = np.zeros(X.shape[1])
   for k in range(X.shape[1]):
    wk = self.coef_[k]
    self.coef_[k] = 0
    p_k = X[:, k] @ (y - X @ self.coef_)
    if p_k < -self.alpha / 2:
     w_k = (p_k + self.alpha / 2) / z[k]
    elif p_k > self.alpha / 2:
     w_k = (p_k - self.alpha / 2) / z[k]
    else:
     w_k = 0
    tmp[k] = w_k
    self.coef_[k] = wk
   if np.linalg.norm(self.coef_ - tmp) < self.e:
    break
   self.coef_ = tmp
  return self

Ridge

class Ridge(LinearModel):
 """
 Ridge Regression.
 """

 def __init__(self, alpha=1.0):
  self.alpha = alpha
  super().__init__()

 def fit(self, X, y):
  """
  :param X_: shape = (n_samples + 1, n_features)
  :param y: shape = (n_samples])
  :return: self
  """
  self.scaler.fit(X)
  X = self.scaler.transform(X)
  X = np.c_[np.ones(X.shape[0]), X]
  self.coef_ = np.linalg.inv(
   X.T @ X + self.alpha * np.eye(X.shape[1])) @ X.T @ y
  return self

测试代码

import matplotlib.pyplot as plt
import numpy as np

def gen_reg_data():
 X = np.arange(0, 45, 0.1)
 X = X + np.random.random(size=X.shape[0]) * 20
 y = 2 * X + np.random.random(size=X.shape[0]) * 20 + 10
 return X, y

def test_linear_regression():
 clf = LinearRegression()
 X, y = gen_reg_data()
 clf.fit(X, y)
 plt.plot(X, y, '.')
 X_axis = np.arange(-5, 75, 0.1)
 plt.plot(X_axis, clf.predict(X_axis))
 plt.title("Linear Regression")
 plt.show()

def test_lasso():
 clf = Lasso()
 X, y = gen_reg_data()
 clf.fit(X, y)
 plt.plot(X, y, '.')
 X_axis = np.arange(-5, 75, 0.1)
 plt.plot(X_axis, clf.predict(X_axis))
 plt.title("Lasso")
 plt.show()

def test_ridge():
 clf = Ridge()
 X, y = gen_reg_data()
 clf.fit(X, y)
 plt.plot(X, y, '.')
 X_axis = np.arange(-5, 75, 0.1)
 plt.plot(X_axis, clf.predict(X_axis))
 plt.title("Ridge")
 plt.show()

测试效果

Python 实现3种回归模型(Linear Regression,Lasso,Ridge)的示例

Python 实现3种回归模型(Linear Regression,Lasso,Ridge)的示例

Python 实现3种回归模型(Linear Regression,Lasso,Ridge)的示例

更多机器学习代码,请访问 https://github.com/WiseDoge/plume

以上就是Python 实现 3 种回归模型(Linear Regression,Lasso,Ridge)的示例的详细内容,更多关于Python 实现 回归模型的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
玩转python爬虫之正则表达式
Feb 17 Python
python实现二叉树的遍历
Dec 11 Python
tensorflow实现KNN识别MNIST
Mar 12 Python
ActiveMQ:使用Python访问ActiveMQ的方法
Jan 30 Python
搞定这套Python爬虫面试题(面试会so easy)
Apr 03 Python
Python字典添加,删除,查询等相关操作方法详解
Feb 07 Python
解决jupyter notebook显示不全出现框框或者乱码问题
Apr 09 Python
Tensorflow tf.nn.depthwise_conv2d如何实现深度卷积的
Apr 20 Python
python 引用传递和值传递详解(实参,形参)
Jun 05 Python
python des,aes,rsa加解密的实现
Jan 16 Python
基于PyTorch实现一个简单的CNN图像分类器
May 29 Python
Python使用海龟绘图实现贪吃蛇游戏
Jun 18 Python
Python在centos7.6上安装python3.9的详细教程(默认python版本为2.7.5)
Oct 15 #Python
Pycharm编辑器功能之代码折叠效果的实现代码
Oct 15 #Python
如何用Python 实现全连接神经网络(Multi-layer Perceptron)
Oct 15 #Python
python 实现非极大值抑制算法(Non-maximum suppression, NMS)
Oct 15 #Python
解决pip安装的第三方包在PyCharm无法导入的问题
Oct 15 #Python
python实现粒子群算法
Oct 15 #Python
如何将anaconda安装配置的mmdetection环境离线拷贝到另一台电脑
Oct 15 #Python
You might like
php中Array2xml类实现数组转化成XML实例
2014/12/08 PHP
PHP+MySQL插入操作实例
2015/01/21 PHP
总结PHP删除字符串最后一个字符的三种方法
2016/08/30 PHP
关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍
2020/07/13 PHP
CL vs ForZe BO5 第四场 2.13
2021/03/10 DOTA
jQuery 位置函数offset,innerWidth,innerHeight,outerWidth,outerHeight,scrollTop,scrollLeft
2010/03/23 Javascript
JQuery.Ajax之错误调试帮助信息介绍
2013/07/04 Javascript
JS对select控件option选项的增删改查示例代码
2013/10/21 Javascript
jQuery打印指定区域Html页面并自动分页
2014/07/04 Javascript
jQuery统计上传文件大小的方法
2015/01/24 Javascript
详解Bootstrap插件
2016/04/25 Javascript
你知道setTimeout是如何运行的吗?
2016/08/16 Javascript
javascript 中iframe高度自适应(同域)实例详解
2017/05/16 Javascript
关于Bootstrap按钮组件消除黄框的方法
2017/05/19 Javascript
vue实现微信分享功能
2018/11/28 Javascript
快速解决layui弹窗按enter键不停弹窗的问题
2019/09/18 Javascript
[01:46]TI4西雅图DOTA2前线报道 中国选手抱团调时差
2014/07/08 DOTA
200 行python 代码实现 2048 游戏
2018/01/12 Python
Django Channels 实现点对点实时聊天和消息推送功能
2019/07/17 Python
简单分析python的类变量、实例变量
2019/08/23 Python
Python实现的爬取豆瓣电影信息功能案例
2019/09/15 Python
python3 kubernetes api的使用示例
2021/01/12 Python
欧洲最大的婴幼儿服装及内衣公司:Petit Bateau(小帆船)
2016/08/16 全球购物
美国著名的婴儿学步鞋老品牌:Robeez
2016/08/20 全球购物
印度首个本地在线平台:nearbuy
2019/03/28 全球购物
计算 s=(x*y)1/2,用两个宏定义来实现
2016/08/11 面试题
Python中pass语句的作用是什么
2016/06/01 面试题
用JAVA实现一种排序,JAVA类实现序列化的方法(二种)
2014/04/23 面试题
保密普查工作实施方案
2014/02/25 职场文书
颁奖典礼主持词
2014/03/25 职场文书
大学生社会实践方案
2014/05/11 职场文书
学校四群教育实施方案
2014/06/12 职场文书
多人股份制合作协议书
2016/03/19 职场文书
十二月早安励志心语大全
2019/12/03 职场文书
教你怎么用Python监控愉客行车程
2021/04/29 Python
Redis可视化客户端小结
2021/06/10 Redis