蒋振飞的博客 - Python数据分析基础   
正在加载蒋振飞的博客...
V3.0
蒋振飞的博客

Python数据分析基础

发布时间: 2018年09月07日 发布人: 蒋振飞 热度: 686 ℃ 评论数: 0

一、数据分析介绍

1.什么是数据分析与挖掘技术  

    ①数据分析:即对已知的数据进行分析,然后提取出一些有价值的信息,比如统计出平均数,标准差等信息,数据量有时可能不会太大。
    ②数据挖掘:指对大量的数据进行分析与挖掘,得到一些未知的,有价值的信息等,比如从网站的用户或用户行为数据中挖掘出用户潜在需求信息,从而对网站进行改善等 。
    ③数据分析与数据挖掘的关系:数据分析与数据挖掘密不可分,数据挖掘是数据分析的提升。

2.数据挖掘的过程

    ①定义目标。 
    ②获取数据(常用的手段有通过爬虫采集或者下载一些统计网站发布的数据)。 
    ③数据探索。 
    ④数据预处理(数据清晰【去掉脏数据】、数据集成【集中】、数据变换【规范化】、数据规约【精简】)。 
    ⑤挖掘建模(分类、聚类、关联、预测) 。
    ⑥模型评价与发布。

3.相关模块简介

    ①numpy:可以高效处理数据,处理数组支持,很多模块都依赖它,比如pandas,scipy,matplotlib,所以这个模块时间基础 。
    ②pandas:主要用于进行数据探索和数据分析。 
    ③matplotlib:作图模块,解决可视化问题。 
    ④scipy:主要进行数值计算,同时支持矩阵运算,并提供了很多高等数据处理功能,如积分,傅里叶,微分方程求解。 
    ⑤statsmodels:主要用于统计分析。 
    ⑥Gensim:主要用于文本挖掘。
    ⑦sklearn、keras:前者机器学习,后者深度学习。

二、相关模块安装

1.模块安装顺序与方法 

    ①numpy,mkl(下载安装) 
    ②pandas(网络安装)
    ③matplotlib(网络安装)
    ④scipy(下载安装)
    ⑤statsmodels(网络安装)
    ⑥Gensim(网络安装)
    其中下载安装地址:https://www.lfd.uci.edu/,网络安装直接通过pip安装即可。

2.相关模块的基本使用 

    ①numpy数组操作

import numpy

# 创建一维数组格式
# numpy.array([元素1,元素2,..., 元素n])
x = numpy.array(["a", "9", "8", "2"])
print(x) # ['a' '9' '8' '2']
print(x[2]) # 8

# 创建二维数组
# numpy.array([[元素1,元素2,..., 元素n], [元素1,元素2,..., 元素n], [元素1,元素2,..., 元素n]])
y = numpy.array([[3, 10], [4, 5], [7, 5]])
print(y) # [[ 3 10] [ 4  5] [ 7  5]]
print(y[0][1]) # 10

# 排序sort()
x.sort()
y.sort()

# 取最大值与最小值
y1 = y.max()
y2 = y.min()

# 切片
# 数组[start:end+1]
y3 = y[1:3]

# 生成随机整数
# (最小值,最大值,个数)
data = numpy.random.random_integers(0, 20, 10)

# 正态分布随机数
# (平均数,西格玛,个数)
data2 = numpy.random.normal(5.0, 2.0, 10)

    ②pandas数据操作

import pandas as pda

# 创建一串数字, 默认索引从0开始
a = pda.Series([8, 9, 2, 1])
# 创建一串数字, 通过index自定义索引
b = pda.Series([8, 9, 2, 1], index=[1, 2, 3, 5])

# 创建数据框, 默认索引从0开始
c = pda.DataFrame([[1, 5, 6, 2], [3, 2, 7, 8], [6, 0, 5, 1]])
# 创建数据框, 通过columns指定列索引
d = pda.DataFrame([[1, 5, 6, 2], [3, 2, 7, 8], [6, 0, 5, 1]], columns=["one", "two", "three", "four"])
# 通过字典方式创建数据框
e = pda.DataFrame({
    # 当列的值个数小于其他列,会自动填充当前值
    "one": 4,
    "two": [4, 6, 2],
    "three": list(str(982)),
})

# 头部数据,默认前五行
print(d.head())
# 头部数据,指定行数
print(d.head(2))

# 尾部数据,默认前五行
print(d.tail())
# 尾部数据,指定行数
print(d.tail(2))

# 展示数据框基本统计信息
print(d.describe())
# count 列的元素个数
# mean 列的平均数
# std 列的标准差
# min 列的最小值
# 25% 列的前分位数
# 50% 列的中分位数
# 75% 列的后分位数
# max 列的最大值

# 转置:行列置换
print(d.T)

三、数据导入分析

1.导入csv数据

    csv是一种常见的数据存储格式,基本上遇到的数据都可以转为这种存储格式,在python数据分析中,我们使用pandas模块导入csv数据。

import pandas as pda

# 导入csv格式数据
data = pda.read_csv("hexun.csv")

# csv数据的基本统计信息, 非数字不展示
print(data.describe())

# 按照某种顺序重新排序
print(data.sort_values(by="21"))

2.导入excel数据

    excel是一种表格文件,在Python数据分析中,我们同样可以使用pandas模块导入excel表格里面的数据。

import pandas as pda

# 导入excel格式文件
data = pda.read_excel("hexun.xls")

# excel数据的基本统计信息, 非数字不展示
print(data.describe())

3.导入Mysql数据库里的数据

    Mysql是一种很常见的数据库,在Python数据分析中,直接从Mysql中取数据。

import pandas as pda
import pymysql

# 连接数据库信息
conn = pymysql.connect(host="localhost", user="root", password="5201314mysql", database="test", port=3306)

# 查询数据表语句
sql = "select * from user"

# 获取查询结果
data = pda.read_sql(sql, conn)
# 数据基本统计信息
print(data.describe())

4.导入html数据

    使用pandas,可以直接从html网页中加载对于table表格中的数据,但是在使用read_html之前,需要先安装html5lib模块与beautifulsoup4模块。

import pandas as pda

# 使用本地的网页
# data = pda.read_html("abc.html")

# 从网页中读取表格
data = pda.read_html("https://book.douban.com/")
print(data)

5.导入文本数据

    有时我们希望直接导入txt文本数据,其实也是可以的。

import pandas as pda

# 使用txt文本格式
data = pda.read_table("abc.txt")

print(data.describe())

四、matplotlib可视化分析

1.折线图和散点图

# 折线图/散点图plot
import matplotlib.pylab as pyl

x = [1, 2, 4, 5, 7]
y = [4, 6, 1, 8, 30]

# plot(x轴数据,y轴数据, 展现形式)
pyl.plot(x, y)
pyl.show()

# 展现为散点图
pyl.plot(x, y, 'o')
pyl.show()

2.修改折线图线条的颜色

import matplotlib.pylab as pyl

# 线条颜色
# 'c':青色
# 'r':红色
# 'm':品红
# 'g':绿色
# 'b':蓝色
# 'y':黄色
# 'k':黑色
# 'w':白色
pyl.plot(x, y, 'k', 'ko')
pyl.plot(x, y, 'ko')
pyl.show()

3.修改折线图线条样式

import matplotlib.pylab as pyl

# 线条样式
# '-':直线
# '--':虚线
# '-.-.':-.-.形式
# ':':细小虚线
pyl.plot(x, y, '-.')
pyl.show()

4.修改散点图样式

import matplotlib.pylab as pyl

# 散点图点的样式
# 's':方形
# 'h':六角形
# 'H':六角形
# '*':星形
# '+':加号
# 'x':x形
# 'd':菱形
# 'D':菱形
# 'p':五角形
pyl.plot(x, y, 'p')
pyl.show()

5.添加坐标样式

import matplotlib.pylab as pyl

# 添加坐标样式
pyl.title('show')
pyl.xlabel('ages')
pyl.ylabel('temp')
pyl.show()

6.定义x轴,y轴的范围

import matplotlib.pylab as pyl

# 定义x轴,y轴的范围
pyl.xlim(0, 20)
pyl.ylim(0, 50)
pyl.show()

 7.绘制子图

# 绘制子图
# (行,列,当前区域)
pyl.subplot(2, 2, 1)
x1 = [1, 2, 4, 6]
y1 = [1, 3, 6, 9]
pyl.plot(x1, y1)

pyl.subplot(2, 2, 2)
x2 = [1, 2, 4, 6]
y2 = [1, 3, 6, 9]
pyl.plot(x2, y2)

pyl.subplot(2, 1, 2)
x3 = [1, 2, 4, 6]
y3 = [1, 3, 6, 9]
pyl.plot(x3, y3)

pyl.show()

8.直方图

import matplotlib.pylab as pyl
import numpy as npy

# 生成随机整数
# (最小值,最大值,个数)
data3 = npy.random.random_integers(0, 20, 10)
pyl.hist(data3)

# 正态分布随机数
# (平均数,西格玛,个数)
data4 = npy.random.normal(10.0, 2.0, 1000)
pyl.hist(data4)
pyl.show()

# 设置直方图的范围和宽度
# (start,end,step)
sty = npy.arange(2, 17, 4)
# histtype隐藏轮廓
pyl.hist(data4, sty, histtype='stepfilled')
pyl.show()

五、数据清洗

1.发现缺失值

import pandas as pda
import pymysql
from matplotlib import pylab as pyl
import numpy as npy

# 一般思路:
# 如果发现数据不符要求,可以先将该数据设置为空,然后再设置位中位数或者平均数

conn = pymysql.connect(host="127.0.0.1", user="root", password="root", db="csdn")
sql = "select * from taob"

data = pda.read_sql(sql, conn)
print(data.describe())

# 发现缺失值
data["price"][(data["price"] == 0)] = None
x = 0
for i in data.columns:
    for j in range(len(data)):
        if (data[i].isnull())[j]:
            data[i][j] = "36"
            x += 1
print(x)

2.异常值处理

# 画散点图(横轴为价格,纵轴为评论数)
# 得到价格
data2 = data.T
price = data2.values[2]
# 得到评论数据
comment = data.values[3]
pyl.plot(price, comment, 'o')
pyl.show()

# 评论数异常>2000,价格异常>2300
line = len(data.values)
col = len(data.values[0])
da = data.values

for i in range(0, line):
    for j in range(0, col):
        if da[i][2] > 2300:
            print(da[i][j])
            data[i][2] = 36
        if da[i][3] > 20000:
            print(da[i][j])
            data[i][j] = 58

da2 = da.T
price = da2[2]
comt = da2[3]
pyl.plot(price, comt, 'o')
pyl.show()

3.分布分析

priceMax = da2[2].max()
priceMin = da2[2].min()
commentMax = da2[3].max()
commentMin = da2[3].min()

# 极差:最大值 - 最小值
priceErg = priceMax - priceMin
commentErg = commentMax - commentMin

# 组距:极差/组数
pricedst = priceErg/12
commentdst = commentErg/12

# 画价格的直方图
pricesty = npy.arange(priceMin, priceMax, pricedst)
pyl.hist(da2[2], pricesty)
pyl.show()

# 画评论的直方图
commentsty = npy.arange(commentMin, commentMax, commentdst)
pyl.hist(da[3], commentsty)
pyl.show()

    未完,待更新...

打赏 蒋振飞

取消

感谢您的支持,我会继续努力的!

扫码支持
一分也是爱     一块不嫌多

点击 支付宝 或 微信 打赏蒋振飞

打开支付宝扫一扫,即可进行扫码打赏哦

评论列表