python之pandas的基本使用series和dataframe(1)

el/2024/7/24 1:33:42

一、pandas概述

pandas :pannel data analysis(面板数据分析)。pandas是基于numpy构建的,为时间序列分析提供了很好的支持。pandas中有两个主要的数据结构一个是Series,另一个是DataFrame。

二、数据结构 Series

Series 类似于一维数组与字典(map)数据结构的结合。它由一组数据与数据相对应的数据标签(索引index)组成。这组数据和索引标签的基础都是一个一维ndarray数组。可将index索引理解为行索引。 Series的表现形式为:索引在左,数据在右

• 获取数据和索引:ser_obj.index, ser_obj.values

• 预览数据:ser_obj.head(n), ser_obj.tail(n)

Series的使用代码示例:

import pandas as pd
from pandas import Series,DataFrameprint '用一维数组生成Series'
x = Series([1,2,3,4]) print x
'''
0    1
1    2
2    3
3    4
'''
print x.values
[1 2 3 4]
# 默认标签为0到3的序号
print x.indexprint '指定Series的index' # 可将index理解为行索引
x = Series([1, 2, 3, 4], index = ['a', 'b', 'd', 'c'])
print x
'''
a    1
b    2
d    3
c    4
'''
print x.index # Index([u'a', u'b', u'd', u'c'], dtype='object')
print x['a'] # 通过行索引来取得元素值:1
x['d'] = 6 # 通过行索引来赋值
print x[['c', 'a', 'd']] # 类似于numpy的花式索引
'''
c    4
a    1
d    6
'''
print x[x > 2]  # 类似于numpy的布尔索引
'''
d    6
c    4
'''
print 'b' in x # 类似于字典的使用:是否存在该索引:True
print 'e' in x # Falseprint '使用字典来生成Series'
data = {'a':1, 'b':2, 'd':3, 'c':4}
x = Series(data)
print x
'''
a    1
b    2
c    4
d    3
'''
print '使用字典生成Series,并指定额外的index,不匹配的索引部分数据为NaN。'
exindex = ['a', 'b', 'c', 'e']
y = Series(data, index = exindex) # 类似替换索引
print y
'''
a    1.0
b    2.0
c    4.0
e    NaN
'''
print 'Series相加,相同行索引相加,不同行索引则数值为NaN'
print x+y
'''
a    2.0
b    4.0
c    8.0
d    NaN
e    NaN
'''
print '指定Series/索引的名字'
y.name = 'weight of letters'
y.index.name = 'letter'
print y
'''
letter
a    1.0
b    2.0
c    4.0
e    NaN
Name: weight of letters, dtype: float64
'''
print '替换index'
y.index = ['a', 'b', 'c', 'f']
print y # 不匹配的索引部分数据为NaN
'''
a    1.0
b    2.0
c    4.0
f    NaN
Name: weight of letters, dtype: float64
'''

三、数据结构 DataFrame

DataFrame是一个类似表格的数据结构,索引包括列索引和行索引,包含有一组有序的列,每列可以是不同的值类型(数值、字符串、布尔值等)DataFrame的每一行和每一列都是一个Series这个Series的name属性为当前的行索引名/列索引名

  • 通过列索引获取列数据(Series类型 )df_obj[col_idx] 或 df_obj.col_idx

  • .ix,标签与位置混合索引

可输入给DataFrame构造器的数据:

这里写图片描述

DataFrame的使用代码示例:

print '使用字典生成DataFrame,key为列名字。'
data = {'state':['ok', 'ok', 'good', 'bad'],'year':[2000, 2001, 2002, 2003],'pop':[3.7, 3.6, 2.4, 0.9]}
print DataFrame(data) # 行索引index默认为0,1,2,3 
'''pop state  year
0  3.7    ok  2000
1  3.6    ok  2001
2  2.4  good  2002
3  0.9   bad  2003
'''
# 指定列索引columns,不匹配的列为NaN
print DataFrame(data, columns = ['year', 'state', 'pop','debt']) 
'''year state  pop
0  2000    ok  3.7
1  2001    ok  3.6
2  2002  good  2.4
3  2003   bad  0.9
'''
print '指定行索引index'
x = DataFrame(data,columns = ['year', 'state', 'pop', 'debt'],index = ['one', 'two', 'three', 'four'])
print x
'''year state  pop debt
one    2000    ok  3.7  NaN
two    2001    ok  3.6  NaN
three  2002  good  2.4  NaN
four   2003   bad  0.9  NaN
'''import numpy
print 'DataFrame元素的索引与修改'
print x['state'] # 返回一个名为state的Series
'''
one        ok
two        ok
three    good
four      bad
Name: state, dtype: object
'''
print x.state # 可直接用.进行列索引
print x.ix['three'] # 用.ix[]来区分[]进行行索引
'''
year     2002
state    good
pop       2.4
debt      NaN
Name: three, dtype: object
'''
x['debt'] = 16.5 # 修改一整列数据
print x
'''year state  pop  debt
one    2000    ok  3.7  16.5
two    2001    ok  3.6  16.5
three  2002  good  2.4  16.5
four   2003   bad  0.9  16.5
'''
x.debt = numpy.arange(4)  # 用numpy数组修改元素
print x
'''year state  pop  debt
one    2000    ok  3.7     0
two    2001    ok  3.6     1
three  2002  good  2.4     2
four   2003   bad  0.9     3
'''print '用Series修改元素,没有指定的默认数据用NaN'
val = Series([-1.2, -1.5, -1.7,0], index = ['one', 'two', 'five','six']) 
x.debt = val # DataFrame的行索引不变
print x
'''year state  pop  debt
one    2000    ok  3.7  -1.2
two    2001    ok  3.6  -1.5
three  2002  good  2.4   NaN
four   2003   bad  0.9   NaN
'''print '给DataFrame添加新列'
x['gain'] = (x.debt > 0)  # 如果debt大于0为True
print x
'''year state  pop  debt   gain
one    2000    ok  3.7  -1.2  False
two    2001    ok  3.6  -1.5  False
three  2002  good  2.4   NaN  False
four   2003   bad  0.9   NaN  False
'''
print x.columns
# Index([u'year', u'state', u'pop', u'debt', u'gain'], dtype='object')print 'DataFrame转置'
print x.T
'''one    two  three   four
year    2000   2001   2002   2003
state     ok     ok   good    bad
pop      3.7    3.6    2.4    0.9
debt    -1.2   -1.5    NaN    NaN
gain   False  False  False  False
'''print '使用切片初始化数据,未被匹配的数据为NaN'
pdata = {'state':x['state'][0:3], 'pop':x['pop'][0:2]}
y = DataFrame(pdata)
print y
'''pop  state
one    3.7    ok
three  NaN  good
two    3.6    ok
'''print '指定索引和列的名称'
# 与Series的index.name相区分
y.index.name = '序号'
y.columns.name = '信息' 
print y
'''
信息    pop   state
序号              
one    3.7    ok
three  NaN  good
two    3.6    ok
'''
print y.values
'''
[[3.7 'ok'][nan 'good'][3.6 'ok']]
'''

四、索引对象

pandas的索引对象负责管理轴标签和轴名称等。构建Series或DataFrame时,所用到的任何数组或其他序列的标签都会被转换成一个Index对象。 Index对象是不可修改的,Series和DataFrame中的索引都是Index对象。

代码示例:

from pandas import Index
print '获取Index对象'
x = Series(range(3), index = ['a', 'b', 'c'])
index = x.index
print index 
# Index([u'a', u'b', u'c'], dtype='object')
print index[0:2]
# Index([u'a', u'b'], dtype='object')
try:index[0]='d'
except:print "Index is immutable"print '构造/使用Index对象'
index = Index(numpy.arange(3))
obj2 = Series([1.5, -2.5, 0], index = index)
print obj2
'''
0    1.5
1   -2.5
2    0.0
dtype: float64
'''
print obj2.index is index # Trueprint '判断列/行索引是否存在'
data = {'pop':{2.4, 2.9},'year':{2001, 2002} }
x = DataFrame(data)
print x
'''pop          year
0  {2.4, 2.9}  {2001, 2002}
1  {2.4, 2.9}  {2001, 2002}
'''
print 'pop' in x.columns # True
print 1 in x.index # True

五、基本功能

  1. 列/行索引重新指定索引(删除/增加:行/列):reindex函数

    reindex的method选项:

    这里写图片描述

    代码示例:

    print '重新指定索引及NaN填充值'
    x = Series([4, 7, 5], index = ['a', 'b', 'c'])
    y = x.reindex(['a', 'b', 'c', 'd'])
    print y
    '''
    a    4.0
    b    7.0
    c    5.0
    d    NaN
    dtype: float64
    '''
    print x.reindex(['a', 'b', 'c', 'd'], fill_value = 0) 
    # fill_value 指定不存在元素NaN的默认值
    '''
    a    4
    b    7
    c    5
    d    0
    dtype: int64
    '''print '重新指定索引并指定填充NaN的方法'
    x = Series(['blue', 'purple'], index = [0, 2]) 
    print x.reindex(range(4), method = 'ffill')
    '''
    0      blue
    1      blue
    2    purple
    3    purple
    dtype: object
    '''print '对DataFrame重新指定行/列索引'
    x = DataFrame(numpy.arange(9).reshape(3, 3),index = ['a', 'c', 'd'],columns = ['A', 'B', 'C'])
    print x
    '''A  B  C
    a  0  1  2
    c  3  4  5
    d  6  7  8
    '''
    x =  x.reindex(['a', 'b', 'c', 'd'],method = 'bfill')
    print x
    '''A  B  C
    a  0  1  2
    b  3  4  5
    c  3  4  5
    d  6  7  8
    '''
    print '重新指定column'
    states = ['A', 'B', 'C','D']
    x =  x.reindex(columns = states,fill_value = 0)
    print x
    '''A  B  C  D
    a  0  1  2  0
    b  3  4  5  0
    d  6  7  8  0
    c  3  4  5  0
    '''
    print x.ix[['a', 'b', 'd', 'c'], states]
    '''A  B  C  D
    a  0  1  2  0
    b  3  4  5  0
    d  6  7  8  0
    c  3  4  5  0
    '''
  2. 删除(丢弃)整一行/列的元素:drop函数

    print 'Series根据行索引删除行'
    x = Series(numpy.arange(4), index = ['a', 'b', 'c','d'])
    print x.drop('c')
    '''
    a    0
    b    1
    d    3
    dtype: int32
    '''
    print x.drop(['a', 'b'])  #  花式删除
    '''
    c    2
    d    3
    dtype: int32
    '''print 'DataFrame根据索引行/列删除行/列'
    x = DataFrame(numpy.arange(16).reshape((4, 4)),index = ['a', 'b', 'c', 'd'],columns = ['A', 'B', 'C', 'D'])
    print x
    '''A   B   C   D
    a   0   1   2   3
    b   4   5   6   7
    c   8   9  10  11
    d  12  13  14  15
    '''
    print x.drop(['A','B'],axis=1) # 在列的维度上删除AB两行
    '''C   D
    a   2   3
    b   6   7
    c  10  11
    d  14  15
    '''
    print x.drop('a', axis = 0) # 在行的维度上删除行
    '''A   B   C   D
    b   4   5   6   7
    c   8   9  10  11
    d  12  13  14  15
    '''
    print x.drop(['a', 'b'], axis = 0)
    '''A   B   C   D
    c   8   9  10  11
    d  12  13  14  15
    '''
  3. 索引、选取和过滤:

    DataFrame的索引选项:

    这里写图片描述

    print 'Series的数组索引/字典索引'
    x = Series(numpy.arange(4), index = ['a', 'b', 'c', 'd'])
    print x['b'] # 1 像字典一样索引
    print x[1] # 1  像数组一样索引
    print x[[1, 3]] # 花式索引
    '''
    b    1
    d    3
    dtype: int32
    '''
    print x[x < 2] # 布尔索引
    '''
    a    0
    b    1
    dtype: int32
    '''
    print 'Series的数组切片'
    print x['a':'c']  # 闭区间,索引顺序须为前后
    '''
    a    0
    b    1
    c    2
    '''
    x['a':'c'] = 5
    print x
    '''
    a    5
    b    5
    c    5
    d    3
    '''print 'DataFrame的索引'
    data = DataFrame(numpy.arange(16).reshape((4, 4)),index = ['a', 'b', 'c', 'd'],columns = ['A', 'B', 'C', 'D'])
    print data
    '''A   B   C   D
    a   0   1   2   3
    b   4   5   6   7
    c   8   9  10  11
    d  12  13  14  15
    '''
    print data['A'] # 打印列
    '''
    a     0
    b     4
    c     8
    d    12
    Name: A, dtype: int32
    '''
    print data[['A', 'B']] # 花式索引
    '''A   B
    a   0   1
    b   4   5
    c   8   9
    d  12  13
    '''
    print data[:2] # 切片索引,选择行
    '''A  B  C  D
    a  0  1  2  3
    b  4  5  6  7
    '''
    print data.ix[:2, ['A', 'B']] # 指定行和列索引
    '''A  B
    a  0  1
    b  4  5
    '''
    print data.ix[['a', 'b'], [3, 0, 1]] #行:字典索引,列:数组索引
    '''D  A  B
    a  3  0  1
    b  7  4  5
    '''
    print data.ix[2]  # 打印第2行(从0开始)
    '''
    A     8
    B     9
    C    10
    D    11
    '''
    print data.ix[:'b', 'A'] # 行从开始到b,第A列。
    '''
    a    0
    b    4
    Name: A, dtype: int32
    '''
    print '根据条件选择'
    print data
    '''A   B   C   D
    a   0   1   2   3
    b   4   5   6   7
    c   8   9  10  11
    d  12  13  14  15
    '''
    print data[data.A > 5] # 根据条件选择行
    '''A   B   C   D
    c   8   9  10  11
    d  12  13  14  15
    '''
    print data < 5  # 打印True或者False
    '''A      B      C      D
    a   True   True   True   True
    b   True  False  False  False
    c  False  False  False  False
    d  False  False  False  False
    '''
    data[data < 5] = 0 # 条件索引
    print data
    '''A   B   C   D
    a   0   0   0   0
    b   0   5   6   7
    c   8   9  10  11
    d  12  13  14  15
    '''

  4. 算术运算和数据对齐

    代码示例:

    print 'DataFrame算术:不重叠部分为NaN,重叠部分元素运算'
    x = DataFrame(numpy.arange(9.).reshape((3, 3)),columns = ['A','B','C'],index = ['a', 'b', 'c'])
    y = DataFrame(numpy.arange(12).reshape((4, 3)),columns = ['A','B','C'],index = ['a', 'b', 'c', 'd'])
    print x
    print y
    print x + y
    '''A     B     C
    a   0.0   2.0   4.0
    b   6.0   8.0  10.0
    c  12.0  14.0  16.0
    d   NaN   NaN   NaN
    '''
    print '对x/y的不重叠部分填充,不是对结果NaN填充'
    print x.add(y, fill_value = 0) # x不变化
    '''A     B     C
    a   0.0   2.0   4.0
    b   6.0   8.0  10.0
    c  12.0  14.0  16.0
    d   9.0  10.0  11.0
    '''print 'DataFrame与Series运算:每行/列进行运算'
    frame = DataFrame(numpy.arange(9).reshape((3, 3)),columns = ['A','B','C'],index = ['a', 'b', 'c'])
    series = frame.ix[0]
    print frame
    '''A  B  C
    a  0  1  2
    b  3  4  5
    c  6  7  8
    '''
    print series
    '''
    A    0
    B    1
    C    2
    '''
    print frame - series # 默认按行运算
    '''A  B  C
    a  0  0  0
    b  3  3  3
    c  6  6  6
    '''
    series2 = Series(range(4), index = ['A','B','C','D'])
    print frame + series2 # 按行运算:缺失列则为NaN
    '''A  B   C   D
    a  0  2   4 NaN
    b  3  5   7 NaN
    c  6  8  10 NaN
    '''
    series3 = frame.A
    print series3
    '''
    a    0
    b    3
    c    6
    '''
    print frame.sub(series3, axis = 0)  # 按列运算。
    '''A  B  C
    a  0  1  2
    b  0  1  2
    c  0  1  2
    '''
    
  5. numpy函数应用与映射

    代码示例:

    print 'numpy函数在Series/DataFrame的应用'
    frame = DataFrame(numpy.arange(9).reshape(3,3),columns = ['A','B','C'],index = ['a', 'b', 'c'])
    print frame
    '''A  B  C
    a  0  1  2
    b  3  4  5
    c  6  7  8
    '''
    print numpy.square(frame)
    '''A   B   C
    a   0   1   4
    b   9  16  25
    c  36  49  64
    '''series = frame.A
    print series
    '''
    a    0
    b    3
    c    6
    '''
    print numpy.square(series)
    '''
    a     0
    b     9
    c    36
    '''print 'lambda(匿名函数)以及应用'
    print frame
    '''A  B  C
    a  0  1  2
    b  3  4  5
    c  6  7  8
    '''
    print frame.max()
    '''
    A    6
    B    7
    C    8
    '''
    f = lambda x: x.max() - x.min()
    print frame.apply(f) # 作用到每一列
    '''
    A    6
    B    6
    C    6
    '''
    print frame.apply(f, axis = 1) # 作用到每一行
    '''
    a    2
    b    2
    c    2
    '''
    def f(x): # Series的元素的类型为Seriesreturn Series([x.min(), x.max()], index = ['min', 'max'])
    print frame.apply(f)
    '''A  B  C
    min  0  1  2
    max  6  7  8
    '''print 'applymap和map:作用到每一个元素'
    _format = lambda x: '%.2f' % x
    print frame.applymap(_format) # 针对DataFrame
    '''A     B     C
    a  0.00  1.00  2.00
    b  3.00  4.00  5.00
    c  6.00  7.00  8.00
    '''
    print frame['A'].map(_format) # 针对Series
    '''
    a    0.00
    b    3.00
    c    6.00
    Name: A, dtype: object
    '''
    
全部代码:Github

http://www.ngui.cc/el/5557039.html

相关文章

python之pandas的基本使用(2)

一、排序和排名 排序&#xff1a;sort_index和sort_values函数代码示例&#xff1a;print Series排序 x Series(range(4), index [b, a, c, d]) print x.sort_index() # Series按索引排序a 1 b 0 c 2 d 3print x.sort_values() # Series按值排序 b 0 a 1 c…

matplotlib基础教程(1)

前言&#xff1a;matplotlib是一个python的第三方库&#xff0c;里面的pyplot可以用来作图。下面来学习一下如何使用它的资源。 一、使用前 首先在python中使用任何第三方库时&#xff0c;都必须先将其引入。即&#xff1a; import matplotlib.pyplot as plt 或者&#xff…

深度学习中常见分布-正态分布和伽玛分布

正态分布&#xff08;Normal distribution&#xff09;又名高斯分布&#xff08;Gaussian distribution&#xff09;&#xff0c;是一个在数学、物理及工程等领域都非常重要的概率分布&#xff0c;在统计学的许多方面有着重大的影响力。 若随机变量X服从一个数学期望为μ、标准…

tensorflow:批标准化(Bacth Normalization,BN)

批标准化&#xff08;Bactch Normalization&#xff0c;BN&#xff09;是为了克服神经网络加深导致难以训练而诞生的&#xff0c;随着神经网络深度加深&#xff0c;训练起来就会越来越困难&#xff0c;收敛速度回很慢&#xff0c;常常会导致梯度弥散问题(Vanishing Gradient Pr…

池化函数(Pooling Function)

1. 池化(Pooling)概念 在神经网络中&#xff0c;池化函数(Pooling Function)一般在卷积函数的下一层。在经过卷积层提取特征之后&#xff0c;得到的特征图代表了 比 像素 更高级的特征&#xff0c;已经可以交给 分类器 进行训练分类了。但是我们 每一组卷积核 都生成 一副…

深度学习(图像处理): A neural algorithm of artistic style算法详解

Gatys, Leon A., Alexander S. Ecker, and Matthias Bethge. “A neural algorithm of artistic style.” arXiv preprint arXiv:1508.06576 (2015). 下面这篇发表于CVPR16&#xff0c;内容类似&#xff0c;排版更便于阅读。 Gatys, Leon A., Alexander S. Ecker, and Matthias…

深度学习(图像处理)A Neural Algorithm of Artistic Style 图像风格转换 - keras简化版实现

前言 深度学习是最近比较热的词语。说到深度学习的应用&#xff0c;第一个想到的就是Prisma App的图像风格转换。既然感兴趣就直接开始干&#xff0c;读了论文&#xff0c;一知半解&#xff1b;看了别人的源码&#xff0c;才算大概了解的具体的实现&#xff0c;也惊叹别人的奇思…

统计学习:正则化与交叉验证

1. 正则化 模型选择的经典方法是正则化&#xff08;regularization&#xff09;。正规化是结构风险最小化策略的实现&#xff0c;是在经验风险上加一个正则化项&#xff08;regularizer&#xff09;或罚项&#xff08;penalty term&#xff09;。正则化一般是模型复杂度的单调递…

Neo4j数据库基础

1、Neo4j简介 可能很多同学之前没有接触过图数据库&#xff0c;Neo4j就是一个图数据库&#xff0c;首先对Neo4j做一个初步的介绍&#xff1a; Neo4j是一个——面向网络的数据库——基于磁盘的、具备完全的事务特性的Java持久化引擎&#xff0c;但是它将结构化数据存储在网络上…

ipython开发工具Jupyter Notebook安装

第一步&#xff1a;安装ipython,安装完成后输入ipython&#xff0c;如下图&#xff0c;输入exit可退出 pip install ipython 第二步&#xff1a;安装jupyter pip install jupyter 第三步&#xff1a;配置环境&#xff0c;通过远程方式访问jupyter notebook jupyter not…