pandas-数据清洗

    # 导入需要的库
    import pandas as pd
    
    pd.set_option('display.max_columns',1000)
    pd.set_option('display.width',1000)
    pd.set_option('display.max_colwidth',1000)
    
    # 读取数据基本信息
    df = pd.read_csv(r'C:\Users\Administrator\Documents\Downloads\qunar_freetrip.csv',index_col = 0)
    print(df.head())
    print(df.info())
    print(df.describe())
    
    
    python
    
    
![](https://ad.itadn.com/c/weblog/blog-img/images/2025-07-12/jpJLNAMexy0wEW96omGhtvR4uncd.png)

    columns = df.columns.values
    print(columns)
    df.columns = [x.strip() for x in columns]
    print(df.columns)
    
    
    python
    
    

    print(df.duplicated().value_counts()) # 共有100个重复值
    duplicate = df[df.duplicated()]
    print(duplicate) # 打开被定义为重复值的part
    # 删除重复值,inplace = True 代表在原数据集上更改，两种方法都可以
    # df.drop_duplicates(inplace = True)
    df.drop(index = duplicate.index,inplace = True)
    print(df.shape)
    
    
    python
    
    

    print(df.describe().T) # 查看数值类型
    # 查找异常值，以标准差的3倍作为标准
    sta = (df['价格'] - df['价格'].mean()) / df['价格'].std()
    print(df[sta.abs() > 3 ])
    print(df[df['节省'] > df['价格']])
    df.drop([2792,2938,3147,3720],inplace = True)
    
    '''
    方法二
    del = pd.concat([df[sta.abs() > 3,df[df['节省'] > df['价格']]).index
    df.drop(index = del,inplace = True)
    '''
    df.reset_index() # 重置索引
    print(df.shape)
    
    
    python
    
    
![](https://ad.itadn.com/c/weblog/blog-img/images/2025-07-12/6xcP0fD5WUESj4blHga8IQqXozwF.png)

    print(df.isnull().sum())
    # 找出出发地缺失值，可以从路线看到出发地
    print(df[df.出发地.isnull()])
    df.loc[df.出发地.isnull(),'出发地'] = [str(i)[:2] for i in df.loc[df.出发地.isnull(),'路线名']]
    print(df.loc[[1864,1930]])
    
    # 找出目的地缺失值
    print(df[df.目的地.isnull()])
    df.loc[df.目的地.isnull(),'目的地'] = '大连'
    print(df.loc[1875])
    
    # 价格跟节省的缺失值为数字类型，用mean来填充
    df.价格.fillna(round(df.价格.mean(),0),inplace = True)
    df.节省.fillna(round(df.节省.mean(),0),inplace = True)
    print(df.isnull().sum())
    
    
    python
    
    
![](https://ad.itadn.com/c/weblog/blog-img/images/2025-07-12/gGXQPHz57ramZnBVhyRv2JpfEekK.png)

    # missingno 可以可视化缺失值
    import missingno as mg
    import matplotlib.pyplot as plt
    
    mg.bar(df)
    plt.show()
    
    
    python
    
    

    print(df.酒店[:10])
    # 利用正则表达式取数值 .str.extract()
    # 新建一个酒店评分column,expand为True返回Dataframe，False返回Series
    df['酒店评分'] = df.酒店.str.extract('(\d\.\d)分/5分',expand = False)
    df['酒店等级'] = df.酒店.str.extract(' (.+) ',expand = False)
    
    df['天数'] = df.路线名.str.extract('(\d)天\d晚',expand = False)
    print(df.天数)
    
    
    python
    
    

    import pandas as pd
    
    df = pd.read_csv(r'D:\kc_house_data.csv')
    
    print(df.info()) # 查看数据类型
    
    df['date'] = pd.to_datetime(df['date'],format='%Y/%m/%d')
    print(df.date.head(10))
    df.to_csv(r'D:\kc_house.csv')
    
    
    python
    
    

    # 这个函数中，[0],[1]分别代表时间中的2018-05-17与23:59:09，并从x中分割一个数，赋值到新的列data['日期']中
    data['日期']=[x.split(' ')[0] for x in data['时间']]  
    #data['日期']=[x.split(' ')[1] for x in data['时间']],分割出来的是23:59:09  
    
    
    python
    
    

    import re
    
    content = '个人信息姓名电话13829837584我反对我性别年433432龄就覅都很少能够i南方的弗3243农山大13243佛'
    
    patten = r'1[3-9]\d{9}' # 第一个为1，第二个num为3-9的数字，后面字符有9个数字/d{9}
    result = re.findall(patten,content)
    result
    
    # 输出结果['13829837584']
    
    
    python
    
    
![](https://ad.itadn.com/c/weblog/blog-img/images/2025-07-12/FRTydINq0Hxv7egkQjULZGu91Cr2.png)

    # 将DataFrame转换为list
    cities = pd.read_excel('目标城市.xlsx')
    #读取基本信息，得知cities是一个DataFrame，要判断售货城市是否在目标城市中时，需要采用isin()函数，并将DataFrame转化为list
    cities.info() 
    cities = list(cities['城市'])
    
    '''
    用isin()函数来判断是否在目标城市内
    新增判断列data['是否在目标城市']，在目标城市为1，不在为0
    '''
    data['是否在目标城市'] = None
    data.loc[data['城市'].isin(cities),'是否在目标城市'] = 1   #在目标城市设置为1
    data.loc[data['是否在目标城市'].isnull(),'是否在目标城市'] = 0   #其余设置为0
    
    
    python
    
    
![](https://ad.itadn.com/c/weblog/blog-img/images/2025-07-12/Ia3tyMJsLXWYcDpBqTV7xShnPQ60.png)