数据处理：pandas处理大型csv文件,使用pandas分块处理大文件

1. 读取限定列

一个 csv文件中，有很多列，而我们只关心其中的某些列是，如果把每行数据都读取出来，在提取信息，显然会增加IO的量，可以在读read_csv()时，给定参数，增加效率。

file = pd.read_csv("filename.csv",usecols=["col1","col2",...])

2.读取限定行

增加read_csv()方法中的nrows参数，设定读取的行数。

file = pd.read_csv("filename.csv",nrows=1000,usecols=["col1",...])