Pandas 稀疏数据

Pandas 稀疏数据操作实例

当省略与特定值（NaN /缺失值，尽管可以选择任何值）匹配的任何数据时，稀疏对象将被“压缩”。一个特殊的SparseIndex对象跟踪数据被“分散”的位置。在一个示例中，这将更加有意义。所有标准的Pandas数据结构都应用to_sparse方法：

 import pandas as pd
 import numpy as np
 ts = pd.Series(np.random.randn(10))
 ts[2:-2] = np.nan
 sts = ts.to_sparse()
 print sts

运行结果如下：

 0 -0.810497
 1 -1.419954
 2 NaN
 3 NaN
 4 NaN
 5 NaN
 6 NaN
 7 NaN
 8 0.439240
 9 -1.095910
 dtype: float64
 BlockIndex
 Block locations: array([0, 8], dtype=int32)
 Block lengths: array([2, 2], dtype=int32)

出于内存效率的原因，存在稀疏对象。
现在让我们假设您有一个很大的NA DataFrame并执行以下代码-

 import pandas as pd
 import numpy as np
 df = pd.DataFrame(np.random.randn(10000, 4))
 df.ix[:9998] = np.nan
 sdf = df.to_sparse()
 print sdf.density

运行结果如下：

   0.0001

可以通过调用to_dense将任何稀疏对象转换回标准密集形式

 import pandas as pd
 import numpy as np
 ts = pd.Series(np.random.randn(10))
 ts[2:-2] = np.nan
 sts = ts.to_sparse()
 print sts.to_dense()

运行结果如下：

 0 -0.810497
 1 -1.419954
 2 NaN
 3 NaN
 4 NaN
 5 NaN
 6 NaN
 7 NaN
 8 0.439240
 9 -1.095910
 dtype: float64

稀疏数据类型

稀疏数据应具有与其密集表示相同的dtype。当前，支持float64，int64和booldtypes。取决于原始dtype，fill_value默认更改-

float64 ? np.nan

下面我们执行以下代码来了解它们：

 import pandas as pd
 import numpy as np
 s = pd.Series([1, np.nan, np.nan])
 print s
 s.to_sparse()
 print s

运行结果如下：

 0 1.0
 1 NaN
 2 NaN
 dtype: float64
 0 1.0
 1 NaN
 2 NaN
 dtype: float64