How to build triangular matrix as df with data from dataframe

Question

Let's say: I have dataframe like this:

import pandas as pd

df = pd.DataFrame({'a':['a1','a2','a3','a4','a5'],'b':[1,2,3,4,5]})

Output:

Now I would like to add new columns corresponding to a1, a2, a3, a4, a5

for index, row in df.iterrows():
    df[index] = np.NaN

Output:

    a  b   0   1   2   3   4
0  a1  1 NaN NaN NaN NaN NaN
1  a2  2 NaN NaN NaN NaN NaN
2  a3  3 NaN NaN NaN NaN NaN
3  a4  4 NaN NaN NaN NaN NaN
4  a5  5 NaN NaN NaN NaN NaN

How can I generate a triangular matrix in the dataframe?

I would like the following output:

    a  b 0   1   2   3   4
0  a1  1 a1  a2  a3  a4  a5
1  a2  2 NaN a2  a3  a4  a5
2  a3  3 NaN NaN a3  a4  a5
3  a4  4 NaN NaN NaN a4  a5
4  a5  5 NaN NaN NaN NaN a5

Should I build one extra dataframe as a triangular matrix and then merge? What is the easiest way?

https://stackoverflow.com/a/34418376/1560708 <--- the first part of the selected answer should do the trick for you. — Shahan M, Nov 16 '21 at 17:18

score 2 · Answer 1 · 2021-11-16T17:33:16.543

This will work:

for i in range(df.shape[0]):
    df.iloc[i, i+2:] = df['a'][i:]

Output:

>>> df
    a  b   0   1   2   3   4
0  a1  1 NaN NaN NaN NaN NaN
1  a2  2 NaN NaN NaN NaN NaN
2  a3  3 NaN NaN NaN NaN NaN
3  a4  4 NaN NaN NaN NaN NaN
4  a5  5 NaN NaN NaN NaN NaN

>>> for i in range(df.shape[0]):
...    df.iloc[i, i+2:] = df['a'][i:]

>>> df
    a  b    0    1    2    3   4
0  a1  1   a1   a2   a3   a4  a5
1  a2  2  NaN   a2   a3   a4  a5
2  a3  3  NaN  NaN   a3   a4  a5
3  a4  4  NaN  NaN  NaN   a4  a5
4  a5  5  NaN  NaN  NaN  NaN  a5

mozway · Answer 2 · 2021-11-16T17:42:14.537

An efficient approach would be to use numpy (numpy.tile and numpy.triu):

import numpy as np
np.triu(np.tile(df['a'].values, (len(df), 1)))

Then craft a dataframe and join:

df.join(pd.DataFrame(np.triu(np.tile(df['a'].values, (len(df), 1))),
                     index=df.index
                     ).replace({0: pd.NA}))

output:

    a  b     0     1     2     3   4
0  a1  1    a1    a2    a3    a4  a5
1  a2  2  <NA>    a2    a3    a4  a5
2  a3  3  <NA>  <NA>    a3    a4  a5
3  a4  4  <NA>  <NA>  <NA>    a4  a5
4  a5  5  <NA>  <NA>  <NA>  <NA>  a5

alternative

n = len(df)
df.join(pd.DataFrame(np.tile(df['a'].values, (n, 1)), index=df.index
                     ).where(np.triu(np.ones((n, n))).astype(bool)))

output:

    a  b    0    1    2    3   4
0  a1  1   a1   a2   a3   a4  a5
1  a2  2  NaN   a2   a3   a4  a5
2  a3  3  NaN  NaN   a3   a4  a5
3  a4  4  NaN  NaN  NaN   a4  a5
4  a5  5  NaN  NaN  NaN  NaN  a5

@user17242583 I guess yours is good for small size dataframes ;) +1 likewise — mozway, Nov 16 '21 at 17:36

score 0 · Answer 3 · answered Nov 16 '21 at 18:13

0

My solution was similar to mozway but not in 3 steps:)

import pandas as pd
import numpy as np

d = { "a":['a1','a2','a3','a4','a5']  }
"create dataframe from dict"

df = pd.DataFrame(d)
indek1 = list(df.index)
column1 = df['a'].values
lista_tot = []
for k in indek1:
    lista_tot.append(column1)

a = np.triu(lista_tot, 0)

df1 = pd.DataFrame(a)
print(df1)

df = df.join(df1)
print(df)

answered Nov 16 '21 at 18:13

luki

197
11

I'm not sure what you consider 3 steps (if you look the last block there is a single pipeline) ;) My approach should be more efficient than a loop, as multiple `append` like you do require to rewrite the dataframe at each loop. – mozway Nov 16 '21 at 18:38

How to build triangular matrix as df with data from dataframe

3 Answers3

alternative