1

I have the following file (see below) which I want to read using the pd.read_csv option. I want the first 24 lines do be dropped anyway. Then the structure is as follow: 3 lines to be dropped, 60 lines to read in, 3 lines to be dropped, 60 lines to read in etc. This goes on for quite some time.

df = pd.read_csv(datafile, skiprows = 24, delim_whitespace=True)

Can I add a range() after skipping 24 rows that continues for x lines (the length of the datafile)?

Vertical profiles of ECMWF parameterstemperature, moisture, LWC, U and V
level          t           q          LWC          u           v           w          u+v
      130980          60          60   60.0000000000000     
           1          60
   8.75332450326097        30.5677388583413        62.7216887739022     
   108.335041697562        170.123480703067        250.542853656403     
   351.764711312718        475.720993428368        623.563807871164     
   796.107808322122        994.056686473975        1217.80286420227     
   1467.81052148690        1744.48784016451        2048.02346307526     
   2378.71773210440        2737.18302990207        3123.85228913074     
   3538.57979383002        3981.20254732721        4451.44154076467     
   4948.67943110108        5472.88104012389        6024.75284020101     
   6604.99037453234        7212.69448845619        7846.69537462606     
   8508.22938089204        9200.87347436945        9928.55164711560     
   10699.7603440066        11523.4469399883        12403.2197677173     
   13342.5474982483        14345.7049733364        15417.1702121379     
   16556.8863014169        17764.6189006586        19036.3833538767     
   20366.3736020603        21724.4753151811        23074.4364086014     
   24416.8231622739        25757.7757118049        27095.4742686085     
   28430.7885950671        29768.4869093834        31101.9348285438     
   32434.8248506707        33770.3019159251        35109.4658315595     
   36480.0492866908        37917.4988219315        39462.5974602225     
   41162.3753108012        43090.8534512150        45339.5150682520     
   48035.1599995229        51419.3438713628        57518.2817537531     
01-10-19 10:00
          60         274         100        1000  1.000000000000000E-010
   8514.00282225765        329.142561845565     
0060     0.26603E+03    0.20481E-02    0.38409E-07    0.13788E+00   -0.25550E+01   -0.94046E-02    0.25588E+01
0059     0.26581E+03    0.20384E-02   -0.10781E-06    0.75489E-01   -0.27764E+01   -0.55047E-02    0.27774E+01
0058     0.26554E+03    0.20367E-02    0.55121E-05    0.29650E-01   -0.28786E+01    0.14564E-02    0.28788E+01
0057     0.26520E+03    0.19975E-02    0.36350E-04    0.67284E-01   -0.28538E+01    0.10873E-01    0.28546E+01
0056     0.26479E+03    0.19255E-02    0.10595E-03    0.47572E-02   -0.29564E+01    0.23050E-01    0.29564E+01
0055     0.26406E+03    0.18432E-02    0.18671E-03    0.54356E-02   -0.30165E+01    0.38602E-01    0.30165E+01
0054     0.26660E+03    0.20459E-02   -0.17477E-04   -0.65568E+00   -0.23397E+01    0.46937E-01    0.24298E+01
0053     0.26598E+03    0.19971E-02    0.60505E-07   -0.64390E+00   -0.17354E+01    0.56635E-01    0.18510E+01
0052     0.26514E+03    0.18978E-02    0.84697E-05   -0.37038E+00   -0.12937E+01    0.67860E-01    0.13457E+01
0051     0.26451E+03    0.18403E-02    0.32353E-04   -0.22616E-01   -0.73078E+00    0.82852E-01    0.73113E+00
0050     0.26454E+03    0.18707E-02    0.98391E-05   -0.73497E+00   -0.92942E+00    0.98650E-01    0.11849E+01
0049     0.26390E+03    0.18549E-02    0.44787E-06   -0.20948E+01   -0.25457E+01    0.15024E+00    0.32967E+01
0048     0.26296E+03    0.16416E-02   -0.23751E-06   -0.26137E+01   -0.31716E+01    0.20121E+00    0.41098E+01
0047     0.26041E+03    0.15325E-02    0.49308E-05   -0.23479E+01   -0.24955E+01    0.19255E+00    0.34264E+01
0046     0.25998E+03    0.13998E-02    0.45585E-07   -0.17059E+01   -0.17721E+01    0.92650E-01    0.24598E+01
0045     0.25853E+03    0.12923E-02    0.62326E-07   -0.11941E+01   -0.14215E+01    0.32700E-01    0.18565E+01
0044     0.25755E+03    0.11495E-02   -0.10146E-08   -0.66297E+00   -0.69672E+00    0.33131E-01    0.96174E+00
0043     0.25605E+03    0.11649E-02   -0.12692E-08   -0.37280E+00    0.22140E+00    0.55013E-01    0.43359E+00
0042     0.25369E+03    0.97851E-03    0.77261E-08   -0.67963E+00    0.90779E+00    0.73766E-01    0.11340E+01
0041     0.25075E+03    0.68815E-03   -0.13179E-09   -0.14454E+01    0.91151E+00    0.93768E-01    0.17088E+01
0040     0.24810E+03    0.55401E-03   -0.54210E-19   -0.30758E+01    0.62197E+00    0.92753E-01    0.31380E+01
0039     0.24581E+03    0.44875E-03   -0.54210E-19   -0.49961E+01    0.12528E+00    0.81069E-01    0.49976E+01
0038     0.24262E+03    0.34213E-03   -0.54210E-19   -0.61000E+01   -0.13672E+00    0.77125E-01    0.61015E+01
0037     0.23876E+03    0.24733E-03   -0.54210E-19   -0.65051E+01    0.27669E+00    0.76684E-01    0.65110E+01
0036     0.23516E+03    0.14919E-03   -0.54210E-19   -0.64450E+01    0.88040E+00    0.79685E-01    0.65049E+01
0035     0.23136E+03    0.10838E-03   -0.54210E-19   -0.66710E+01    0.19204E+01    0.77559E-01    0.69419E+01
0034     0.22712E+03    0.78848E-04   -0.54210E-19   -0.76863E+01    0.25420E+01    0.60415E-01    0.80957E+01
0033     0.22240E+03    0.38655E-04   -0.54210E-19   -0.85147E+01    0.36751E+01    0.40502E-01    0.92739E+01
0032     0.21820E+03    0.27872E-04   -0.54210E-19   -0.89131E+01    0.47102E+01    0.34823E-01    0.10081E+02
0031     0.21669E+03    0.20237E-04   -0.54210E-19   -0.10101E+02    0.38740E+01    0.25885E-02    0.10819E+02
0030     0.21965E+03    0.71118E-05   -0.54210E-19   -0.10253E+02    0.25874E+01   -0.70732E-02    0.10574E+02
0029     0.22189E+03    0.36776E-05   -0.54210E-19   -0.98814E+01    0.19487E+01   -0.34737E-02    0.10072E+02
0028     0.22240E+03    0.34538E-05   -0.54210E-19   -0.93483E+01    0.17726E+01   -0.71143E-02    0.95149E+01
0027     0.22247E+03    0.32557E-05   -0.54210E-19   -0.90508E+01    0.13569E+01   -0.12092E-01    0.91520E+01
0026     0.22147E+03    0.30813E-05   -0.54210E-19   -0.84119E+01    0.31451E+01   -0.86434E-02    0.89807E+01
0025     0.22093E+03    0.30536E-05   -0.54210E-19   -0.63708E+01    0.47492E+01   -0.25938E-02    0.79462E+01
0024     0.22028E+03    0.30502E-05   -0.54210E-19   -0.51147E+01    0.50195E+01    0.92872E-03    0.71663E+01
0023     0.21972E+03    0.31135E-05   -0.54210E-19   -0.25719E+01    0.31674E+01    0.66987E-02    0.40801E+01
0022     0.21842E+03    0.31770E-05   -0.54210E-19   -0.29990E+01    0.30308E+01   -0.43793E-03    0.42638E+01
0021     0.21615E+03    0.33205E-05   -0.54210E-19   -0.94648E+00    0.48474E+01    0.23759E-03    0.49389E+01
0020     0.21486E+03    0.34146E-05   -0.54210E-19    0.38524E+00    0.47046E+01    0.14117E-02    0.47203E+01
0019     0.21424E+03    0.35014E-05   -0.54210E-19   -0.10976E+00    0.47860E+01   -0.34728E-02    0.47872E+01
0018     0.21250E+03    0.36789E-05   -0.54210E-19    0.12995E+01    0.40400E+01   -0.43121E-02    0.42439E+01
0017     0.21150E+03    0.37619E-05   -0.54210E-19    0.15957E+01    0.59288E+01   -0.14981E-02    0.61398E+01
0016     0.21119E+03    0.39125E-05   -0.54210E-19    0.48562E+01    0.66013E+01   -0.69148E-03    0.81951E+01
0015     0.21179E+03    0.39863E-05   -0.54210E-19    0.30768E+01    0.34526E+01    0.28159E-02    0.46246E+01
0014     0.21277E+03    0.40119E-05   -0.54210E-19    0.15335E+01    0.49418E+01    0.51954E-03    0.51742E+01
0013     0.21283E+03    0.40478E-05   -0.54210E-19    0.57918E+01    0.69226E+01   -0.84855E-03    0.90259E+01
0012     0.21416E+03    0.40788E-05   -0.54210E-19    0.85260E+01    0.54266E+01    0.35919E-03    0.10107E+02
0011     0.21620E+03    0.42257E-05   -0.54210E-19    0.95869E+01    0.43093E+01    0.93772E-03    0.10511E+02
0010     0.21784E+03    0.43282E-05   -0.54210E-19    0.10601E+02    0.80426E+00    0.28012E-03    0.10631E+02
0009     0.21973E+03    0.44695E-05   -0.54210E-19    0.65378E+01    0.21662E+01    0.65023E-03    0.68874E+01
0008     0.22224E+03    0.45520E-05   -0.54210E-19    0.12085E+02    0.66412E+01   -0.21456E-03    0.13790E+02
0007     0.22485E+03    0.45951E-05   -0.54210E-19    0.14447E+02    0.63835E+00    0.58929E-04    0.14461E+02
0006     0.22938E+03    0.46085E-05   -0.54210E-19    0.11535E+02    0.83609E+00    0.31589E-03    0.11566E+02
0005     0.23324E+03    0.46497E-05   -0.54210E-19    0.13201E+02    0.33892E+01    0.15733E-03    0.13629E+02
0004     0.23736E+03    0.46734E-05   -0.54210E-19    0.17782E+02    0.28244E+01    0.17444E-03    0.18005E+02
0003     0.24309E+03    0.46128E-05   -0.54210E-19    0.19386E+02    0.15755E+00    0.27179E-03    0.19387E+02
0002     0.24871E+03    0.46128E-05   -0.54210E-19    0.21114E+02    0.92104E+00    0.91166E-04    0.21134E+02
0001     0.24876E+03    0.46024E-05   -0.54210E-19    0.19522E+02    0.36920E+01    0.27314E-04    0.19868E+02
01-10-19 11:00
         120         274         200        1100  1.000000000000000E-010
   8555.14855669946        350.619274740361     
0060     0.26618E+03    0.20769E-02    0.40529E-07    0.17623E+00   -0.20927E+01   -0.67528E-02    0.21001E+01
0059     0.26597E+03    0.20651E-02   -0.13868E-06    0.87998E-01   -0.22836E+01   -0.28371E-02    0.22853E+01
0058     0.26573E+03    0.20618E-02    0.60259E-05   -0.79162E-02   -0.23736E+01    0.40353E-02    0.23736E+01
0057     0.26540E+03    0.20174E-02    0.40043E-04   -0.20449E-01   -0.23559E+01    0.13451E-01    0.23559E+01
0056     0.26498E+03    0.19454E-02    0.11050E-03   -0.87100E-01   -0.24547E+01    0.26099E-01    0.24563E+01
0055     0.26427E+03    0.18618E-02    0.19374E-03   -0.60593E-01   -0.25233E+01    0.41933E-01    0.25240E+01
0054     0.26655E+03    0.20560E-02   -0.11084E-04   -0.55493E+00   -0.18893E+01    0.51997E-01    0.19691E+01
0053     0.26590E+03    0.20089E-02    0.19729E-06   -0.55007E+00   -0.13687E+01    0.63204E-01    0.14751E+01
0052     0.26495E+03    0.18954E-02    0.18639E-04   -0.36317E+00   -0.91263E+00    0.74600E-01    0.98224E+00
0051     0.26418E+03    0.18170E-02    0.66285E-04   -0.73959E-01   -0.45167E+00    0.86366E-01    0.45768E+00
0050     0.26432E+03    0.18743E-02    0.18512E-04   -0.75211E+00   -0.67735E+00    0.94551E-01    0.10122E+01
0049     0.26386E+03    0.18553E-02    0.75065E-06   -0.19841E+01   -0.23725E+01    0.13806E+00    0.30928E+01
0048     0.26274E+03    0.16451E-02   -0.21288E-06   -0.22465E+01   -0.29120E+01    0.18220E+00    0.36778E+01
0047     0.26027E+03    0.15214E-02    0.48588E-05   -0.18603E+01   -0.21284E+01    0.17197E+00    0.28268E+01
0046     0.25997E+03    0.14118E-02    0.17573E-06   -0.12538E+01   -0.14287E+01    0.83213E-01    0.19008E+01
0045     0.25866E+03    0.12927E-02    0.22457E-07   -0.10305E+01   -0.11238E+01    0.37344E-01    0.15248E+01
0044     0.25759E+03    0.11609E-02   -0.16219E-08   -0.79006E+00   -0.30202E+00    0.35654E-01    0.84582E+00
0043     0.25602E+03    0.11708E-02   -0.54210E-19   -0.62417E+00    0.52880E+00    0.58110E-01    0.81805E+00
0042     0.25354E+03    0.94778E-03    0.51282E-08   -0.95314E+00    0.12052E+01    0.83470E-01    0.15366E+01
0041     0.25054E+03    0.67176E-03   -0.54210E-19   -0.17729E+01    0.12113E+01    0.10891E+00    0.21471E+01
0040     0.24793E+03    0.53591E-03   -0.54210E-19   -0.33151E+01    0.92878E+00    0.10826E+00    0.34427E+01
0039     0.24563E+03    0.42147E-03   -0.54210E-19   -0.49041E+01    0.51257E+00    0.93596E-01    0.49308E+01
0038     0.24250E+03    0.31783E-03   -0.54210E-19   -0.57795E+01    0.36710E+00    0.84399E-01    0.57912E+01
0037     0.23879E+03    0.23029E-03   -0.54210E-19   -0.61498E+01    0.10477E+01    0.80623E-01    0.62385E+01
0036     0.23518E+03    0.13745E-03   -0.54210E-19   -0.60202E+01    0.20074E+01    0.82550E-01    0.63461E+01
0035     0.23124E+03    0.10698E-03   -0.54210E-19   -0.63212E+01    0.29915E+01    0.76798E-01    0.69934E+01
0034     0.22691E+03    0.74490E-04   -0.54210E-19   -0.72752E+01    0.33963E+01    0.59621E-01    0.80289E+01
0033     0.22216E+03    0.39275E-04   -0.54210E-19   -0.81127E+01    0.41570E+01    0.43596E-01    0.91157E+01
0032     0.21790E+03    0.29654E-04   -0.54210E-19   -0.88795E+01    0.47558E+01    0.35581E-01    0.10073E+02
0031     0.21651E+03    0.19775E-04   -0.54210E-19   -0.10303E+02    0.37296E+01    0.48784E-02    0.10957E+02
0030     0.21971E+03    0.67945E-05   -0.54210E-19   -0.10229E+02    0.24557E+01   -0.52723E-02    0.10520E+02
0029     0.22178E+03    0.36874E-05   -0.54210E-19   -0.99402E+01    0.17832E+01   -0.14259E-02    0.10099E+02
0028     0.22236E+03    0.34488E-05   -0.54210E-19   -0.91200E+01    0.18123E+01   -0.49886E-02    0.92983E+01
0027     0.22247E+03    0.32386E-05   -0.54210E-19   -0.86977E+01    0.15511E+01   -0.11751E-01    0.88349E+01
0026     0.22148E+03    0.30732E-05   -0.54210E-19   -0.78350E+01    0.32566E+01   -0.90327E-02    0.84848E+01
0025     0.22090E+03    0.30536E-05   -0.54210E-19   -0.64536E+01    0.41938E+01   -0.59874E-03    0.76966E+01
0024     0.22033E+03    0.30479E-05   -0.54210E-19   -0.47524E+01    0.48674E+01    0.22112E-02    0.68027E+01
0023     0.21979E+03    0.31135E-05   -0.54210E-19   -0.26124E+01    0.34295E+01    0.37570E-02    0.43111E+01
0022     0.21827E+03    0.31839E-05   -0.54210E-19   -0.26421E+01    0.28155E+01   -0.39419E-03    0.38610E+01
0021     0.21617E+03    0.33104E-05   -0.54210E-19   -0.10253E+01    0.48303E+01    0.41985E-04    0.49379E+01
0020     0.21480E+03    0.34102E-05   -0.54210E-19    0.61731E+00    0.48220E+01    0.17507E-02    0.48614E+01
0019     0.21412E+03    0.35073E-05   -0.54210E-19    0.21718E+00    0.45935E+01   -0.22083E-02    0.45986E+01
0018     0.21251E+03    0.36840E-05   -0.54210E-19    0.15672E+01    0.45799E+01   -0.29837E-02    0.48406E+01
0017     0.21161E+03    0.37676E-05   -0.54210E-19    0.19781E+01    0.61514E+01   -0.12575E-02    0.64616E+01
0016     0.21122E+03    0.39169E-05   -0.54210E-19    0.50416E+01    0.67482E+01   -0.11440E-02    0.84235E+01
0015     0.21180E+03    0.39897E-05   -0.54210E-19    0.40307E+01    0.39715E+01    0.23897E-02    0.56586E+01
0014     0.21288E+03    0.40131E-05   -0.54210E-19    0.29492E+01    0.39793E+01    0.57792E-03    0.49531E+01
0013     0.21292E+03    0.40548E-05   -0.54210E-19    0.60714E+01    0.58229E+01   -0.94009E-03    0.84123E+01
0012     0.21416E+03    0.40803E-05   -0.54210E-19    0.85479E+01    0.48781E+01    0.52884E-03    0.98418E+01
0011     0.21626E+03    0.42303E-05   -0.54210E-19    0.90946E+01    0.41565E+01    0.11190E-02    0.99994E+01
0010     0.21796E+03    0.43296E-05   -0.54210E-19    0.10884E+02    0.20072E+01    0.36981E-03    0.11068E+02
0009     0.21983E+03    0.44726E-05   -0.54210E-19    0.80765E+01    0.21839E+01    0.57760E-03    0.83666E+01
0008     0.22238E+03    0.45569E-05   -0.54210E-19    0.12043E+02    0.57312E+01   -0.29556E-03    0.13337E+02
0007     0.22491E+03    0.46004E-05   -0.54210E-19    0.14767E+02    0.11679E+01   -0.91270E-04    0.14813E+02
0006     0.22931E+03    0.46084E-05   -0.54210E-19    0.13240E+02    0.89860E+00    0.37252E-03    0.13271E+02
0005     0.23350E+03    0.46496E-05   -0.54210E-19    0.14544E+02    0.25513E+01    0.19335E-03    0.14766E+02
0004     0.23747E+03    0.46678E-05   -0.54210E-19    0.18911E+02    0.27428E+01    0.12842E-03    0.19109E+02
0003     0.24307E+03    0.46128E-05   -0.54210E-19    0.21123E+02    0.73261E-01    0.28154E-03    0.21123E+02
0002     0.24863E+03    0.46128E-05   -0.54210E-19    0.23061E+02    0.94682E+00    0.90167E-04    0.23081E+02
0001     0.24849E+03    0.45987E-05   -0.54210E-19    0.21068E+02    0.29874E+01    0.22295E-04    0.21278E+02
01-10-19 12:00
         180         274         300        1200  1.000000000000000E-010
   8612.35161854839        311.276391451600     
0060     0.26633E+03    0.21057E-02    0.40781E-07    0.21441E+00   -0.16301E+01   -0.41007E-02    0.16441E+01
0059     0.26613E+03    0.20918E-02   -0.14420E-06    0.99431E-01   -0.17904E+01   -0.17836E-03    0.17931E+01
0058     0.26593E+03    0.20870E-02    0.64952E-05   -0.47368E-01   -0.18683E+01    0.65935E-02    0.18689E+01
0057     0.26560E+03    0.20380E-02    0.43268E-04   -0.10964E+00   -0.18587E+01    0.15988E-01    etc.
Bollehenk
  • 285
  • 2
  • 19
  • https://stackoverflow.com/questions/52153414/how-to-pre-process-data-before-pandas-read-csv is the standard method. Read the file and get the data you want and pass that to the read_csv function. Note you can have an int saying which block of 60 you want – Paul Brennan Jan 14 '21 at 16:27

1 Answers1

0

For pd.read_csv() the parameter skip_rows can be a callable of the form lambda x: x in [0, 2] per the docs.

Simply make a list of the row indices you want skipped and pass it to the callable*.

* [0,2] used above since it is example in the docs. You'll want to just pass a var.

noah
  • 2,616
  • 13
  • 27