pandas este cea mai populară bibliotecă open-source din Python pentru manipularea, curățarea și analiza datelor. Este extrem de puternică, putând să administreze milioane de rânduri de date în câteva fracțiuni de secundă.
În 2023 am scris noutățile apărute în pandas 2.0, iar la începutul acestui an despre cele din pandas 3.0. Recent, pandas a ajuns la versiunea 3.1, iar cele mai importante actualizări din 3.1.0 și 3.1.1 sunt în articolul de mai jos.
Selecție și calcul într-un singur pas cu select()
DataFrame.select() permite alegerea coloanelor existente și definirea unor coloane noi simultan (folosind expresii pd.col() sau funcții), totul într-o sintaxă declarativă și curată.
Coloanele definite ulterior în același apel pot referi coloane create chiar înaintea lor.
Cine a lucrat în trecut cu limbajul R și librăria dplyr cunoaște acest stil de lucru (în special funcțiile dplyr::select() și mutate()), cu returnarea unui DataFrame nou, doar cu coloanele cerute.
Condiții pe rânduri cu filter()
Anterior folosit doar pentru filtrarea etichetelor (nume de coloane/indecși), DataFrame.filter() acceptă acum parametrul cond (măști booleene, funcții sau expresii pd.col()), permițând filtrarea intuitivă a rândurilor în lanțuri de operații (method chaining).
Tot pentru utilizatorii limbajului R, aceasta este echivalentul lui dplyr::filter() și înlocuiește expresii precum df[df["x"] > 1] sau query() în pipeline-uri.
Citirea CSV-urilor mult mai rapidă, cu citire paralelă
Citirea datelor se face în pd.read_csv() implicit prin motorul C (denumirea vine de la limbajul C). Această variantă de citire a fost rescrisă ,iar fișierele locale necomprimate de peste 5 MB sunt citite acum în paralel pe mai multe fire de execuție (controlabile prin mode.max_threads, implicit până la 6 nuclee).
În teste, citirea este de câteva ori mai rapidă decât în pandas 3.0.
Îmbunătățiri la groupby, transform și concat
DataFrameGroupBy.transform()acceptă acum liste și dicționare de funcții (la fel caagg()), precum șiNamedFunc(un alias mai clar pentruNamedAgg)pd.concat()a primit parametrulunion_categories=True, care combină automat categoriile diferite fără a converti coloanele categoriale înapoi în tipulobjectsaustrDataFrame.select_dtypes()poate filtra coloaneledatetime64șitimedelta64după rezoluția exactă (de exempludatetime64[us])Periodîn f-string-uri: de exempluf"{period:%Y-%m}", util pentru etichete de raportare lunară- Timpi cu AM/PM: textele de tipul
"3:25:00 PM"sunt recunoscute corect - Grafice cu bare pe axa de timp: primesc aceleași etichete de dată ca graficele cu linii
- Regex pe text:
\w,\d,\spotrivesc din nou caractere Unicode, deci și diacritice. În 3.0 nu le potriveau pe tipul de text implicit, ceea ce conta dacă ai nume de campanii în limba română.
Viteză la agregări și join-uri
pandas 3.1 se laudă cu viteze mai bune la agregarea datelor, precum și la operațiile de join (combinarea tabelelor). Cele mai importante actualizări de viteză vin la:
groupby: –sum/mean/min/maxsunt mai rapide pe chei sortatemerge()– este mai rapid la join-uri many-to-many și many-to-one- Parsarea datelor: e mai rapidă când textele au fus orar
concat(): e mai rapid în mai multe situații.
Ce este noi în pandas 3.1.1
Schimbările de mai sus au apărut odată cu pandas 3.1.0, însă acesta a venit și cu diverse probleme, care au fost rezolvate cu lansarea de luna aceasta a pandas 3.1.1:
read_csv()/to_csv()– anumite obiecte de tip cale erau tratate ca fișiere deschise, ceea ce dădea erori sau fișiere scrise incompletastype()/convert_dtypes(dtype_backend="pyarrow")– valorile lipsă din coloanele de dată erau înlocuite cu 1970-01-01. Acest bug îți putea strica rapoartele fără să observiSeries.map()pe date – returna o serie read-onlyffill()/bfill()pe coloane PyArrow fără valori lipsă – rezultatul partaja memoria cu originalul, deci modificând unul îl modificai și pe celălalt- Regex
\s/\S– nu tratau corect unele caractere de spațiu - Fusuri orare
dateutil/...– dădeau eroare cu python-dateutil ≥ 3.0.
Înainte de a face upgrade-ul la pandas 3.1.0 sau 3.1.1, trebuie notat că acesta are și câteva noi dependețe: va funcționa doar cu NumPy în versiunea 2.0.2 sau mai nouă, dar și cu pyarrow la versiunea cel puțin 16.
Actualizarea se poate face din pip, în linia de comandă:
pip install -U "pandas==3.1.1"