Actualizarea la pandas 3.1

pandas este cea mai populară bibliotecă open-source din Python pentru manipularea, curățarea și analiza datelor. Este extrem de puternică, putând să administreze milioane de rânduri de date în câteva fracțiuni de secundă.

În 2023 am scris noutățile apărute în pandas 2.0, iar la începutul acestui an despre cele din pandas 3.0. Recent, pandas a ajuns la versiunea 3.1, iar cele mai importante actualizări din 3.1.0 și 3.1.1 sunt în articolul de mai jos.

Selecție și calcul într-un singur pas cu select()

DataFrame.select() permite alegerea coloanelor existente și definirea unor coloane noi simultan (folosind expresii pd.col() sau funcții), totul într-o sintaxă declarativă și curată.

Coloanele definite ulterior în același apel pot referi coloane create chiar înaintea lor.

Cine a lucrat în trecut cu limbajul R și librăria dplyr cunoaște acest stil de lucru (în special funcțiile dplyr::select() și mutate()), cu returnarea unui DataFrame nou, doar cu coloanele cerute.

Condiții pe rânduri cu filter()

Anterior folosit doar pentru filtrarea etichetelor (nume de coloane/indecși), DataFrame.filter() acceptă acum parametrul cond (măști booleene, funcții sau expresii pd.col()), permițând filtrarea intuitivă a rândurilor în lanțuri de operații (method chaining).

Tot pentru utilizatorii limbajului R, aceasta este echivalentul lui dplyr::filter() și înlocuiește expresii precum df[df["x"] > 1] sau query() în pipeline-uri.

Citirea CSV-urilor mult mai rapidă, cu citire paralelă

Citirea datelor se face în pd.read_csv() implicit prin motorul C (denumirea vine de la limbajul C). Această variantă de citire a fost rescrisă ,iar fișierele locale necomprimate de peste 5 MB sunt citite acum în paralel pe mai multe fire de execuție (controlabile prin mode.max_threads, implicit până la 6 nuclee).

În teste, citirea este de câteva ori mai rapidă decât în pandas 3.0.

Îmbunătățiri la groupby, transform și concat

  • DataFrameGroupBy.transform() acceptă acum liste și dicționare de funcții (la fel ca agg()), precum și NamedFunc (un alias mai clar pentru NamedAgg)
  • pd.concat() a primit parametrul union_categories=True, care combină automat categoriile diferite fără a converti coloanele categoriale înapoi în tipul object sau str
  • DataFrame.select_dtypes() poate filtra coloanele datetime64 și timedelta64 după rezoluția exactă (de exemplu datetime64[us])
  • Period în f-string-uri: de exemplu f"{period:%Y-%m}", util pentru etichete de raportare lunară
  • Timpi cu AM/PM: textele de tipul "3:25:00 PM" sunt recunoscute corect
  • Grafice cu bare pe axa de timp: primesc aceleași etichete de dată ca graficele cu linii
  • Regex pe text: \w, \d, \s potrivesc din nou caractere Unicode, deci și diacritice. În 3.0 nu le potriveau pe tipul de text implicit, ceea ce conta dacă ai nume de campanii în limba română.

Viteză la agregări și join-uri

pandas 3.1 se laudă cu viteze mai bune la agregarea datelor, precum și la operațiile de join (combinarea tabelelor). Cele mai importante actualizări de viteză vin la:

  • groupby: – sum / mean / min / max sunt mai rapide pe chei sortate
  • merge() – este mai rapid la join-uri many-to-many și many-to-one
  • Parsarea datelor: e mai rapidă când textele au fus orar
  • concat(): e mai rapid în mai multe situații.

Ce este noi în pandas 3.1.1

Schimbările de mai sus au apărut odată cu pandas 3.1.0, însă acesta a venit și cu diverse probleme, care au fost rezolvate cu lansarea de luna aceasta a pandas 3.1.1:

  • read_csv() / to_csv() – anumite obiecte de tip cale erau tratate ca fișiere deschise, ceea ce dădea erori sau fișiere scrise incomplet
  • astype() / convert_dtypes(dtype_backend="pyarrow") – valorile lipsă din coloanele de dată erau înlocuite cu 1970-01-01. Acest bug îți putea strica rapoartele fără să observi
  • Series.map() pe date – returna o serie read-only
  • ffill() / bfill() pe coloane PyArrow fără valori lipsă – rezultatul partaja memoria cu originalul, deci modificând unul îl modificai și pe celălalt
  • Regex \s / \S – nu tratau corect unele caractere de spațiu
  • Fusuri orare dateutil/... – dădeau eroare cu python-dateutil ≥ 3.0.

Înainte de a face upgrade-ul la pandas 3.1.0 sau 3.1.1, trebuie notat că acesta are și câteva noi dependețe: va funcționa doar cu NumPy în versiunea 2.0.2 sau mai nouă, dar și cu pyarrow la versiunea cel puțin 16.

Actualizarea se poate face din pip, în linia de comandă:

pip install -U "pandas==3.1.1"