Automatizace ve fyzice: Notebooky a zpracování dat

Petr Čermák

2026-10-23

Úvod

Připojte se!

automation.cermak.science/lectures/02-notebooks/presentation

Cíl hodiny

In the year 2525

if man is still alive If woman can survive, they may find… your data

and check your nfpl242 homework

and evaluate all your measurements

Pythoní perličky

Mrožík

Co udělají následující příkazy?

print(a)
NameError: name 'a' is not defined
a = None
print(a)
None
print(a = 1)
TypeError: 'a' is an invalid keyword argument for print()
print(a == 1)
False
print(a := 1)
1

Mrožík

Operátor přiřazení a vrácení hodnoty, walrus, mrož:

:= 🦭

Mrožík

while True:
    line = file1.readline()
    if not line:
        break
    print(f"Line: {line}")
while line := file1.readline():
    print(f"Line: {line}")
for line in file1:
    print(f"Line: {line}")

Mrože hned použijeme při parsování hlavičky dat: if r := re.match(...)

f-string

from random import choice
name = "Erwin"
print(f"{name}ova kočka {choice(['žije', 'nežije'])}")
Erwinova kočka žije

Ladění

print(f"{name = }")
print(f"{1/3 = :.3f}")
name = 'Erwin'
1/3 = 0.333

Užitečné knihovny

Regexp

Teorie: NTIN071 Automaty a gramatiky

Praxe: NSWI177 Úvod do Linuxu

Fyzik: to bude něco na parsování…

AI regex napíše, vy ho ověřte: regex101.com

Pandas

  • dataseries (ds)
    • 1D pole objektů stejných typů
    • má jeden index (popisek)
  • dataframe (df)
    • 2D tabulka, obsahuje ds
    • má dva indexy (sloupce, řádky)
  • pd.read_csv() - mocná funkce
  • df.plot() - matplotlib, ale i jiné (plotly)

Reprodukovatelnost

Virtuální prostředí

  • venv
python -m venv .venv
.venv\Scripts\activate.bat     # Windows
source .venv/bin/activate      # Linux
pip freeze > requirements.txt
  • anaconda
conda create --prefix env python
conda activate .\env
conda env export > environment.yml

requirements.txt / environment.yml patří do gitu, prostředí pak zreprodukuje kolega, CI i AI.

Dnes ale doporučuji uv →

uv

  • Správce Pythonu, prostředí i balíčků v jednom (firma Astral, napsáno v Rustu)
  • Nahrazuje pip, venv, pip-tools, pipx i pyenv; 10-100× rychlejší než pip
  • Instalace: pip install uv, nebo docs.astral.sh/uv
uv init menza              # nový projekt: pyproject.toml, .python-version, main.py, git
cd menza
uv add requests fpdf2      # přidá závislost, vytvoří .venv a uv.lock
uv run menza.py            # spustí v prostředí projektu - žádná aktivace
uv sync                    # kolega / CI: přesně stejné prostředí z uv.lock
uv python install 3.12     # stáhne i samotný Python
soubor co obsahuje git?
pyproject.toml co projekt potřebuje (requests>=2.32) ano
uv.lock přesné verze všeho, i závislostí závislostí ano
.python-version verze Pythonu ano
.venv/ nainstalované balíčky ne

uv: perličky

Jeden skript se závislostmi uvnitř (PEP 723)

uv add --script menza.py requests

Přidá na začátek souboru:

# /// script
# requires-python = ">=3.12"
# dependencies = [
#     "requests>=2.34.2",
# ]
# ///

uv run menza.py pak funguje kdekoli - uv si prostředí připraví sám.

Užitečné

  • uvx ruff check . - spustí nástroj bez instalace
  • uv pip install -r requirements.txt - starší projekty beze změny
  • uv run nepotřebuje aktivovat prostředí

UV v GitLab CI

image: ghcr.io/astral-sh/uv:0.13.5-python3.12-trixie-slim
variables:
  UV_LINK_MODE: copy
menza:
  script:
    - uv sync --locked
    - uv run menza.py

Notebooky

iPython: Interactive python

  • Interaktivní python shell, jde se na něj připojit z klienta (web, VS Code)
  • Mimo python příkazy:
    • line magic %timeit, %matplotlib, %run
    • cell magic %%timeit
    • interakce se shellem ! - jde přes systémový shell: Windows cmd.exe (!dir), Linux/macOS sh (!ls)
# git funguje v obou shellech
files = !git ls-files
print(files)
['.gitignore', '01.dat', '02-notebooks.qmd', 'chat-regex.png', 'df.png', 'logbook.qmd', 'nb-workflow.jpg', 'references.bib', 'shapes.py', 'solution.py']
web = "mff.cuni.cz"
# na Windows: ping -n 1
!ping -c 1 $web
%timeit range(5000)
82.7 ns ± 0.0289 ns per loop (mean ± std. dev. of 7 runs, 10,000,000 loops each)

Jupyter, JupyterLab

  • webová aplikace, nejen python (JUlia, PYThon, R)
  • Latex, video, tlačítka

jupyter notebook

Jupyter: problémy

.ipynb je JSON, který obsahuje i výsledky (obrázky, výstupy)

Výhody

  • jde prohlížet bez pythonu
  • integrace v githubu
  • interní verzování (revisions)
  • přístup z webového prohlížeče

Nevýhody

  • nemusí jít znovu spustit (smazaná cela, pořadí spouštění)
  • v gitu se špatně verzuje (diffy výstupů)
  • přístup z webového prohlížeče

VS Code: Jupyter

  • linting, debugger, search, snippets…
  • zabudovaný git, ale pořád .ipynb
  • řešení: obyčejný .py soubor se syntaxí cel # %%
    • plain text, verzuje se dobře
    • horší formátování, markdown jen v komentářích
# %%
import pandas as pd
df = pd.read_csv("data.csv")

# %%
df.plot()

Quarto

  • Ultimate solution
  • kombinace všeho, co fyzik potřebuje
  • text + kód + výsledky, plain text (git)
  • výstup HTML, PDF, prezentace (tahle!)
  • výborná integrace do VS Code (run cell)
  • cachování, live preview, visual mode
image: registry.gitlab.com/quarto-forge/docker/python

pages:
  script:
    - quarto render --execute --to html --output-dir public
  artifacts:
    paths:
      - public

Cvičení

Prázdný quarto logbook

Vytvořte nový soubor (Ctrl+Shift+P → New quarto document)

---
title: "Susceptibility measurement"
date: 2026-10-23
author:
  - name: Petr Čermák
    email: petr.cermak@matfyz.cuni.cz
    url: https://cermak.science/
    affiliation:
      - name: Charles University
        city: Prague
        state: Czech republic
        url: https://kfkl.mff.cuni.cz/
abstract: >
  Ukázka měřícího protokolu.
keywords:
  - Automation
  - Physics
license: "CC 0"
title-block-banner: true
toc: true
number-sections: true
bibliography: references.bib
csl: ../aps.csl
highlight-style: pygments
format:
  html:
    code-fold: true
    code-tools: true
  pdf:
    geometry:
      - top=30mm
      - left=30mm
jupyter: python3
---
# My super experiment

## Preparation

We have came to the room, glued the sample and started the measurement.

Porovnání knihoven pro fitování: SciPy, lmfit, iminuit

Knihovna Hlavní vlastnosti Výhody Nevýhody
SciPy Základ
curve_fit
Jednoduché (?) použití Nelze snadno přidat omezení parametrů.
lmfit Nadstavba nad SciPy s pokročilým rozhraním pro fitování. Omezení a pevně dané parametry. Větší overhead, u nelineárních někdy diverguje.
iminuit Optimalizační knihovna založená na algoritmu Minuit (CERN). Gradientní sestupy, numerické odhady derivací Rychlé a přesné fitování.
Výborné pro nelineární a složité problémy, určuje chyby a korelace parametrů.
- Vyžaduje více konfigurace.
- Složitější pro začátečníky.

iMinuit

# !python -m pip install iminuit

import numpy as np
import matplotlib.pyplot as plt
from iminuit import Minuit
from iminuit.cost import LeastSquares

# Funkce pro Gaussovu křivku
def gauss(x, A, mu, sigma):
    return A * np.exp(-(x - mu) ** 2 / (2 * sigma ** 2))

np.random.seed(42)  # Pro opakovatelnost výsledků
angles = np.linspace(-10, 10, 100)
true_sigma = 1.5  # Výsledek

params = [ (100, -3),  # A, úhel
          (150, 0),
          (80, 3)  ]

iMinuit

# Generování dat a přidání šumu
data = []
for A, mu in params:
    intensity = gauss(angles, A, mu, true_sigma) + np.random.normal(0, 5, angles.size)
    data.append(intensity)

# Vizualizace generovaných dat
for intensity, (A, mu) in zip(data, params):
    plt.plot() #???)

plt.xlabel('Úhel (°)')
plt.ylabel('Intenzita')
plt.legend()
plt.show()

iMinuit

# Least squares cost function pro jednotlivé sady dat
def cost_func(A1, mu1, A2, mu2, A3, mu3, sigma):
    # Každá sada dat je hodnocena zvlášť, ale sdílí stejnou sigma
    chi2_1 = LeastSquares(angles, data[0], np.ones_like(data[0]) * 5, gauss)(A1, mu1, sigma)
    chi2_2 = LeastSquares(angles, data[1], np.ones_like(data[1]) * 5, gauss)(A2, mu2, sigma)
    chi2_3 = LeastSquares(angles, data[2], np.ones_like(data[2]) * 5, gauss)(A3, mu3, sigma)
    return chi2_1 + chi2_2 + chi2_3  # Součet všech chi^2

# Inicializace Minuit s počátečními odhady parametrů
m = Minuit(cost_func, A1=100, mu1=-3, A2=150, mu2=0, A3=80, mu3=3, sigma=1)

# Fitování
m.migrad()

# Výstup výsledků
print(m.values)
print(f"Fitovaná šířka (sigma): {m.values['sigma']}")

iMinuit

# Vizualizace fitovaných křivek

# použijte m.values['A1'], m.values['mu1'], m.values['sigma']

Data z VSM

Nainstalujte extension Data Wrangler (prohlížení a úpravy dataframů)

!curl https://troja.mgml.eu/automation/vsm/00000001.dat --output 01.dat
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0100 32937  100 32937    0     0   292k      0 --:--:-- --:--:-- --:--:--  295k
import pandas as pd
import re
pd.options.plotting.backend = "matplotlib"

header = {}
with open("01.dat", "r") as f:
    for line in f:
      if r := re.match(r'^INFO,([^,]*),([^,]*)$', line):
        header[r[2].strip()] = r[1]
      if line.strip() == "[Data]":
        break
    df = pd.read_csv(f, delimiter=",", index_col="Temperature (K)")

# otestujte:
# df.head()

Pandas

# Filtrování dat (výběr řádků podle času)
filtered_df = df[df['Time Stamp (sec)'] > 500]
print("Filtrování dle času")
print(filtered_df)

# Vytvoření nového sloupce - susceptibilita
df['Xi'] = 0 # #???
print("\nNový sloupec Xi:")
print(df[['Magnetic Field (Oe)',  'Moment (emu)', 'Xi']].head())
Filtrování dle času
                                                           Comment   
Temperature (K)                                                      
25.928075                                                      NaN  \
27.034747                                                      NaN   
27.987122                                                      NaN   
28.978676                                                      NaN   
30.051740                                                      NaN   
...                                                            ...   
297.021017                                                     NaN   
298.043718       sample offset = 34.54 mm touchdown = 9.3200001...   
298.950699                                                     NaN   
299.989653                                                     NaN   
301.094157                                                     NaN   

                 Time Stamp (sec)  Magnetic Field (Oe)  Moment (emu)   
Temperature (K)                                                        
25.928075              501.914716          2000.191002      0.000071  \
27.034747              511.185624          2000.191002      0.000072   
27.987122              520.558571          2000.191002      0.000070   
28.978676              522.824700          2000.191002      0.000071   
30.051740              523.900309          2000.191002      0.000072   
...                           ...                  ...           ...   
297.021017            1808.808241          2000.191002      0.000034   
298.043718            1812.464221          2000.191002      0.000033   
298.950699            1815.072137          2000.191002      0.000034   
299.989653            1819.358787          2000.191002      0.000032   
301.094157            1828.118167          2000.191002      0.000034   

                 M. Std. Err. (emu)  
Temperature (K)                      
25.928075              5.955311e-07  
27.034747              6.088898e-07  
27.987122              6.528519e-07  
28.978676              6.465979e-07  
30.051740              6.970362e-07  
...                             ...  
297.021017             3.088224e-07  
298.043718             3.666648e-07  
298.950699             3.654659e-07  
299.989653             2.790489e-07  
301.094157             3.216486e-07  

[276 rows x 5 columns]

Nový sloupec Xi:
                 Magnetic Field (Oe)  Moment (emu)  Xi
Temperature (K)                                       
1.894809                 2000.191002      0.000067   0
3.078118                 2000.191002      0.000070   0
4.010035                 2000.191002      0.000068   0
5.069258                 2000.191002      0.000070   0
5.995225                 2000.191002      0.000069   0

Plotly

pd.options.plotting.backend = "plotly"

df[['Moment (emu)']].plot(y='Moment (emu)')

Quarto: graf pro HTML i PDF

  1. Na gitlabu založte nový projekt (např. vsm-graf) a naklonujte si ho
  2. Vytvořte graf.qmd (Ctrl+Shift+P → Quarto: New Document), který načte 01.dat a zobrazí jen graf Moment (emu) v závislosti na teplotě:
    • v HTML interaktivně přes plotly
    • v PDF jako obrázek z matplotlibu
  3. Vyzkoušejte lokálně: quarto preview graf.qmd, pak quarto render graf.qmd
  4. Napište .gitlab-ci.yml, který vyrenderuje oba formáty a uloží graf.html a graf.pdf jako artifacts
  5. Commit + push → zkontrolujte pipeline a stáhněte si výsledky

Quarto: nápověda

---
title: "VSM měření"
format:
  html:
    embed-resources: true   # jeden soubor
  typst: default            # PDF bez LaTeXu
jupyter: python3
---

::: {.content-visible when-format="html"}
```{python}
#| echo: false
pd.options.plotting.backend = "plotly"
df.plot(y="Moment (emu)")
```
:::

::: {.content-hidden when-format="html"}
```{python}
#| echo: false
pd.options.plotting.backend = "matplotlib"
df.plot(y="Moment (emu)")
```
:::
  • Kód se spustí pro oba formáty, Quarto jen vybere, co ukáže
  • content-hidden when-format="html" = vše kromě HTML (PDF přes typst i LaTeX)
image: anielsen/quarto-python
graf:
  script:
    - pip install pandas matplotlib plotly
    - quarto render graf.qmd
  artifacts:
    paths:
      - graf.html
      - graf.pdf

Úkol #1

Zadání

  • Vytvořit soukromé gitlab repo
  • Udělit mi přístup pro čtení (cermp5am)
  • Vytvořit skript (jakýkoli jazyk), který
    • stáhne všechna naměřená data
    • načte data, jednotky zkonvertuje do SI
    • nafituje je pomocí Curie-Weissova zákona
    • z každých dat vyhodnotí \(\Theta_{CW}\) a \(\mu_{eff}\)
    • vytvoří jedno PDF, kde budou všechna nafitovaná data (obrázek) a výsledky
    • pdf zůstane jako artifact ukol1.pdf
  • vytvoříte si Pipeline trigger token
    • pošlete mi na discord/email: token + číslo projektu + branch
    • vygeneruji nová data a spustím vaši pipeline

Curie-Weissův zákon

  • popisuje chování materiálů v paramagnetické oblasti nad teplotou přechodu
  • molární magnetická susceptibilita (\(\chi\)) materiálu se v paramagnetické oblasti nad Curieovou teplotou mění s teplotou (T) podle vztahu: \[ \chi = \frac{C}{T - \Theta_{CW}} \] kde \(\chi\) je magnetická susceptibilita, \(T\) je teplota, \(\Theta_{CW}\) je Curie-Weissova teplota a \(C\) je Curieova konstanta.
  • Více na doi:10.1038/s42005-022-00853-y

Na co dát pozor

  • jednotky (emu není SI)
  • susceptibilita závisí na poli a magnetizaci
  • doporučuji přepočítat momenty v emu na \(\mu_{B}\) (závisí na molární hmotnosti!!)
  • počítejte jeden moment na formula unit (= jeden magnetický iont ve strukturním vzorci)
  • efektivní moment \(\mu_{eff}\) chceme v Bohrových magnetonech \(\mu_{B}\)
  • molární magnetická susceptibilita \(\chi\) v SI má jednotku \(m^3/mol\)
  • parsování souborů - použít knihovnu nebo vlastní skript?

Data

ZDE: https://troja.mgml.eu/automation/vsm/

Úkol #0 - bonus (hard problém)

  • Mějme obecný nekonvexní n-úhelník
  • Hypotéza:

Pro zadané m existuje takový obecný m-úhelník, který je n-úhelníku opsaný a jehož plocha je nejmenší možná.

  • Dokažte :D
  • Napište algoritmus pro nalezení tohoto n-úhelníku pro n=<3,10>
  • Testovací data: shapes.py