Comment afficher simultanément les résultats des processus enfants vers des fichiers et un terminal en Python

Lors de l'utilisation de subprocess.call(), il est possible de spécifier descripteurs de fichiers comme outf et errf pour rediriger stdout et stderr vers des fichiers spécifiques. Cependant, ces résultats ne seront pas affichés simultanément dans le terminal.

Solution utilisant Popen et Threading :

Pour surmonter ce problème, nous pouvons exploiter directement Popen et utiliser le stdout=Argument PIPE à lire à partir de la sortie standard du processus enfant. Voici comment procéder :

import subprocess
from threading import Thread

def tee(infile, *files):
    # Forward output from `infile` to `files` in a separate thread
    def fanout(infile, *files):
        for line in iter(infile.readline, ""):
            for f in files:
                f.write(line)

    t = Thread(target=fanout, args=(infile,)   files)
    t.daemon = True
    t.start()
    return t

def teed_call(cmd_args, **kwargs):
    # Override `stdout` and `stderr` arguments with PIPE to capture standard outputs
    stdout, stderr = [kwargs.pop(s, None) for s in ["stdout", "stderr"]]
    p = subprocess.Popen(
        cmd_args,
        stdout=subprocess.PIPE if stdout is not None else None,
        stderr=subprocess.PIPE if stderr is not None else None,
        **kwargs
    )
    
    # Create threads to simultaneously write to files and terminal
    threads = []
    if stdout is not None:
        threads.append(tee(p.stdout, stdout, sys.stdout))
    if stderr is not None:
        threads.append(tee(p.stderr, stderr, sys.stderr))
        
    # Join the threads to ensure IO completion before proceeding
    for t in threads:
        t.join()

    return p.wait()

En utilisant cette fonction, nous pouvons exécuter des processus enfants et écrire leur sortie dans les deux fichiers et le terminal en même temps :

outf, errf = open("out.txt", "wb"), open("err.txt", "wb")
teed_call(["cat", __file__], stdout=None, stderr=errf)
teed_call(["echo", "abc"], stdout=outf, stderr=errf, bufsize=0)
teed_call(["gcc", "a b"], close_fds=True, stdout=outf, stderr=errf)