« Bash : Traitement sur les chaînes » : différence entre les versions

De Justine's wiki
Aller à la navigation Aller à la recherche
Aucun résumé des modifications
Aucun résumé des modifications
Ligne 1 : Ligne 1 :
 
=Longueur et sélection d'une chaîne=
= Longueur et sélection d'une chaîne =
 
Comme Bash permet d'avoir le résultat d'une commande externe facilement, on peut avoir accès à un nombre étonnament grand d'opérations diverses à faire pour manipuler des chaînes. On va se contenter ici des opération natives et laisserons de côté les expr, sed, grep...
Comme Bash permet d'avoir le résultat d'une commande externe facilement, on peut avoir accès à un nombre étonnament grand d'opérations diverses à faire pour manipuler des chaînes. On va se contenter ici des opération natives et laisserons de côté les expr, sed, grep...
==Longueur==
On peut avoir la longueur d'une chaîne avec la syntaxe ${#variable}<span class="mw_htmlentity"></span>:


== Longueur ==
On peut avoir la longueur d'une chaîne avec la syntaxe ${#variable}&nbsp;:
<pre>BASH $> varNom="John O'Daly"
BASH $> echo ${#varNom}
11
BASH $></pre>
== Position et longueur ==
On peut extraire un morceau de chaîne un peu à la manière de Python avec l'expression ${variable:position:[longueur]}. La longueur est optionnelle&nbsp;: si on ne la précise pas, l'extraction se fera jusqu'à la fin de la chaîne. La position de départ peut être négative, et dans ce cas l'extraction se fera à partir de la fin (comme en Python...).
<pre>BASH $> varNomFichier="20160405_ERR_application.log"
BASH $> echo ${varNomFichier:9:15}
ERR_application


BASH $> echo ${varNomFichier:9}


ERR_application.log
<pre>BASH $> varNom="John O'Daly"<br class="mw_emptyline_first">BASH $> echo ${#varNom}<br class="mw_emptyline_first">11<br class="mw_emptyline_first">BASH $></pre>


BASH $> echo ${varNomFichier:(-4)}
==Position et longueur==
On peut extraire un morceau de chaîne un peu à la manière de Python avec l'expression ${variable:position:[longueur]}. La longueur est optionnelle<span class="mw_htmlentity"></span>: si on ne la précise pas, l'extraction se fera jusqu'à la fin de la chaîne. La position de départ peut être négative, et dans ce cas l'extraction se fera à partir de la fin (comme en Python...).


.log</pre>


= Extraction de chaînes =


== En enlevant des caractères au début ou à la fin ==
<pre>BASH $> varNomFichier="20160405_ERR_application.log"<br class="mw_emptyline_first">BASH $> echo ${varNomFichier:9:15}<br class="mw_emptyline_first">ERR_application<br class="mw_emptyline_first">BASH $> echo ${varNomFichier:9}<br class="mw_emptyline_first">ERR_application.log<br class="mw_emptyline_first">BASH $> echo ${varNomFichier:(-4)}<br class="mw_emptyline_first">.log</pre>


=Extraction de chaînes=
==En enlevant des caractères au début ou à la fin==
Il est possible de supprimer à partir du début d'une chaîne la plus petite ${variable#critère} ou la plus grande ${variable##critère} occurrence d'un critère de recherche. L'utilisation du symbole joker * permet de faire la recherche sur une suite de caractère non définis.
Il est possible de supprimer à partir du début d'une chaîne la plus petite ${variable#critère} ou la plus grande ${variable##critère} occurrence d'un critère de recherche. L'utilisation du symbole joker * permet de faire la recherche sur une suite de caractère non définis.
<pre>BASH $> varNomFichier="20160405_ERR_application.log"
BASH $> echo ${varNomFichier#20160405_}
ERR_application.log
BASH $> echo ${varNomFichier#*_}
ERR_application.log
BASH $> echo ${varNomFichier#*ERR_}


application.log


BASH $> echo ${varNomFichier##*_}


application.log</pre>
<pre>BASH $> varNomFichier="20160405_ERR_application.log"<br class="mw_emptyline_first">BASH $> echo ${varNomFichier#20160405_}<br class="mw_emptyline_first">ERR_application.log<br class="mw_emptyline_first">BASH $> echo ${varNomFichier#*_}<br class="mw_emptyline_first">ERR_application.log<br class="mw_emptyline_first">BASH $> echo ${varNomFichier#*ERR_}<br class="mw_emptyline_first">application.log<br class="mw_emptyline_first">BASH $> echo ${varNomFichier##*_}<br class="mw_emptyline_first">application.log</pre>


Il est possible de supprimer à partir de la fin d'une chaîne la plus petite ${variable%critère} ou la plus grande ${variable%%critère} occurrence d'un critère de recherche. L'utilisation du symbole * permet de faire la recherche sur une suite de caractère non définis.
Il est possible de supprimer à partir de la fin d'une chaîne la plus petite ${variable%critère} ou la plus grande ${variable%%critère} occurrence d'un critère de recherche. L'utilisation du symbole * permet de faire la recherche sur une suite de caractère non définis.
<pre>BASH $> varNomFichier="20160405_ERR_application.log"
<pre>BASH $> varNomFichier="20160405_ERR_application.log"<br class="mw_emptyline_first">BASH $> echo ${varNomFichier%.log}<br class="mw_emptyline_first">20160405_ERR_application<br class="mw_emptyline_first">BASH $> echo ${varNomFichier%.*}<br class="mw_emptyline_first">20160405_ERR_application<br class="mw_emptyline_first">BASH $> echo ${varNomFichier%%_*}<br class="mw_emptyline_first">20160405<br class="mw_emptyline_first">BASH $><br class="mw_emptyline_first"></pre>
 
BASH $> echo ${varNomFichier%.log}
 
20160405_ERR_application
 
BASH $> echo ${varNomFichier%.*}
 
20160405_ERR_application
 
BASH $> echo ${varNomFichier%%_*}
 
20160405
 
BASH $>
 
</pre>
 
= Recherche et remplacement =
 
== Remplacement basique d'une chaîne par une autre ==


=Recherche et remplacement=
==Remplacement basique d'une chaîne par une autre==
On peut remplacer une ( ${/variable/recherche/remplace} ou plusieurs ( ${variable//recherche/remplace}) occurences d'une chaîne recherchée. Si on laisse vide la chaîne de remplacement, cela équivaut à la supprimer.
On peut remplacer une ( ${/variable/recherche/remplace} ou plusieurs ( ${variable//recherche/remplace}) occurences d'une chaîne recherchée. Si on laisse vide la chaîne de remplacement, cela équivaut à la supprimer.
<pre>BASH $> varNomFichier="mon fichier save du jour.save"
BASH $> echo ${varNomFichier/ /_}
mon_fichier save du jour.save
BASH $> echo ${varNomFichier// /_}
mon_fichier_save_du_jour.save
BASH $> echo ${varNomFichier//save/log}
mon fichier log du jour.log


BASH $> echo ${varNomFichier//save/}


mon fichier du jour.


BASH $></pre>
<pre>BASH $> varNomFichier="mon fichier save du jour.save"<br class="mw_emptyline_first">BASH $> echo ${varNomFichier/ /_}<br class="mw_emptyline_first">mon_fichier save du jour.save<br class="mw_emptyline_first">BASH $> echo ${varNomFichier// /_}<br class="mw_emptyline_first">mon_fichier_save_du_jour.save<br class="mw_emptyline_first">BASH $> echo ${varNomFichier//save/log}<br class="mw_emptyline_first">mon fichier log du jour.log<br class="mw_emptyline_first">BASH $> echo ${varNomFichier//save/}<br class="mw_emptyline_first">mon fichier du jour.<br class="mw_emptyline_first">BASH $></pre>
 
== Remplacement avancé ==


==Remplacement avancé==
On peut aussi combiner les critères de recherches avec des expressions, des extractions en début ou en fin de chaîne; le critère de remplacement peut lui aussi être une expression.
On peut aussi combiner les critères de recherches avec des expressions, des extractions en début ou en fin de chaîne; le critère de remplacement peut lui aussi être une expression.
<pre>BASH $> varNomFichier="mon fichier save du jour.save"
BASH $> echo ${varNomFichier/m*r/20160809}
20160809.save
BASH $> echo ${varNomFichier/#*du/$(date +'%Y%m%d')}
20160809 jour.save
BASH $> echo ${varNomFichier/%save/log}


mon fichier save du jour.log</pre>


= Traitement avancé =


== comm - Comparer deux fichiers ligne à ligne ==
<pre>BASH $> varNomFichier="mon fichier save du jour.save"<br class="mw_emptyline_first">BASH $> echo ${varNomFichier/m*r/20160809}<br class="mw_emptyline_first">20160809.save<br class="mw_emptyline_first">BASH $> echo ${varNomFichier/#*du/$(date +'%Y%m%d')}<br class="mw_emptyline_first">20160809 jour.save<br class="mw_emptyline_first">BASH $> echo ${varNomFichier/%save/log}<br class="mw_emptyline_first">mon fichier save du jour.log</pre>


comm prend deux fichiers, qui doivent être triés et dans le même ordre. Il fait ensuite trois colonnes&nbsp;:
=Traitement avancé=
 
==comm - Comparer deux fichiers ligne à ligne==
*Elements spécifiques au fichier 1  
comm prend deux fichiers, qui doivent être triés et dans le même ordre. Il fait ensuite trois colonnes<span class="mw_htmlentity"></span>:
*Elements spécifiques au fichier 2  
* Elements spécifiques au fichier 1  
*Elements communs  
* Elements spécifiques au fichier 2  
* Elements communs  


On peut ensuite supprimer des élements avec -1, -2, -3
On peut ensuite supprimer des élements avec -1, -2, -3
<pre>[root@vigie differentielgroupes]# comm test1 test2
<pre>[root@vigie differentielgroupes]# comm test1 test2               a               b<br class="mw_emptyline">bb               c               d<br class="mw_emptyline">comm: le fichier 1 n'est pas dans l'ordre attendu<br class="mw_emptyline_first">        dd<br class="mw_emptyline">comm: le fichier 2 n'est pas dans l'ordre attendu</pre>
                a
                b
bb
                c
                d
comm: le fichier 1 n'est pas dans l'ordre attendu
 
        dd
comm: le fichier 2 n'est pas dans l'ordre attendu</pre>
 
=== La doc de Fred :) ===
<pre># exemple de COMM pour traiter deux commandes, sans fabriquer de fichier intermédiaire.
# On notera qu’on utilise SORT à chaque fois.
 
comm -13 <( /root/dossiers-grenache/jplus 90 \
          | cut -d ';' -f 1 \
          | sort -t ';' -k 1,1b ) \
        <( cat toutlemonde \
          | sort -t ';' -k 1,1b )
 
 
# Autre Exemple. On a deux sources. On veut les synchroniser comme des mirroirs. On les compare avec COMM
# et on fabrique des ADD puis des DEL.
 
 
echo ============ Connexion vers Renater : Dump LDAP
 
ldap-csvexport.pl -H ldap://localhost -f mail=* -b ou=People,dc=upec,dc=local -q '' -s ';' -a uid \
| sed 1d \
| tr '|' "\n" \
| sort -t ';' -k1,1b \
> renater-ldap-dump.txt
 
echo ============ Mise à jour du LDAP : ADD
 
comm /etc/postfix/liste-dest renater-ldap-dump.txt -23 \
| grep @ \
| while read u ; do
    echo "dn: uid=$u,ou=People,dc=upec,dc=local
objectClass: person
objectClass: organizationalPerson
objectClass: inetOrgPerson
sn: x
cn: y
mail: $u
uid: $u


"
===La doc de Fred :)===
  done \
<pre># exemple de COMM pour traiter deux commandes, sans fabriquer de fichier intermédiaire.<ol><li>On notera qu’on utilise SORT à chaque fois.</li></ol><br class="mw_emptyline_first">comm -13 <( /root/dossiers-grenache/jplus 90 \          | cut -d ';' -f 1 \          | sort -t ';' -k 1,1b ) \        <( cat toutlemonde \          | sort -t ';' -k 1,1b )<br class="mw_emptyline_first"><br class="mw_emptyline"><ol><li>Autre Exemple. On a deux sources. On veut les synchroniser comme des mirroirs. On les compare avec COMM</li><li>et on fabrique des ADD puis des DEL.</li></ol><br class="mw_emptyline"><br class="mw_emptyline">echo ============ Connexion vers Renater : Dump LDAP<br class="mw_emptyline_first">ldap-csvexport.pl -H ldap://localhost -f mail=* -b ou=People,dc=upec,dc=local -q '' -s ';' -a uid \| sed 1d \| tr '|' "\n" \| sort -t ';' -k1,1b \<br class="mw_emptyline">> renater-ldap-dump.txt<br class="mw_emptyline_first">echo ============ Mise à jour du LDAP : ADD<br class="mw_emptyline_first">comm /etc/postfix/liste-dest renater-ldap-dump.txt -23 \| grep @ \| while read u ; do<br class="mw_emptyline">    echo "dn: uid=$u,ou=People,dc=upec,dc=local<br class="mw_emptyline">objectClass: person<br class="mw_emptyline">objectClass: organizationalPerson<br class="mw_emptyline">objectClass: inetOrgPerson<br class="mw_emptyline">sn: x<br class="mw_emptyline">cn: y<br class="mw_emptyline">mail: $u<br class="mw_emptyline">uid: $u<br class="mw_emptyline_first">"<br class="mw_emptyline">  done \| ldapadd -w "$RENATERPASS" -D "$RENATERUSER" -H ldapi:///<br class="mw_emptyline_first">echo ============ Mise à jour du LDAP : DEL<br class="mw_emptyline_first">comm /etc/postfix/liste-dest renater-ldap-dump.txt -13 \| grep @ \| sed -e 's/^/uid=/' -e 's/$/,ou=People,dc=upec,dc=local/' \| ldapdelete -v -w "$RENATERPASS" -D "$RENATERUSER" -H ldapi:///</pre>
| ldapadd -w "$RENATERPASS" -D "$RENATERUSER" -H ldapi:///
==


echo ============ Mise à jour du LDAP : DEL
cut==


comm /etc/postfix/liste-dest renater-ldap-dump.txt -13 \
cut permet de couper des lignes en fonction d'un délimiteur que l'on lui donne :<span class="mw_htmlentity"></span>
| grep @ \
| sed -e 's/^/uid=/' -e 's/$/,ou=People,dc=upec,dc=local/' \
| ldapdelete -v -w "$RENATERPASS" -D "$RENATERUSER" -H ldapi:///</pre>


&nbsp;


&nbsp;


&nbsp;
<pre class="mw_paragraph"> [root@gulliver ~]# cat /var/log/maillog | cut -d " " -f 1,2,3,4<br>May 12 09:52:29 gulliver<span class="mw_htmlentity"></span></pre>
* -d : le délimiteur choisi (ici un espace"
* -f : les champs à afficher

Version du 16 mai 2019 à 09:50

Longueur et sélection d'une chaîne

Comme Bash permet d'avoir le résultat d'une commande externe facilement, on peut avoir accès à un nombre étonnament grand d'opérations diverses à faire pour manipuler des chaînes. On va se contenter ici des opération natives et laisserons de côté les expr, sed, grep...

Longueur

On peut avoir la longueur d'une chaîne avec la syntaxe ${#variable}: 


BASH $> varNom="John O'Daly"<br class="mw_emptyline_first">BASH $> echo ${#varNom}<br class="mw_emptyline_first">11<br class="mw_emptyline_first">BASH $>

Position et longueur

On peut extraire un morceau de chaîne un peu à la manière de Python avec l'expression ${variable:position:[longueur]}. La longueur est optionnelle: si on ne la précise pas, l'extraction se fera jusqu'à la fin de la chaîne. La position de départ peut être négative, et dans ce cas l'extraction se fera à partir de la fin (comme en Python...). 


BASH $> varNomFichier="20160405_ERR_application.log"<br class="mw_emptyline_first">BASH $> echo ${varNomFichier:9:15}<br class="mw_emptyline_first">ERR_application<br class="mw_emptyline_first">BASH $> echo ${varNomFichier:9}<br class="mw_emptyline_first">ERR_application.log<br class="mw_emptyline_first">BASH $> echo ${varNomFichier:(-4)}<br class="mw_emptyline_first">.log

Extraction de chaînes

En enlevant des caractères au début ou à la fin

Il est possible de supprimer à partir du début d'une chaîne la plus petite ${variable#critère} ou la plus grande ${variable##critère} occurrence d'un critère de recherche. L'utilisation du symbole joker * permet de faire la recherche sur une suite de caractère non définis. 


BASH $> varNomFichier="20160405_ERR_application.log"<br class="mw_emptyline_first">BASH $> echo ${varNomFichier#20160405_}<br class="mw_emptyline_first">ERR_application.log<br class="mw_emptyline_first">BASH $> echo ${varNomFichier#*_}<br class="mw_emptyline_first">ERR_application.log<br class="mw_emptyline_first">BASH $> echo ${varNomFichier#*ERR_}<br class="mw_emptyline_first">application.log<br class="mw_emptyline_first">BASH $> echo ${varNomFichier##*_}<br class="mw_emptyline_first">application.log

Il est possible de supprimer à partir de la fin d'une chaîne la plus petite ${variable%critère} ou la plus grande ${variable%%critère} occurrence d'un critère de recherche. L'utilisation du symbole * permet de faire la recherche sur une suite de caractère non définis. 

BASH $> varNomFichier="20160405_ERR_application.log"<br class="mw_emptyline_first">BASH $> echo ${varNomFichier%.log}<br class="mw_emptyline_first">20160405_ERR_application<br class="mw_emptyline_first">BASH $> echo ${varNomFichier%.*}<br class="mw_emptyline_first">20160405_ERR_application<br class="mw_emptyline_first">BASH $> echo ${varNomFichier%%_*}<br class="mw_emptyline_first">20160405<br class="mw_emptyline_first">BASH $><br class="mw_emptyline_first">

Recherche et remplacement

Remplacement basique d'une chaîne par une autre

On peut remplacer une ( ${/variable/recherche/remplace} ou plusieurs ( ${variable//recherche/remplace}) occurences d'une chaîne recherchée. Si on laisse vide la chaîne de remplacement, cela équivaut à la supprimer. 


BASH $> varNomFichier="mon fichier save du jour.save"<br class="mw_emptyline_first">BASH $> echo ${varNomFichier/ /_}<br class="mw_emptyline_first">mon_fichier save du jour.save<br class="mw_emptyline_first">BASH $> echo ${varNomFichier// /_}<br class="mw_emptyline_first">mon_fichier_save_du_jour.save<br class="mw_emptyline_first">BASH $> echo ${varNomFichier//save/log}<br class="mw_emptyline_first">mon fichier log du jour.log<br class="mw_emptyline_first">BASH $> echo ${varNomFichier//save/}<br class="mw_emptyline_first">mon fichier du jour.<br class="mw_emptyline_first">BASH $>

Remplacement avancé

On peut aussi combiner les critères de recherches avec des expressions, des extractions en début ou en fin de chaîne; le critère de remplacement peut lui aussi être une expression. 


BASH $> varNomFichier="mon fichier save du jour.save"<br class="mw_emptyline_first">BASH $> echo ${varNomFichier/m*r/20160809}<br class="mw_emptyline_first">20160809.save<br class="mw_emptyline_first">BASH $> echo ${varNomFichier/#*du/$(date +'%Y%m%d')}<br class="mw_emptyline_first">20160809 jour.save<br class="mw_emptyline_first">BASH $> echo ${varNomFichier/%save/log}<br class="mw_emptyline_first">mon fichier save du jour.log

Traitement avancé

comm - Comparer deux fichiers ligne à ligne

comm prend deux fichiers, qui doivent être triés et dans le même ordre. Il fait ensuite trois colonnes:

  • Elements spécifiques au fichier 1
  • Elements spécifiques au fichier 2
  • Elements communs

On peut ensuite supprimer des élements avec -1, -2, -3 

[root@vigie differentielgroupes]# comm test1 test2                a                b<br class="mw_emptyline">bb                c                d<br class="mw_emptyline">comm: le fichier 1 n'est pas dans l'ordre attendu<br class="mw_emptyline_first">        dd<br class="mw_emptyline">comm: le fichier 2 n'est pas dans l'ordre attendu

La doc de Fred :)

# exemple de COMM pour traiter deux commandes, sans fabriquer de fichier intermédiaire.<ol><li>On notera qu’on utilise SORT à chaque fois.</li></ol><br class="mw_emptyline_first">comm -13 <( /root/dossiers-grenache/jplus 90 \          | cut -d ';' -f 1 \          | sort -t ';' -k 1,1b ) \         <( cat toutlemonde \          | sort -t ';' -k 1,1b )<br class="mw_emptyline_first"><br class="mw_emptyline"><ol><li>Autre Exemple. On a deux sources. On veut les synchroniser comme des mirroirs. On les compare avec COMM</li><li>et on fabrique des ADD puis des DEL.</li></ol><br class="mw_emptyline"><br class="mw_emptyline">echo ============ Connexion vers Renater : Dump LDAP<br class="mw_emptyline_first">ldap-csvexport.pl -H ldap://localhost -f mail=* -b ou=People,dc=upec,dc=local -q '' -s ';' -a uid \| sed 1d \| tr '|' "\n" \| sort -t ';' -k1,1b \<br class="mw_emptyline">> renater-ldap-dump.txt<br class="mw_emptyline_first">echo ============ Mise à jour du LDAP : ADD<br class="mw_emptyline_first">comm /etc/postfix/liste-dest renater-ldap-dump.txt -23 \| grep @ \| while read u ; do<br class="mw_emptyline">    echo "dn: uid=$u,ou=People,dc=upec,dc=local<br class="mw_emptyline">objectClass: person<br class="mw_emptyline">objectClass: organizationalPerson<br class="mw_emptyline">objectClass: inetOrgPerson<br class="mw_emptyline">sn: x<br class="mw_emptyline">cn: y<br class="mw_emptyline">mail: $u<br class="mw_emptyline">uid: $u<br class="mw_emptyline_first">"<br class="mw_emptyline">  done \| ldapadd -w "$RENATERPASS" -D "$RENATERUSER" -H ldapi:///<br class="mw_emptyline_first">echo ============ Mise à jour du LDAP : DEL<br class="mw_emptyline_first">comm /etc/postfix/liste-dest renater-ldap-dump.txt -13 \| grep @ \| sed -e 's/^/uid=/' -e 's/$/,ou=People,dc=upec,dc=local/' \| ldapdelete -v -w "$RENATERPASS" -D "$RENATERUSER" -H ldapi:///

==

cut==

cut permet de couper des lignes en fonction d'un délimiteur que l'on lui donne : 


 [root@gulliver ~]# cat /var/log/maillog | cut -d " " -f 1,2,3,4<br>May 12 09:52:29 gulliver<span class="mw_htmlentity"></span>
  • -d : le délimiteur choisi (ici un espace"
  • -f : les champs à afficher
Récupérée de « https://wiki.squi.fr/index.php?title=Bash_:_Traitement_sur_les_chaînes&oldid=962 »