====== TSM Smart Replicator ======
Ez a szkript a node replikációkat hivatott vezérelni úgy, hogy mindig egy megadott maximum darabszámú (REPLMAXNUM) replikációt futtat. Meghatározott időközönként (REFRESHRATE) figyeli, hogy hány replikációs processz fut épp, és akkor indítja a következőt, mikor ez a szám a REPLMAXNUM alá csökken. A node-ok listáját a szerverről olvassa ki, a REPLSTATE=ENABLED és REPLMODE=SEND/SYNCSEND paraméterű node-okkal dolgozik. Ha az INFINITERUN=true, akkor ha a node-ok listájának végére ér, kezdi elölről, friss node listával. Ha vannak node-ok, amiket ki szeretnénk venni az automatizált replikációból, azokat az EXCLUDENODES változóban kell felsorolni. Ha a REMEMBER_LAST_NODE=true, akkor a szkript leállítása esetén, következő induláskor nem kezdi előről a node listát, hanem megpróbálja folytatni az utoljára replikált node-tól, amit a LAST_NODE_FILE változóban megadott fájlban tárol.
#!/bin/sh
# #
# TSM Smart Replicator v1.4 (2026.03.26) - Ágoston Péter #
# #
#################################################################
TSMSERVER=tsm1
TSMUSER=admin
TSMPASS=password
REPLMAXNUM=4 # konkurrens replikacios processzek szama max
INFINITERUN=true
REFRESHRATE=10
MAXSESSNUM=1
MAXPROCRUNTIME=5 # Max mennyi oraig futhat egy replikacio
MAXPROCRUNTIMEEXCLUDE='CLIENT0[1-3]-[TP]' # Ezeket a node-okat nem lovi ki a MAXPROCRUNTIME eltelte utan sem
LOGFILE=/var/log/tsm_smart_replicator.log
REMEMBER_LAST_NODE=true
LAST_NODE_FILE=/tmp/tsm_smart_replicator.last_node
EXCLUDELOCKED=true
EXCLUDENODES=''
# ------------- Innen mar neked valoszinuleg nem kell piszkalni semmit, ha csak nem en vagy ----------
DSMADMC="dsmadmc -id=$TSMUSER -pa=$TSMPASS -se=$TSMSERVER -dataonly=y -displ=tabl"
if [[ $EXCLUDELOCKED = true ]]; then
# SQL_OPTS=" and locked='NO' and not node_name like 'RMAN_%'"
SQL_OPTS=" and n.locked='NO' "
fi
trap 'echo "$(date "+%Y.%m.%d %H:%M") PROGRAM TERMINATED" | tee -a $LOGFILE;kill $$' SIGINT SIGTERM;
echo "$(date "+%Y.%m.%d %H:%M") PROGRAM START (TSMSERVER=$TSMSERVER, REPLMAXNUM=$REPLMAXNUM, INFINITERUN=$INFINITERUN, REFRESHRATE=${REFRESHRATE}m)" | tee -a $LOGFILE
LAST_NODE=$(cat $LAST_NODE_FILE)
LAST_NODE_IS_REAL=$($DSMADMC "select count(*) from nodes where node_name='$LAST_NODE'" | sed 's/[^0-9]//')
if [[ "$LAST_NODE_IS_REAL" -eq 0 ]]; then LAST_NODE=''; fi
FIRSTRUN=true
CYCLE=1
while [ $INFINITERUN = true ] || [ $FIRSTRUN = true ]; do
ACT_NODE_NUM=0
FIRSTRUN=false
STARTTIME=$(date +"%s")
STARTTIME=$(($STARTTIME / 60))
echo "$(date "+%Y.%m.%d %H:%M") CYCLE START ($CYCLE)" | tee -a $LOGFILE
REPL_NODE_NUM=`$DSMADMC "select count(n.node_name) from nodes n where n.repl_state='ENABLED' and n.repl_mode in ('SEND','SYNCSEND') $SQL_OPTS" | sed 's/[^0-9]*//'`
$DSMADMC "select n.node_name from nodes n LEFT JOIN REPLICATIONVIEW r ON n.node_name=r.node_name where n.repl_state='ENABLED' and n.repl_mode in ('SEND','SYNCSEND') $SQL_OPTS group by n.node_name order by max(case when r.COMP_STATE='COMPLETE' then r.END_TIME else '1956-09-05-00.00.00' end)" | while read NODE; do
# Megprobaljuk onnan folytatni, ahol utoljara abbahagytuk a kort
if [ "$REMEMBER_LAST_NODE" = "true" ] && [ "$LAST_NODE_IS_REAL" -eq 1 ] && [ "$NODE" != "$LAST_NODE" ]; then
echo "$(date "+%Y.%m.%d %H:%M") A $NODE node kihagyasa, mert folytatjuk onnan, ahol abbahagytuk." >> $LOGFILE
ACT_NODE_NUM=$((ACT_NODE_NUM+1))
continue;
fi
LAST_NODE_IS_REAL=0
# Ha nem fut meg a node-ra replikacio, elinditjuk ra
if [ $($DSMADMC "select count(*) from processes where status like '% $NODE.%'") -eq 0 ] && [ "$(echo $EXCLUDENODES | grep -c $NODE)" -eq 0 ]; then
REPLNUM=$($DSMADMC "select count(*) from processes where process='Replicate Node'" | sed 's/[^0-9]//g')
ACTREPLNODES=$($DSMADMC "select status from processes where process='Replicate Node'" | grep -v 'AN[SR]' | sed -e 's/\(^.*node.s. \)\([^.]*\)\(.*$\)/\2/' | sed ':a;N;$!ba;s/\n/, /g')
echo ${ACTREPLNODES%%,*} > $LAST_NODE_FILE
echo "$(date "+%Y.%m.%d %H:%M") Futo replikaciok szama: $REPLNUM ($ACT_NODE_NUM/$REPL_NODE_NUM) | Varakozik: $NODE | Replikacio alatt: $ACTREPLNODES" | tee -a $LOGFILE
# Varunk, amig lesz replikacios "slot"
while [ $REPLNUM -ge $REPLMAXNUM ]; do
echo "$(date "+%Y.%m.%d %H:%M") ${REFRESHRATE}p varakozas..." | tee -a $LOGFILE
sleep $(($REFRESHRATE*60))
ONCE=0
# Ha egy processz MAXPROCRUNTIME oranal regebb ota fut, kilojuk
$DSMADMC "select process_num from processes where int((current_timestamp - start_time)hours + day(current_timestamp - start_time))>$MAXPROCRUNTIME and process='Replicate Node' and not REGEXP_LIKE(STATUS, 'Replicating node\(s\) '${MAXPROCRUNTIMEEXCL}\.')" | grep -o '^ *[0-9]*$' | grep -v 'AN[SR]' | sed 's/ *//' | while read PROCESS_NUM; do
if [ $ONCE -eq 0 ]; then echo "$(date "+%Y.%m.%d %H:%M") $MAXPROCRUNTIME oranal regebb ota futo replikaciok kilovese:" | tee -a $LOGFILE; fi
$DSMADMC "cancel proc $PROCESS_NUM" | tee -a $LOGFILE
if [ $ONCE -eq 0 ]; then echo "$(date "+%Y.%m.%d %H:%M") 1p varakozas..." | tee -a $LOGFILE; sleep 60; fi
ONCE=1
done
REPLNUM=$($DSMADMC "select count(*) from processes where process='Replicate Node'" | sed 's/[^0-9]//g')
ACTREPLNODES=$($DSMADMC "select status from processes where process='Replicate Node'" | grep -v 'AN[SR]' | sed -e 's/\(^.*node.s. \)\([^.]*\)\(.*$\)/\2/' | sed ':a;N;$!ba;s/\n/, /g')
echo "$(date "+%Y.%m.%d %H:%M") Futo replikaciok szama: $REPLNUM ($ACT_NODE_NUM/$REPL_NODE_NUM) | Varakozik: $NODE | Replikacio alatt: $ACTREPLNODES" | tee -a $LOGFILE
done
$DSMADMC "repl node $NODE maxsess=$MAXSESSNUM forcerecon=y" | tee -a $LOGFILE
ACT_NODE_NUM=$((ACT_NODE_NUM+1))
# Ha mar csak egy slot van, varunk egy percet, hatha nincs mit replikalni, hogy mehessunk tovabb
if [ $(($REPLMAXNUM-$REPLNUM)) -eq 1 ]; then echo "$(date "+%Y.%m.%d %H:%M") 1p varakozas..." | tee -a $LOGFILE; sleep 60; fi
else
echo "$(date "+%Y.%m.%d %H:%M") A $NODE kihagyasra kerul, mert EXCLUDE-olva van, vagy mar epp fut ra replikacio." | tee -a $LOGFILE
fi
done
ENDTIME=$(date +"%s")
ENDTIME=$(($ENDTIME / 60))
RUNTIME=$(($ENDTIME-$STARTTIME))
echo "$(date "+%Y.%m.%d %H:%M") CYCLE END ($CYCLE) | RUNTIME: $(($RUNTIME / 60))h $(($RUNTIME % 60))m" | tee -a $LOGFILE
echo | tee -a $LOGFILE
echo "$(date "+%Y.%m.%d %H:%M") ${REFRESHRATE}p varakozas..." | tee -a $LOGFILE
sleep $(($REFRESHRATE*60))
CYCLE=$(($CYCLE + 1))
LAST_NODE_IS_REAL=0
>$LAST_NODE_FILE
unset LAST_NODE
done
echo "$(date "+%Y.%m.%d %H:%M") PROGRAM END" | tee -a $LOGFILE
Systemd .service fájl:
[Unit]
Description=IBM Tivoli Storage Manager Smart Replicator
After=local-fs.target network-online.target
[Service]
Type=simple
GuessMainPID=no
ExecStart=/scripts/tsm_smart_replicator.sh >/dev/null 2>&1 &
Restart=on-failure
[Install]
WantedBy=multi-user.target
# systemctl daemon-reload
# systemctl enable tsm_smart_replicator
# systemctl start tsm_smart_replicator
# systemctl status tsm_smart_replicator