Changeset 858


Ignore:
Timestamp:
05/14/13 19:52:38 (7 years ago)
Author:
ramonb
Message:

jobarchived.py:

  • some cleanup
File:
1 edited

Legend:

Unmodified
Added
Removed
  • branches/1.0/jobarchived/jobarchived.py

    r857 r858  
    4848def processArgs( args ):
    4949
    50     SHORT_L    = 'p:hvc:'
     50    SHORT_L   = 'p:hvc:'
    5151    LONG_L    = [ 'help', 'config=', 'pidfile=', 'version' ]
    5252
     
    5555    global PIDFILE
    5656
    57     PIDFILE    = None
     57    PIDFILE   = None
    5858
    5959    try:
     
    136136    global JOB_SQL_DBASE, DAEMONIZE, RRDTOOL, JOB_TIMEOUT, MODRRDTOOL, JOB_SQL_PASSWORD, JOB_SQL_USER
    137137
    138     ARCHIVE_PATH        = cfg.get( 'DEFAULT', 'ARCHIVE_PATH' )
    139 
    140     ARCHIVE_HOURS_PER_RRD    = cfg.getint( 'DEFAULT', 'ARCHIVE_HOURS_PER_RRD' )
    141 
    142     DEBUG_LEVEL        = cfg.getint( 'DEFAULT', 'DEBUG_LEVEL' )
    143 
    144     USE_SYSLOG        = cfg.getboolean( 'DEFAULT', 'USE_SYSLOG' )
    145 
    146     SYSLOG_LEVEL        = cfg.getint( 'DEFAULT', 'SYSLOG_LEVEL' )
    147 
    148     MODRRDTOOL        = False
     138    ARCHIVE_PATH           = cfg.get( 'DEFAULT', 'ARCHIVE_PATH' )
     139
     140    ARCHIVE_HOURS_PER_RRD  = cfg.getint( 'DEFAULT', 'ARCHIVE_HOURS_PER_RRD' )
     141
     142    DEBUG_LEVEL            = cfg.getint( 'DEFAULT', 'DEBUG_LEVEL' )
     143
     144    USE_SYSLOG             = cfg.getboolean( 'DEFAULT', 'USE_SYSLOG' )
     145
     146    SYSLOG_LEVEL           = cfg.getint( 'DEFAULT', 'SYSLOG_LEVEL' )
     147
     148    MODRRDTOOL             = False
    149149
    150150    try:
     
    171171        sys.exit( 1 )
    172172
    173     GMETAD_CONF        = cfg.get( 'DEFAULT', 'GMETAD_CONF' )
    174 
    175     ARCHIVE_XMLSOURCE    = cfg.get( 'DEFAULT', 'ARCHIVE_XMLSOURCE' )
    176 
    177     ARCHIVE_DATASOURCES    = getlist( cfg.get( 'DEFAULT', 'ARCHIVE_DATASOURCES' ) )
    178 
    179     ARCHIVE_EXCLUDE_METRICS    = getlist( cfg.get( 'DEFAULT', 'ARCHIVE_EXCLUDE_METRICS' ) )
    180 
    181     JOB_SQL_DBASE        = cfg.get( 'DEFAULT', 'JOB_SQL_DBASE' )
    182     JOB_SQL_USER        = cfg.get( 'DEFAULT', 'JOB_SQL_USER' )
     173    GMETAD_CONF             = cfg.get( 'DEFAULT', 'GMETAD_CONF' )
     174
     175    ARCHIVE_XMLSOURCE       = cfg.get( 'DEFAULT', 'ARCHIVE_XMLSOURCE' )
     176
     177    ARCHIVE_DATASOURCES     = getlist( cfg.get( 'DEFAULT', 'ARCHIVE_DATASOURCES' ) )
     178
     179    ARCHIVE_EXCLUDE_METRICS = getlist( cfg.get( 'DEFAULT', 'ARCHIVE_EXCLUDE_METRICS' ) )
     180
     181    JOB_SQL_DBASE           = cfg.get( 'DEFAULT', 'JOB_SQL_DBASE' )
     182    JOB_SQL_USER            = cfg.get( 'DEFAULT', 'JOB_SQL_USER' )
    183183    JOB_SQL_PASSWORD        = cfg.get( 'DEFAULT', 'JOB_SQL_PASSWORD' )
    184184
    185     JOB_TIMEOUT        = cfg.getint( 'DEFAULT', 'JOB_TIMEOUT' )
    186 
    187     DAEMONIZE        = cfg.getboolean( 'DEFAULT', 'DAEMONIZE' )
    188 
     185    JOB_TIMEOUT             = cfg.getint( 'DEFAULT', 'JOB_TIMEOUT' )
     186
     187    DAEMONIZE               = cfg.getboolean( 'DEFAULT', 'DAEMONIZE' )
    189188
    190189    return True
     
    11831182
    11841183            self.gridName    = str( attrs.get( 'NAME', "" ) )
    1185             self.time    = str( attrs.get( 'LOCALTIME', "" ) )
     1184            self.time        = str( attrs.get( 'LOCALTIME', "" ) )
    11861185
    11871186            debug_msg( 10, '`-Grid found: %s' %( self.gridName ) )
     
    12761275    """Setup a connection and file object to Ganglia's XML"""
    12771276
    1278     s        = None
    1279     fd        = None
     1277    s           = None
     1278    fd          = None
    12801279    data        = None
    12811280    slot        = None
     
    13051304        """Setup connection to XML source"""
    13061305
    1307         self.update_now    = True
     1306        self.update_now = True
    13081307
    13091308        self.slot.acquire()
    13101309
    1311         self.data    = None
     1310        self.data       = None
    13121311
    13131312        for res in socket.getaddrinfo( self.host, self.port, socket.AF_UNSPEC, socket.SOCK_STREAM ):
     
    16551654    """Class for handling RRD activity"""
    16561655
    1657     myMetrics = { }
    1658     lastStored = { }
     1656    myMetrics   = { }
     1657    lastStored  = { }
    16591658    timeserials = { }
    16601659    slot = None
     
    16651664        global MODRRDTOOL
    16661665
    1667         self.block    = 0
    1668         self.cluster    = cluster
    1669         self.config    = config
     1666        self.block   = 0
     1667        self.cluster = cluster
     1668        self.config  = config
    16701669        self.slot    = threading.Lock()
    16711670
     
    16991698
    17001699            host_dir    = cluster_dir + '/' + host
    1701             dirlist        = os.listdir( host_dir )
     1700            dirlist     = os.listdir( host_dir )
    17021701
    17031702            for dir in dirlist:
     
    17551754                self.myMetrics[ host ][ metric['name'] ] = [ ]
    17561755        else:
    1757             self.myMetrics[ host ]                = { }
    1758             self.myMetrics[ host ][ metric['name'] ]    = [ ]
     1756            self.myMetrics[ host ]                   = { }
     1757            self.myMetrics[ host ][ metric['name'] ] = [ ]
    17591758
    17601759        # Push new metric onto stack
     
    19311930        """Make a RRD location/path and filename"""
    19321931
    1933         rrd_dir        = '%s/%s/%s/%s'    %( check_dir(ARCHIVE_PATH), self.cluster, host, timeserial )
    1934         rrd_file    = '%s/%s.rrd'    %( rrd_dir, metricname )
     1932        rrd_dir  = '%s/%s/%s/%s'    %( check_dir(ARCHIVE_PATH), self.cluster, host, timeserial )
     1933        rrd_file = '%s/%s.rrd'    %( rrd_dir, metricname )
    19351934
    19361935        return rrd_dir, rrd_file
     
    19861985            if metric['name'] == metricname:
    19871986
    1988                 period        = self.determinePeriod( host, metric['time'] )   
    1989 
    1990                 archive_secs    = ARCHIVE_HOURS_PER_RRD * (60 * 60)
     1987                period       = self.determinePeriod( host, metric['time'] )   
     1988
     1989                archive_secs = ARCHIVE_HOURS_PER_RRD * (60 * 60)
    19911990
    19921991                if (int( metric['time'] ) - int( period ) ) > archive_secs:
     
    20392038            heartbeat    = 8 * int( interval )
    20402039
    2041             params        = [ ]
     2040            params       = [ ]
    20422041
    20432042            params.append( '--step' )
     
    20622061        debug_msg( 9, 'rrdupdate: using timeserial %s for %s/%s' %( timeserial, host, metricname ) )
    20632062
    2064         rrd_dir, rrd_file    = self.makeRrdPath( host, metricname, timeserial )
    2065 
    2066         update_list        = self.makeUpdateList( host, metriclist )
     2063        rrd_dir, rrd_file = self.makeRrdPath( host, metricname, timeserial )
     2064
     2065        update_list       = self.makeUpdateList( host, metriclist )
    20672066
    20682067        if len( update_list ) > 0:
Note: See TracChangeset for help on using the changeset viewer.