Changeset 87


Ignore:
Timestamp:
04/18/05 16:46:55 (17 years ago)
Author:
bastiaans
Message:

daemon/togad.py:

  • Misc code cleanup and optimizing
File:
1 edited

Legend:

Unmodified
Added
Removed
  • trunk/daemon/togad.py

    r86 r87  
    2020# 9  = RRD activity, gmetad config parsing
    2121# 8  = RRD file activity
    22 # 7  = daemon threading
    2322# 6  = SQL
     23# 1  = daemon threading
    2424#
    2525DEBUG_LEVEL = 7
     
    219219                        ids = self.getNodeIds( node_list )
    220220
    221                         self.addJobNodes( self. job_id, ids )
     221                        self.addJobNodes( job_id, ids )
    222222                elif action == 'update':
    223223
     
    370370                self.myXMLHandler = TorqueXMLHandler()
    371371                self.myXMLError = XMLErrorHandler()
     372                self.config = GangliaConfigParser( GMETAD_CONF )
    372373
    373374        def run( self ):
    374375                """Main XML processing"""
    375376
     377                debug_msg( 5, printTime() + ' - torquexmlthread(): started.' )
     378
    376379                while( 1 ):
    377380
    378                         print 'parse'
    379381                        self.myXMLSource = self.myXMLGatherer.getFileObject()
     382                        debug_msg( 1, printTime() + ' - torquexmlthread(): Parsing..' )
    380383                        xml.sax.parse( self.myXMLSource, self.myXMLHandler, self.myXMLError )
    381                         print 'sleep'
    382                         time.sleep( 1 )
     384                        debug_msg( 1, printTime() + ' - torquexmlthread(): Done parsing.' )
     385                        debug_msg( 1, printTime() + ' - torquexmlthread(): Sleeping.. (%ss)' %(str( self.config.getLowestInterval() ) ) )
     386                        time.sleep( self.config.getLowestInterval() )
    383387
    384388class TorqueXMLHandler( xml.sax.handler.ContentHandler ):
     
    457461                        # it must have finished, since we _did_ get a new heartbeat
    458462                        #
    459                         if jobinfo['reported'] < self.heartbeat:
     463                        if jobinfo['reported'] < self.heartbeat and jobinfo['status'] == 'R' and jobid not in self.jobs_to_store:
    460464
    461465                                self.jobAttrs[ jobid ]['status'] = 'F'
     
    464468                                        self.jobs_to_store.append( jobid )
    465469
     470                debug_msg( 1, printTime() + ' - torquexmlthread(): Storing..' )
     471
    466472                for jobid in self.jobs_to_store:
    467473                        self.ds.storeJobInfo( jobid, self.jobAttrs[ jobid ] )   
     474
     475                debug_msg( 1, printTime() + ' - torquexmlthread(): Done storing.' )
    468476
    469477                self.jobs_to_store = [ ]
     
    488496                """
    489497
     498                ignore_changes = [ 'reported' ]
     499
    490500                if jobattrs.has_key( jobid ):
    491501
    492502                        for valname, value in jobinfo.items():
    493503
    494                                 if jobattrs[ jobid ].has_key( valname ):
    495 
    496                                         if value != jobattrs[ jobid ][ valname ]:
    497 
    498                                                 if jobinfo['reported'] > jobattrs[ jobid ][ 'reported' ] and jobinfo['reported'] == self.heartbeat:
    499                                                         return 1
    500 
    501                                 else:
    502                                         return 1
     504                                if valname not in ignore_changes:
     505
     506                                        if jobattrs[ jobid ].has_key( valname ):
     507
     508                                                if value != jobattrs[ jobid ][ valname ]:
     509
     510                                                        if jobinfo['reported'] > jobattrs[ jobid ][ 'reported' ] and jobinfo['reported'] == self.heartbeat:
     511                                                                return 1
     512
     513                                        else:
     514                                                return 1
    503515
    504516                return 0
     
    776788                """Actual metric storing thread"""
    777789
    778                 debug_msg( 7, printTime() + ' - storemetricthread(): started.' )
    779                 debug_msg( 7, printTime() + ' - storemetricthread(): Storing data..' )
     790                debug_msg( 1, printTime() + ' - storemetricthread(): started.' )
     791                debug_msg( 1, printTime() + ' - storemetricthread(): Storing data..' )
    780792                ret = self.myXMLHandler.storeMetrics()
    781                 debug_msg( 7, printTime() + ' - storemetricthread(): Done storing.' )
    782                 debug_msg( 7, printTime() + ' - storemetricthread(): finished.' )
     793                debug_msg( 1, printTime() + ' - storemetricthread(): Done storing.' )
     794                debug_msg( 1, printTime() + ' - storemetricthread(): finished.' )
    783795               
    784796                return ret
     
    787799                """Process XML"""
    788800
    789                 debug_msg( 7, printTime() + ' - xmlthread(): started.' )
     801                debug_msg( 1, printTime() + ' - xmlthread(): started.' )
    790802
    791803                parsethread = threading.Thread( None, self.parseThread, 'parsethread' )
    792804                parsethread.start()
    793805
    794                 debug_msg( 7, printTime() + ' - xmlthread(): Sleeping.. (%ss)' %self.config.getLowestInterval() )
     806                debug_msg( 1, printTime() + ' - xmlthread(): Sleeping.. (%ss)' %self.config.getLowestInterval() )
    795807                time.sleep( float( self.config.getLowestInterval() ) ) 
    796                 debug_msg( 7, printTime() + ' - xmlthread(): Done sleeping.' )
     808                debug_msg( 1, printTime() + ' - xmlthread(): Done sleeping.' )
    797809
    798810                if parsethread.isAlive():
    799811
    800                         debug_msg( 7, printTime() + ' - xmlthread(): parsethread() still running, waiting to finish..' )
     812                        debug_msg( 1, printTime() + ' - xmlthread(): parsethread() still running, waiting to finish..' )
    801813                        parsethread.join( PARSE_TIMEOUT ) # Maximum time for XML thread to finish
    802814                        debug_msg( 7, printTime() + ' - xmlthread(): Done waiting.' )
    803815
    804                 debug_msg( 7, printTime() + ' - xmlthread(): finished.' )
     816                debug_msg( 1, printTime() + ' - xmlthread(): finished.' )
    805817
    806818                return 0
     
    809821                """Actual parsing thread"""
    810822
    811                 debug_msg( 7, printTime() + ' - parsethread(): started.' )
    812                 debug_msg( 7, printTime() + ' - parsethread(): Parsing XML..' )
     823                debug_msg( 1, printTime() + ' - parsethread(): started.' )
     824                debug_msg( 1, printTime() + ' - parsethread(): Parsing XML..' )
    813825                self.myXMLSource = self.myXMLGatherer.getFileObject()
    814826                ret = xml.sax.parse( self.myXMLSource, self.myXMLHandler, self.myXMLError )
    815                 debug_msg( 7, printTime() + ' - parsethread(): Done parsing.' )
    816                 debug_msg( 7, printTime() + ' - parsethread(): finished.' )
     827                debug_msg( 1, printTime() + ' - parsethread(): Done parsing.' )
     828                debug_msg( 1, printTime() + ' - parsethread(): finished.' )
    817829
    818830                return ret
     
    12641276
    12651277        myTProcessor = TorqueXMLProcessor()
    1266         myTProcessor.run()
    1267 
    1268         sys.exit( 1 )
    1269 
    12701278        myGProcessor = GangliaXMLProcessor()
    12711279
     
    12781286
    12791287        torquexmlthread.start()
    1280         #gangliaxmlthread.start()
     1288        gangliaxmlthread.start()
    12811289
    12821290# Global functions
Note: See TracChangeset for help on using the changeset viewer.