source: trunk/email2trac.py.in @ 390

Last change on this file since 390 was 390, checked in by bas, 12 years ago

Fixed several errors for a ticket update

  • Property svn:executable set to *
  • Property svn:keywords set to Id
File size: 54.6 KB
Line 
1#!@PYTHON@
2# Copyright (C) 2002
3#
4# This file is part of the email2trac utils
5#
6# This program is free software; you can redistribute it and/or modify it
7# under the terms of the GNU General Public License as published by the
8# Free Software Foundation; either version 2, or (at your option) any
9# later version.
10#
11# This program is distributed in the hope that it will be useful,
12# but WITHOUT ANY WARRANTY; without even the implied warranty of
13# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14# GNU General Public License for more details.
15#
16# You should have received a copy of the GNU General Public License
17# along with this program; if not, write to the Free Software
18# Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA
19#
20# For vi/emacs or other use tabstop=4 (vi: set ts=4)
21#
22"""
23email2trac.py -- Email tickets to Trac.
24
25A simple MTA filter to create Trac tickets from inbound emails.
26
27Copyright 2005, Daniel Lundin <daniel@edgewall.com>
28Copyright 2005, Edgewall Software
29
30Authors:
31  Bas van der Vlies <basv@sara.nl>
32  Walter de Jong <walter@sara.nl>
33
34The scripts reads emails from stdin and inserts directly into a Trac database.
35
36How to use
37----------
38 * See https://subtrac.sara.nl/oss/email2trac/
39
40 * Create an config file:
41    [DEFAULT]                        # REQUIRED
42    project      : /data/trac/test   # REQUIRED
43    debug        : 1                 # OPTIONAL, if set print some DEBUG info
44
45    [jouvin]                         # OPTIONAL project declaration, if set both fields necessary
46    project      : /data/trac/jouvin # use -p|--project jouvin. 
47       
48 * default config file is : /etc/email2trac.conf
49
50 * Commandline opions:
51                -h,--help
52                -f,--file  <configuration file>
53                -n,--dry-run
54                -p, --project <project name>
55                -t, --ticket_prefix <name>
56
57SVN Info:
58        $Id: email2trac.py.in 390 2010-07-06 12:02:55Z bas $
59"""
60import os
61import sys
62import string
63import getopt
64import stat
65import time
66import email
67import email.Iterators
68import email.Header
69import re
70import urllib
71import unicodedata
72from stat import *
73import mimetypes
74import traceback
75
76from trac import __version__ as trac_version
77
78# Will fail where unavailable, e.g. Windows
79#
80try:
81    import syslog
82    SYSLOG_AVAILABLE = True
83except ImportError:
84    SYSLOG_AVAILABLE = False
85
86from datetime import tzinfo, timedelta, datetime
87from trac import config as trac_config
88
89# Some global variables
90#
91trac_default_version = '0.11'
92m = None
93
94# A UTC class needed for trac version 0.11, added by
95# tbaschak at ktc dot mb dot ca
96#
97class UTC(tzinfo):
98        """UTC"""
99        ZERO = timedelta(0)
100        HOUR = timedelta(hours=1)
101       
102        def utcoffset(self, dt):
103                return self.ZERO
104               
105        def tzname(self, dt):
106                return "UTC"
107               
108        def dst(self, dt):
109                return self.ZERO
110
111
112class TicketEmailParser(object):
113        env = None
114        comment = '> '
115
116        def __init__(self, env, parameters, version):
117                self.env = env
118
119                # Database connection
120                #
121                self.db = None
122
123                # Save parameters
124                #
125                self.parameters = parameters
126
127                # Some useful mail constants
128                #
129                self.email_name = None
130                self.email_addr = None
131                self.email_from = None
132                self.author     = None
133                self.id         = None
134               
135                self.STRIP_CONTENT_TYPES = list()
136
137                self.VERSION = version
138                self.DRY_RUN = parameters['dry_run']
139                self.VERBOSE = parameters['verbose']
140
141                self.get_config = self.env.config.get
142
143                if parameters.has_key('umask'):
144                        os.umask(int(parameters['umask'], 8))
145
146                if parameters.has_key('debug'):
147                        self.DEBUG = int(parameters['debug'])
148                else:
149                        self.DEBUG = 0
150
151                if parameters.has_key('mailto_link'):
152                        self.MAILTO = int(parameters['mailto_link'])
153                        if parameters.has_key('mailto_cc'):
154                                self.MAILTO_CC = parameters['mailto_cc']
155                        else:
156                                self.MAILTO_CC = ''
157                else:
158                        self.MAILTO = 0
159
160                if parameters.has_key('spam_level'):
161                        self.SPAM_LEVEL = int(parameters['spam_level'])
162                else:
163                        self.SPAM_LEVEL = 0
164
165                if parameters.has_key('spam_header'):
166                        self.SPAM_HEADER = parameters['spam_header']
167                else:
168                        self.SPAM_HEADER = 'X-Spam-Score'
169
170                if parameters.has_key('email_quote'):
171                        self.EMAIL_QUOTE = str(parameters['email_quote'])
172                else:   
173                        self.EMAIL_QUOTE = '> '
174
175                if parameters.has_key('email_header'):
176                        self.EMAIL_HEADER = int(parameters['email_header'])
177                else:
178                        self.EMAIL_HEADER = 0
179
180                if parameters.has_key('alternate_notify_template'):
181                        self.notify_template = str(parameters['alternate_notify_template'])
182                else:
183                        self.notify_template = None
184
185                if parameters.has_key('alternate_notify_template_update'):
186                        self.notify_template_update = str(parameters['alternate_notify_template_update'])
187                else:
188                        self.notify_template_update = None
189
190                if parameters.has_key('reply_all'):
191                        self.REPLY_ALL = int(parameters['reply_all'])
192                else:
193                        self.REPLY_ALL = 0
194
195                if parameters.has_key('ticket_update'):
196                        self.TICKET_UPDATE = int(parameters['ticket_update'])
197                else:
198                        self.TICKET_UPDATE = 0
199
200                if parameters.has_key('ticket_update_by_subject'):
201                        self.TICKET_UPDATE_BY_SUBJECT = int(parameters['ticket_update_by_subject'])
202                else:
203                        self.TICKET_UPDATE_BY_SUBJECT = 0
204
205                if parameters.has_key('ticket_update_by_subject_lookback'):
206                        self.TICKET_UPDATE_BY_SUBJECT_LOOKBACK = int(parameters['ticket_update_by_subject_lookback'])
207                else:
208                        self.TICKET_UPDATE_BY_SUBJECT_LOOKBACK = 30
209
210                if parameters.has_key('drop_spam'):
211                        self.DROP_SPAM = int(parameters['drop_spam'])
212                else:
213                        self.DROP_SPAM = 0
214
215                if parameters.has_key('verbatim_format'):
216                        self.VERBATIM_FORMAT = int(parameters['verbatim_format'])
217                else:
218                        self.VERBATIM_FORMAT = 1
219
220                if parameters.has_key('reflow'):
221                        self.REFLOW = int(parameters['reflow'])
222                else:
223                        self.REFLOW = 1
224
225                if parameters.has_key('drop_alternative_html_version'):
226                        self.DROP_ALTERNATIVE_HTML_VERSION = int(parameters['drop_alternative_html_version'])
227                else:
228                        self.DROP_ALTERNATIVE_HTML_VERSION = 0
229
230                if parameters.has_key('strip_signature'):
231                        self.STRIP_SIGNATURE = int(parameters['strip_signature'])
232                else:
233                        self.STRIP_SIGNATURE = 0
234
235                if parameters.has_key('strip_quotes'):
236                        self.STRIP_QUOTES = int(parameters['strip_quotes'])
237                else:
238                        self.STRIP_QUOTES = 0
239
240                self.properties = dict()
241                if parameters.has_key('inline_properties'):
242                        self.INLINE_PROPERTIES = int(parameters['inline_properties'])
243                else:
244                        self.INLINE_PROPERTIES = 0
245
246                if parameters.has_key('use_textwrap'):
247                        self.USE_TEXTWRAP = int(parameters['use_textwrap'])
248                else:
249                        self.USE_TEXTWRAP = 0
250
251                if parameters.has_key('binhex'):
252                        self.STRIP_CONTENT_TYPES.append('application/mac-binhex40')
253
254                if parameters.has_key('applesingle'):
255                        self.STRIP_CONTENT_TYPES.append('application/applefile')
256
257                if parameters.has_key('appledouble'):
258                        self.STRIP_CONTENT_TYPES.append('application/applefile')
259
260                if parameters.has_key('strip_content_types'):
261                        items = parameters['strip_content_types'].split(',')
262                        for item in items:
263                                self.STRIP_CONTENT_TYPES.append(item.strip())
264
265                self.WORKFLOW = None
266                if parameters.has_key('workflow'):
267                        self.WORKFLOW = parameters['workflow']
268
269                # Use OS independend functions
270                #
271                self.TMPDIR = os.path.normcase('/tmp')
272                if parameters.has_key('tmpdir'):
273                        self.TMPDIR = os.path.normcase(str(parameters['tmpdir']))
274
275                if parameters.has_key('ignore_trac_user_settings'):
276                        self.IGNORE_TRAC_USER_SETTINGS = int(parameters['ignore_trac_user_settings'])
277                else:
278                        self.IGNORE_TRAC_USER_SETTINGS = 0
279
280                if parameters.has_key('email_triggers_workflow'):
281                        self.EMAIL_TRIGGERS_WORKFLOW = int(parameters['email_triggers_workflow'])
282                else:
283                        self.EMAIL_TRIGGERS_WORKFLOW = 1
284
285                if parameters.has_key('subject_field_separator'):
286                        self.SUBJECT_FIELD_SEPARATOR = parameters['subject_field_separator'].strip()
287                else:
288                        self.SUBJECT_FIELD_SEPARATOR = '&'
289
290                self.trac_smtp_from = self.get_config('notification', 'smtp_from')
291
292                self.system = None
293
294########## Email Header Functions ###########################################################
295
296        def spam(self, message):
297                """
298                # X-Spam-Score: *** (3.255) BAYES_50,DNS_FROM_AHBL_RHSBL,HTML_
299                # Note if Spam_level then '*' are included
300                """
301                spam = False
302                if message.has_key(self.SPAM_HEADER):
303                        spam_l = string.split(message[self.SPAM_HEADER])
304
305                        try:
306                                number = spam_l[0].count('*')
307                        except IndexError, detail:
308                                number = 0
309                               
310                        if number >= self.SPAM_LEVEL:
311                                spam = True
312                               
313                # treat virus mails as spam
314                #
315                elif message.has_key('X-Virus-found'):                 
316                        spam = True
317
318                # How to handle SPAM messages
319                #
320                if self.DROP_SPAM and spam:
321                        if self.DEBUG > 2 :
322                                print 'This message is a SPAM. Automatic ticket insertion refused (SPAM level > %d' % self.SPAM_LEVEL
323
324                        return 'drop'   
325
326                elif spam:
327
328                        return 'Spam'   
329
330                else:
331
332                        return False
333
334        def email_header_acl(self, keyword, header_field, default):
335                """
336                This function wil check if the email address is allowed or denied
337                to send mail to the ticket list
338            """
339                try:
340                        mail_addresses = self.parameters[keyword]
341
342                        # Check if we have an empty string
343                        #
344                        if not mail_addresses:
345                                return default
346
347                except KeyError, detail:
348                        if self.DEBUG > 2 :
349                                print 'TD: %s not defined, all messages are allowed.' %(keyword)
350
351                        return default
352
353                mail_addresses = string.split(mail_addresses, ',')
354
355                for entry in mail_addresses:
356                        entry = entry.strip()
357                        TO_RE = re.compile(entry, re.VERBOSE|re.IGNORECASE)
358                        result =  TO_RE.search(header_field)
359                        if result:
360                                return True
361
362                return False
363
364        def email_header_txt(self, m):
365                """
366                Display To and CC addresses in description field
367                """
368                s = ''
369
370                if m['To'] and len(m['To']) > 0:
371                        s = "'''To:''' %s\r\n" %(m['To'])
372                if m['Cc'] and len(m['Cc']) > 0:
373                        s = "%s'''Cc:''' %s\r\n" % (s, m['Cc'])
374
375                return  self.email_to_unicode(s)
376
377
378        def get_sender_info(self, message):
379                """
380                Get the default author name and email address from the message
381                """
382
383                self.email_to = self.email_to_unicode(message['to'])
384                self.to_name, self.to_email_addr = email.Utils.parseaddr (self.email_to)
385
386                self.email_from = self.email_to_unicode(message['from'])
387                self.email_name, self.email_addr  = email.Utils.parseaddr(self.email_from)
388
389                ## Trac can not handle author's name that contains spaces
390                #  and forbid the ticket email address as author field
391
392                if self.email_addr == self.trac_smtp_from:
393                        self.author = "email2trac"
394                else:
395                        self.author = self.email_addr
396
397                if self.IGNORE_TRAC_USER_SETTINGS:
398                        return
399
400                # Is this a registered user, use email address as search key:
401                # result:
402                #   u : login name
403                #   n : Name that the user has set in the settings tab
404                #   e : email address that the user has set in the settings tab
405                #
406                users = [ (u,n,e) for (u, n, e) in self.env.get_known_users(self.db)
407                        if e and (e.lower() == self.email_addr.lower()) ]
408
409                if len(users) == 1:
410                        self.email_from = users[0][0]
411                        self.author = users[0][0]
412
413        def set_reply_fields(self, ticket, message):
414                """
415                Set all the right fields for a new ticket
416                """
417                if self.DEBUG:
418                        print 'TD: set_reply_fields'
419
420                ## Only use name or email adress
421                #ticket['reporter'] = self.email_from
422                ticket['reporter'] = self.author
423
424
425                # Put all CC-addresses in ticket CC field
426                #
427                if self.REPLY_ALL:
428
429                        email_cc = ''
430
431                        cc_addrs = email.Utils.getaddresses( message.get_all('cc', []) )
432
433                        if not cc_addrs:
434                                return
435
436                        ## Build a list of forbidden CC addresses
437                        #
438                        #to_addrs = email.Utils.getaddresses( message.get_all('to', []) )
439                        #to_list = list()
440                        #for n,e in to_addrs:
441                        #       to_list.append(e)
442                               
443                        # Remove reporter email address if notification is
444                        # on
445                        #
446                        if self.notification:
447                                try:
448                                        cc_addrs.remove((self.author, self.email_addr))
449                                except ValueError, detail:
450                                        pass
451
452                        for name,addr in cc_addrs:
453               
454                                ## Prevent mail loop
455                                #
456                                #if addr in to_list:
457
458                                if addr == self.trac_smtp_from:
459                                        if self.DEBUG:
460                                                print "Skipping %s mail address for CC-field" %(addr)
461                                        continue
462
463                                if email_cc:
464                                        email_cc = '%s, %s' %(email_cc, addr)
465                                else:
466                                        email_cc = addr
467
468                        if email_cc:
469                                if self.DEBUG:
470                                        print 'TD: set_reply_fields: %s' %email_cc
471
472                                ticket['cc'] = self.email_to_unicode(email_cc)
473
474
475########## DEBUG functions  ###########################################################
476
477        def debug_body(self, message_body, tempfile=False):
478                if tempfile:
479                        import tempfile
480                        body_file = tempfile.mktemp('.email2trac')
481                else:
482                        body_file = os.path.join(self.TMPDIR, 'body.txt')
483
484                if self.DRY_RUN:
485                        print 'DRY-RUN: not saving body to %s' %(body_file)
486                        return
487
488                print 'TD: writing body to %s' %(body_file)
489                fx = open(body_file, 'wb')
490                if not message_body:
491                                message_body = '(None)'
492
493                message_body = message_body.encode('utf-8')
494                #message_body = unicode(message_body, 'iso-8859-15')
495
496                fx.write(message_body)
497                fx.close()
498                try:
499                        os.chmod(body_file,S_IRWXU|S_IRWXG|S_IRWXO)
500                except OSError:
501                        pass
502
503        def debug_attachments(self, message_parts):
504                """
505                """
506                if self.VERBOSE:
507                        print "VB: debug_attachments"
508               
509                n = 0
510                for item in message_parts:
511                        # Skip inline text parts
512                        if not isinstance(item, tuple):
513                                continue
514                               
515                        (original, filename, part) = item
516
517                        n = n + 1
518                        print 'TD: part%d: Content-Type: %s' % (n, part.get_content_type())
519               
520                        s = 'TD: part%d: filename: %s' %(n, filename)
521                        self.print_unicode(s)
522       
523                        ## Forbidden chars
524                        #
525                        filename = filename.replace('\\', '_')
526                        filename = filename.replace('/', '_')
527       
528
529                        part_file = os.path.join(self.TMPDIR, filename)
530                        s = 'TD: writing part%d (%s)' % (n,part_file)
531                        self.print_unicode(s)
532
533                        if self.DRY_RUN:
534                                print 'DRY_RUN: NOT saving attachments'
535                                continue
536
537                        part_file = util.text.unicode_quote(part_file)
538
539                        fx = open(part_file, 'wb')
540                        text = part.get_payload(decode=1)
541
542                        if not text:
543                                text = '(None)'
544
545                        fx.write(text)
546                        fx.close()
547
548                        try:
549                                os.chmod(part_file,S_IRWXU|S_IRWXG|S_IRWXO)
550                        except OSError:
551                                pass
552
553        def save_email_for_debug(self, message, tempfile=False):
554
555                if tempfile:
556                        import tempfile
557                        msg_file = tempfile.mktemp('.email2trac')
558                else:
559                        #msg_file = '/var/tmp/msg.txt'
560                        msg_file = os.path.join(self.TMPDIR, 'msg.txt')
561
562                if self.DRY_RUN:
563                        print 'DRY_RUN: NOT saving email message to %s' %(msg_file)
564                else:
565                        print 'TD: saving email to %s' %(msg_file)
566
567                        fx = open(msg_file, 'wb')
568                        fx.write('%s' % message)
569                        fx.close()
570                       
571                        try:
572                                os.chmod(msg_file,S_IRWXU|S_IRWXG|S_IRWXO)
573                        except OSError:
574                                pass
575
576                message_parts = self.get_message_parts(message)
577                message_parts = self.unique_attachment_names(message_parts)
578                body_text = self.body_text(message_parts)
579                self.debug_body(body_text, True)
580                self.debug_attachments(message_parts)
581
582########## Conversion functions  ###########################################################
583
584        def email_to_unicode(self, message_str):
585                """
586                Email has 7 bit ASCII code, convert it to unicode with the charset
587                that is encoded in 7-bit ASCII code and encode it as utf-8 so Trac
588                understands it.
589                """
590                if self.VERBOSE:
591                        print "VB: email_to_unicode"
592
593                results =  email.Header.decode_header(message_str)
594
595                s = None
596                for text,format in results:
597                        if format:
598                                try:
599                                        temp = unicode(text, format)
600                                except UnicodeError, detail:
601                                        # This always works
602                                        #
603                                        temp = unicode(text, 'iso-8859-15')
604                                except LookupError, detail:
605                                        #text = 'ERROR: Could not find charset: %s, please install' %format
606                                        #temp = unicode(text, 'iso-8859-15')
607                                        temp = message_str
608                                       
609                        else:
610                                temp = string.strip(text)
611                                temp = unicode(text, 'iso-8859-15')
612
613                        if s:
614                                s = '%s %s' %(s, temp)
615                        else:
616                                s = '%s' %temp
617
618                #s = s.encode('utf-8')
619                return s
620
621        def str_to_dict(self, s):
622                """
623                Transfrom a string of the form [<key>=<value>]+ to dict[<key>] = <value>
624                """
625                if self.VERBOSE:
626                        print "VB: str_to_dict"
627
628                fields = string.split(s, self.SUBJECT_FIELD_SEPARATOR)
629
630                result = dict()
631                for field in fields:
632                        try:
633                                index, value = string.split(field, '=')
634
635                                # We can not change the description of a ticket via the subject
636                                # line. The description is the body of the email
637                                #
638                                if index.lower() in ['description']:
639                                        continue
640
641                                if value:
642                                        result[index.lower()] = value
643
644                        except ValueError:
645                                pass
646                return result
647
648        def print_unicode(self,s):
649                """
650                This function prints unicode strings uif possible else it will quote it
651                """
652                try:
653                        print s
654                except UnicodeEncodeError, detail:
655                        print util.text.unicode_quote(s)
656
657########## TRAC ticket functions  ###########################################################
658
659        def update_ticket_fields(self, ticket, user_dict, use_default=None):
660                """
661                This will update the ticket fields. It will check if the
662                given fields are known and if the right values are specified
663                It will only update the ticket field value:
664                        - If the field is known
665                        - If the value supplied is valid for the ticket field.
666                          If not then there are two options:
667                           1) Skip the value (use_default=None)
668                           2) Set default value for field (use_default=1)
669                """
670                if self.VERBOSE:
671                        print "VB: update_ticket_fields"
672
673                # Build a system dictionary from the ticket fields
674                # with field as index and option as value
675                #
676                sys_dict = dict()
677                for field in ticket.fields:
678                        try:
679                                sys_dict[field['name']] = field['options']
680
681                        except KeyError:
682                                sys_dict[field['name']] = None
683                                pass
684
685                ## Check user supplied fields an compare them with the
686                # system one's
687                #
688                for field,value in user_dict.items():
689                        if self.DEBUG >= 10:
690                                s = 'TD: user_field\t %s = %s' %(field,value)
691                                self.print_unicode(s)
692
693                        ## To prevent mail loop
694                        #
695                        if field == 'cc':
696
697                                cc_list = user_dict['cc'].split(',')
698
699                                if self.trac_smtp_from in cc_list:
700                                        if self.DEBUG > 10:
701                                                print 'TD: MAIL LOOP: %s is not allowed as CC address' %(self.trac_smtp_from)
702                                        cc_list.remove(self.trac_smtp_from)
703
704                                value = ','.join(cc_list)
705                               
706
707                        if sys_dict.has_key(field):
708
709                                # Check if value is an allowed system option, if TypeError then
710                                # every value is allowed
711                                #
712                                try:
713                                        if value in sys_dict[field]:
714                                                ticket[field] = value
715                                        else:
716                                                # Must we set a default if value is not allowed
717                                                #
718                                                if use_default:
719                                                        value = self.get_config('ticket', 'default_%s' %(field) )
720
721                                except TypeError:
722                                        pass
723
724                                ## Only set if we have a value
725                                #
726                                if value:
727                                        ticket[field] = value
728
729                                if self.DEBUG >= 10:
730                                        s = 'ticket_field\t %s = %s' %(field,  ticket[field])
731                                        self.print_unicode(s)
732
733        def ticket_update(self, m, id, spam):
734                """
735                If the current email is a reply to an existing ticket, this function
736                will append the contents of this email to that ticket, instead of
737                creating a new one.
738                """
739                if self.VERBOSE:
740                        print "VB: ticket_update: %s" %id
741
742                # Must we update ticket fields
743                #
744                update_fields = dict()
745                try:
746                        id, keywords = string.split(id, '?')
747
748                        update_fields = self.str_to_dict(keywords)
749
750                        # Strip '#'
751                        #
752                        self.id = int(id[1:])
753
754                except ValueError:
755
756                        # Strip '#'
757                        #
758                        self.id = int(id[1:])
759
760                if self.VERBOSE:
761                        print "VB: ticket_update: %s" %id
762
763
764                # When is the change committed
765                #
766                if self.VERSION < 0.11:
767                        when = int(time.time())
768                else:
769                        utc = UTC()
770                        when = datetime.now(utc)
771
772                try:
773                        tkt = Ticket(self.env, self.id, self.db)
774
775                except util.TracError, detail:
776
777                        # Not a valid ticket
778
779                        self.id = None
780                        return False
781
782                # How many changes has this ticket
783                cnum = len(tkt.get_changelog())
784
785
786                # reopen the ticket if it is was closed
787                # We must use the ticket workflow framework
788                #
789                if tkt['status'] in ['closed'] and self.EMAIL_TRIGGERS_WORKFLOW:
790
791                        #print controller.actions['reopen']
792                        #
793                        # As reference 
794                        # req = Mock(href=Href('/'), abs_href=Href('http://www.example.com/'), authname='anonymous', perm=MockPerm(), args={})
795                        #
796                        #a = controller.render_ticket_action_control(req, tkt, 'reopen')
797                        #print 'controller : ', a
798                        #
799                        #b = controller.get_all_status()
800                        #print 'get all status: ', b
801                        #
802                        #b = controller.get_ticket_changes(req, tkt, 'reopen')
803                        #print 'get_ticket_changes :', b
804
805                        if self.WORKFLOW and (self.VERSION >= 0.11 ) :
806                                from trac.ticket.default_workflow import ConfigurableTicketWorkflow
807                                from trac.test import Mock, MockPerm
808
809                                req = Mock(authname='anonymous', perm=MockPerm(), args={})
810
811                                controller = ConfigurableTicketWorkflow(self.env)
812                                fields = controller.get_ticket_changes(req, tkt, self.WORKFLOW)
813
814                                if self.DEBUG:
815                                        print 'TD: Workflow ticket update fields: ', fields
816
817                                for key in fields.keys():
818                                        tkt[key] = fields[key]
819
820                        else:
821                                tkt['status'] = 'reopened'
822                                tkt['resolution'] = ''
823
824                # Must we update some ticket fields properties via subjectline
825                #
826                if update_fields:
827                        self.update_ticket_fields(tkt, update_fields)
828
829                message_parts = self.get_message_parts(m)
830                message_parts = self.unique_attachment_names(message_parts)
831
832                # Must we update some ticket fields properties via body_text
833                #
834                if self.properties:
835                                self.update_ticket_fields(tkt, self.properties)
836
837                if self.EMAIL_HEADER:
838                        message_parts.insert(0, self.email_header_txt(m))
839
840                body_text = self.body_text(message_parts)
841
842                if self.VERSION  == 0.9:
843                        error_with_attachments = self.attach_attachments(message_parts, True)
844                else:
845                        error_with_attachments = self.attach_attachments(message_parts)
846
847                if body_text.strip() or update_fields or self.properties:
848                        if self.DRY_RUN:
849                                print 'DRY_RUN: tkt.save_changes(self.author, body_text, ticket_change_number) ', self.author, cnum
850                        else:
851                                if error_with_attachments:
852                                        body_text = '%s\\%s' %(error_with_attachments, body_text)
853                               
854                                tkt.save_changes(self.author, body_text, when, None, str(cnum))
855                       
856
857                if self.notification and not spam:
858                        self.notify(tkt, False, when)
859
860                return True
861
862        def set_ticket_fields(self, ticket):
863                """
864                set the ticket fields to value specified
865                        - /etc/email2trac.conf with <prefix>_<field>
866                        - trac default values, trac.ini
867                """
868                user_dict = dict()
869
870                for field in ticket.fields:
871
872                        name = field['name']
873
874                        ## default trac value
875                        #
876                        if not field.get('custom'):
877                                value = self.get_config('ticket', 'default_%s' %(name) )
878                        else:
879                                ##  Else we get the default value for reporter
880                                #
881                                value = field.get('value')
882                                options = field.get('options')
883
884                                if value and options and (value not in options):
885                                         value = options[int(value)]
886       
887                        if self.DEBUG > 10:
888                                s = 'TD: trac.ini name %s = %s' %(name, value)
889                                self.print_unicode(s)
890
891                        ## email2trac.conf settings
892                        #
893                        prefix = self.parameters['ticket_prefix']
894                        try:
895                                value = self.parameters['%s_%s' %(prefix, name)]
896                                if self.DEBUG > 10:
897                                        s = 'TD: email2trac.conf %s = %s ' %(name, value)
898                                        self.print_unicode(s)
899
900                        except KeyError, detail:
901                                pass
902               
903                        if self.DEBUG:
904                                s = 'TD: user_dict[%s] = %s' %(name, value)
905                                self.print_unicode(s)
906
907                        if value:
908                                user_dict[name] = value
909
910                self.update_ticket_fields(ticket, user_dict, use_default=1)
911
912                if 'status' not in user_dict.keys():
913                        ticket['status'] = 'new'
914
915
916        def ticket_update_by_subject(self, subject):
917                """
918                This list of Re: prefixes is probably incomplete. Taken from
919                wikipedia. Here is how the subject is matched
920                  - Re: <subject>
921                  - Re: (<Mail list label>:)+ <subject>
922
923                So we must have the last column
924                """
925                if self.VERBOSE:
926                        print "VB: ticket_update_by_subject()"
927
928                matched_id = None
929                if self.TICKET_UPDATE and self.TICKET_UPDATE_BY_SUBJECT:
930                               
931                        SUBJECT_RE = re.compile(r'^(RE|AW|VS|SV):(.*:)*\s*(.*)', re.IGNORECASE)
932                        result = SUBJECT_RE.search(subject)
933
934                        if result:
935                                # This is a reply
936                                orig_subject = result.group(3)
937
938                                if self.DEBUG:
939                                        print 'TD: subject search string: %s' %(orig_subject)
940
941                                cursor = self.db.cursor()
942                                summaries = [orig_subject, '%%: %s' % orig_subject]
943
944                                ##
945                                # Convert days to seconds
946                                lookback = int(time.mktime(time.gmtime())) - \
947                                                self.TICKET_UPDATE_BY_SUBJECT_LOOKBACK * 24 * 3600
948
949
950                                for summary in summaries:
951                                        if self.DEBUG:
952                                                print 'TD: Looking for summary matching: "%s"' % summary
953                                        sql = """SELECT id FROM ticket
954                                                        WHERE changetime >= %s AND summary LIKE %s
955                                                        ORDER BY changetime DESC"""
956                                        cursor.execute(sql, [lookback, summary.strip()])
957
958                                        for row in cursor:
959                                                (matched_id,) = row
960                                                if self.DEBUG:
961                                                        print 'TD: Found matching ticket id: %d' % matched_id
962                                                break
963
964                                        if matched_id:
965                                                matched_id = '#%d' % matched_id
966                                                return matched_id
967
968                return matched_id
969
970
971        def new_ticket(self, msg, subject, spam, set_fields = None):
972                """
973                Create a new ticket
974                """
975                if self.VERBOSE:
976                        print "VB: function new_ticket()"
977
978                tkt = Ticket(self.env)
979
980                self.set_reply_fields(tkt, msg)
981
982                self.set_ticket_fields(tkt)
983
984                # Old style setting for component, will be removed
985                #
986                if spam:
987                        tkt['component'] = 'Spam'
988
989                elif self.parameters.has_key('component'):
990                        tkt['component'] = self.parameters['component']
991
992                if not msg['Subject']:
993                        tkt['summary'] = u'(No subject)'
994                else:
995                        tkt['summary'] = subject
996
997
998                if set_fields:
999                        rest, keywords = string.split(set_fields, '?')
1000
1001                        if keywords:
1002                                update_fields = self.str_to_dict(keywords)
1003                                self.update_ticket_fields(tkt, update_fields)
1004
1005                # produce e-mail like header
1006                #
1007                head = ''
1008                if self.EMAIL_HEADER > 0:
1009                        head = self.email_header_txt(msg)
1010
1011                message_parts = self.get_message_parts(msg)
1012
1013                # Must we update some ticket fields properties via body_text
1014                #
1015                if self.properties:
1016                                self.update_ticket_fields(tkt, self.properties)
1017
1018                if self.DEBUG:
1019                        print 'TD: self.get_message_parts ',
1020                        print message_parts
1021
1022                message_parts = self.unique_attachment_names(message_parts)
1023                if self.DEBUG:
1024                        print 'TD: self.unique_attachment_names',
1025                        print message_parts
1026               
1027                if self.EMAIL_HEADER > 0:
1028                        message_parts.insert(0, self.email_header_txt(msg))
1029                       
1030                body_text = self.body_text(message_parts)
1031
1032                tkt['description'] = body_text
1033
1034                #when = int(time.time())
1035                #
1036                utc = UTC()
1037                when = datetime.now(utc)
1038
1039                if not self.DRY_RUN:
1040                        self.id = tkt.insert()
1041       
1042                changed = False
1043                comment = ''
1044
1045                # some routines in trac are dependend on ticket id     
1046                # like alternate notify template
1047                #
1048                if self.notify_template:
1049                        tkt['id'] = self.id
1050                        changed = True
1051
1052                ## Rewrite the description if we have mailto enabled
1053                #
1054                if self.MAILTO:
1055                        changed = True
1056                        comment = u'\nadded mailto line\n'
1057                        mailto = self.html_mailto_link( m['Subject'])
1058
1059                        tkt['description'] = u'%s\r\n%s%s\r\n' \
1060                                %(head, mailto, body_text)
1061       
1062                ## Save the attachments to the ticket   
1063                #
1064                error_with_attachments =  self.attach_attachments(message_parts)
1065
1066                if error_with_attachments:
1067                        changed = True
1068                        comment = '%s\n%s\n' %(comment, error_with_attachments)
1069
1070                if changed:
1071                        if self.DRY_RUN:
1072                                print 'DRY_RUN: tkt.save_changes(%s, comment) real reporter = %s' %( tkt['reporter'], self.author)
1073                        else:
1074                                tkt.save_changes(tkt['reporter'], comment)
1075                                #print tkt.get_changelog(self.db, when)
1076
1077                if self.notification and not spam:
1078                        self.notify(tkt, True)
1079
1080
1081        def attach_attachments(self, message_parts, update=False):
1082                '''
1083                save any attachments as files in the ticket's directory
1084                '''
1085                if self.VERBOSE:
1086                        print "VB: attach_attachments()"
1087
1088                if self.DRY_RUN:
1089                        print "DRY_RUN: no attachments attached to tickets"
1090                        return ''
1091
1092                count = 0
1093
1094                # Get Maxium attachment size
1095                #
1096                max_size = int(self.get_config('attachment', 'max_size'))
1097                status   = None
1098               
1099                for item in message_parts:
1100                        # Skip body parts
1101                        if not isinstance(item, tuple):
1102                                continue
1103                               
1104                        (original, filename, part) = item
1105                        #
1106                        # We have to determine the size so we use this temporary solution. we must escape it
1107                        # else we get UnicodeErrors.
1108                        #
1109                        path, fd =  util.create_unique_file(os.path.join(self.TMPDIR, util.text.unicode_quote(filename)))
1110                        text = part.get_payload(decode=1)
1111                        if not text:
1112                                text = '(None)'
1113                        fd.write(text)
1114                        fd.close()
1115
1116                        # get the file_size
1117                        #
1118                        stats = os.lstat(path)
1119                        file_size = stats[stat.ST_SIZE]
1120
1121                        # Check if the attachment size is allowed
1122                        #
1123                        if (max_size != -1) and (file_size > max_size):
1124                                status = '%s\nFile %s is larger then allowed attachment size (%d > %d)\n\n' \
1125                                        %(status, original, file_size, max_size)
1126
1127                                os.unlink(path)
1128                                continue
1129                        else:
1130                                count = count + 1
1131                                       
1132                        # Insert the attachment
1133                        #
1134                        fd = open(path, 'rb')
1135                        if self.system == 'discussion':
1136                                att = attachment.Attachment(self.env, 'discussion', 'topic/%s'
1137                                  % (self.id,))
1138                        else:
1139                                att = attachment.Attachment(self.env, 'ticket', self.id)
1140 
1141                        # This will break the ticket_update system, the body_text is vaporized
1142                        # ;-(
1143                        #
1144                        if not update:
1145                                att.author = self.author
1146                                att.description = self.email_to_unicode('Added by email2trac')
1147
1148                        try:
1149                                att.insert(filename, fd, file_size)
1150                        except OSError, detail:
1151                                status = '%s\nFilename %s could not be saved, problem: %s' %(status, filename, detail)
1152
1153                        # Remove the created temporary filename
1154                        #
1155                        fd.close()
1156                        os.unlink(path)
1157
1158                ## return error
1159                #
1160                return status
1161
1162########## Fullblog functions  #################################################
1163
1164        def blog(self, id):
1165                """
1166                The blog create/update function
1167                """
1168                # import the modules
1169                #
1170                from tracfullblog.core import FullBlogCore
1171                from tracfullblog.model import BlogPost, BlogComment
1172                from trac.test import Mock, MockPerm
1173
1174                # instantiate blog core
1175                blog = FullBlogCore(self.env)
1176                req = Mock(authname='anonymous', perm=MockPerm(), args={})
1177
1178                if id:
1179
1180                        # update blog
1181                        #
1182                        comment = BlogComment(self.env, id)
1183                        comment.author = self.author
1184
1185                        message_parts = self.get_message_parts(m)
1186                        comment.comment = self.body_text(message_parts)
1187
1188                        blog.create_comment(req, comment)
1189
1190                else:
1191                        # create blog
1192                        #
1193                        import time
1194                        post = BlogPost(self.env, 'blog_'+time.strftime("%Y%m%d%H%M%S", time.gmtime()))
1195
1196                        #post = BlogPost(self.env, blog._get_default_postname(self.env))
1197                       
1198                        post.author = self.author
1199                        post.title = self.email_to_unicode(m['Subject'])
1200
1201                        message_parts = self.get_message_parts(m)
1202                        post.body = self.body_text(message_parts)
1203                       
1204                        blog.create_post(req, post, self.author, u'Created by email2trac', False)
1205
1206
1207########## Discussion functions  ##############################################
1208
1209        def discussion_topic(self, content, subject):
1210
1211                # Import modules.
1212                from tracdiscussion.api import DiscussionApi
1213                from trac.util.datefmt import to_timestamp, utc
1214
1215                if self.DEBUG:
1216                        print 'TD: Creating a new topic in forum:', self.id
1217
1218                # Get dissussion API component.
1219                api = self.env[DiscussionApi]
1220                context = self._create_context(content, subject)
1221
1222                # Get forum for new topic.
1223                forum = api.get_forum(context, self.id)
1224
1225                if not forum and self.DEBUG:
1226                        print 'ERROR: Replied forum doesn\'t exist'
1227
1228                # Prepare topic.
1229                topic = {'forum' : forum['id'],
1230                                 'subject' : context.subject,
1231                                 'time': to_timestamp(datetime.now(utc)),
1232                                 'author' : self.author,
1233                                 'subscribers' : [self.email_addr],
1234                                 'body' : self.body_text(context.content_parts)}
1235
1236                # Add topic to DB and commit it.
1237                self._add_topic(api, context, topic)
1238                self.db.commit()
1239
1240        def discussion_topic_reply(self, content, subject):
1241
1242                # Import modules.
1243                from tracdiscussion.api import DiscussionApi
1244                from trac.util.datefmt import to_timestamp, utc
1245
1246                if self.DEBUG:
1247                        print 'TD: Replying to discussion topic', self.id
1248
1249                # Get dissussion API component.
1250                api = self.env[DiscussionApi]
1251                context = self._create_context(content, subject)
1252
1253                # Get replied topic.
1254                topic = api.get_topic(context, self.id)
1255
1256                if not topic and self.DEBUG:
1257                        print 'ERROR: Replied topic doesn\'t exist'
1258
1259                # Prepare message.
1260                message = {'forum' : topic['forum'],
1261                                   'topic' : topic['id'],
1262                                   'replyto' : -1,
1263                                   'time' : to_timestamp(datetime.now(utc)),
1264                                   'author' : self.author,
1265                                   'body' : self.body_text(context.content_parts)}
1266
1267                # Add message to DB and commit it.
1268                self._add_message(api, context, message)
1269                self.db.commit()
1270
1271        def discussion_message_reply(self, content, subject):
1272
1273                # Import modules.
1274                from tracdiscussion.api import DiscussionApi
1275                from trac.util.datefmt import to_timestamp, utc
1276
1277                if self.DEBUG:
1278                        print 'TD: Replying to discussion message', self.id
1279
1280                # Get dissussion API component.
1281                api = self.env[DiscussionApi]
1282                context = self._create_context(content, subject)
1283
1284                # Get replied message.
1285                message = api.get_message(context, self.id)
1286
1287                if not message and self.DEBUG:
1288                        print 'ERROR: Replied message doesn\'t exist'
1289
1290                # Prepare message.
1291                message = {'forum' : message['forum'],
1292                                   'topic' : message['topic'],
1293                                   'replyto' : message['id'],
1294                                   'time' : to_timestamp(datetime.now(utc)),
1295                                   'author' : self.author,
1296                                   'body' : self.body_text(context.content_parts)}
1297
1298                # Add message to DB and commit it.
1299                self._add_message(api, context, message)
1300                self.db.commit()
1301
1302        def _create_context(self, content, subject):
1303
1304                # Import modules.
1305                from trac.mimeview import Context
1306                from trac.web.api import Request
1307                from trac.perm import PermissionCache
1308
1309                # TODO: Read server base URL from config.
1310                # Create request object to mockup context creation.
1311                #
1312                environ = {'SERVER_PORT' : 80,
1313                                   'SERVER_NAME' : 'test',
1314                                   'REQUEST_METHOD' : 'POST',
1315                                   'wsgi.url_scheme' : 'http',
1316                                   'wsgi.input' : sys.stdin}
1317                chrome =  {'links': {},
1318                                   'scripts': [],
1319                                   'ctxtnav': [],
1320                                   'warnings': [],
1321                                   'notices': []}
1322
1323                if self.env.base_url_for_redirect:
1324                        environ['trac.base_url'] = self.env.base_url
1325
1326                req = Request(environ, None)
1327                req.chrome = chrome
1328                req.tz = 'missing'
1329                req.authname = self.author
1330                req.perm = PermissionCache(self.env, self.author)
1331
1332                # Create and return context.
1333                context = Context.from_request(req)
1334                context.realm = 'discussion-email2trac'
1335                context.cursor = self.db.cursor()
1336                context.content = content
1337                context.subject = subject
1338
1339                # Read content parts from content.
1340                context.content_parts = self.get_message_parts(content)
1341                context.content_parts = self.unique_attachment_names(
1342                  context.content_parts)
1343
1344                return context
1345
1346        def _add_topic(self, api, context, topic):
1347                context.req.perm.assert_permission('DISCUSSION_APPEND')
1348
1349                # Filter topic.
1350                for discussion_filter in api.discussion_filters:
1351                        accept, topic_or_error = discussion_filter.filter_topic(
1352                          context, topic)
1353                        if accept:
1354                                topic = topic_or_error
1355                        else:
1356                                raise TracError(topic_or_error)
1357
1358                # Add a new topic.
1359                api.add_topic(context, topic)
1360
1361                # Get inserted topic with new ID.
1362                topic = api.get_topic_by_time(context, topic['time'])
1363
1364                # Attach attachments.
1365                self.id = topic['id']
1366                self.attach_attachments(context.content_parts, self.VERSION == 0.9)
1367
1368                # Notify change listeners.
1369                for listener in api.topic_change_listeners:
1370                        listener.topic_created(context, topic)
1371
1372        def _add_message(self, api, context, message):
1373                context.req.perm.assert_permission('DISCUSSION_APPEND')
1374
1375                # Filter message.
1376                for discussion_filter in api.discussion_filters:
1377                        accept, message_or_error = discussion_filter.filter_message(
1378                          context, message)
1379                        if accept:
1380                                message = message_or_error
1381                        else:
1382                                raise TracError(message_or_error)
1383
1384                # Add message.
1385                api.add_message(context, message)
1386
1387                # Get inserted message with new ID.
1388                message = api.get_message_by_time(context, message['time'])
1389
1390                # Attach attachments.
1391                self.id = message['topic']
1392                self.attach_attachments(context.content_parts, self.VERSION == 0.9)
1393
1394                # Notify change listeners.
1395                for listener in api.message_change_listeners:
1396                        listener.message_created(context, message)
1397
1398########## MAIN function  ######################################################
1399
1400        def parse(self, fp):
1401                """
1402                """
1403                if self.VERBOSE:
1404                        print "VB: main function parse()"
1405                global m
1406
1407                m = email.message_from_file(fp)
1408               
1409                if not m:
1410                        if self.DEBUG:
1411                                print "TD: This is not a valid email message format"
1412                        return
1413                       
1414                # Work around lack of header folding in Python; see http://bugs.python.org/issue4696
1415                try:
1416                        m.replace_header('Subject', m['Subject'].replace('\r', '').replace('\n', ''))
1417                except AttributeError, detail:
1418                        pass
1419
1420                if self.DEBUG > 1:        # save the entire e-mail message text
1421                        self.save_email_for_debug(m, True)
1422
1423                self.db = self.env.get_db_cnx()
1424                self.get_sender_info(m)
1425
1426                if not self.email_header_acl('white_list', self.email_addr, True):
1427                        if self.DEBUG > 1 :
1428                                print 'Message rejected : %s not in white list' %(self.email_addr)
1429                        return False
1430
1431                if self.email_header_acl('black_list', self.email_addr, False):
1432                        if self.DEBUG > 1 :
1433                                print 'Message rejected : %s in black list' %(self.email_addr)
1434                        return False
1435
1436                if not self.email_header_acl('recipient_list', self.to_email_addr, True):
1437                        if self.DEBUG > 1 :
1438                                print 'Message rejected : %s not in recipient list' %(self.to_email_addr)
1439                        return False
1440
1441                # If drop the message
1442                #
1443                if self.spam(m) == 'drop':
1444                        return False
1445
1446                elif self.spam(m) == 'spam':
1447                        spam_msg = True
1448                else:
1449                        spam_msg = False
1450
1451                if self.get_config('notification', 'smtp_enabled') in ['true']:
1452                        self.notification = 1
1453                else:
1454                        self.notification = 0
1455
1456                if not m['Subject']:
1457                        subject  = 'No Subject'
1458                else:
1459                        subject  = self.email_to_unicode(m['Subject'])
1460
1461                if self.DEBUG:
1462                         print "TD:", subject
1463
1464                #
1465                # [hic] #1529: Re: LRZ
1466                # [hic] #1529?owner=bas,priority=medium: Re: LRZ
1467                #
1468                ticket_regex = r'''
1469                        (?P<new_fields>[#][?].*)
1470                        |(?P<reply>(?P<id>[#][\d]+)(?P<fields>\?.*)?:)
1471                        '''
1472                # Check if  FullBlogPlugin is installed
1473                #
1474                blog_enabled = None
1475                blog_regex = ''
1476                if self.get_config('components', 'tracfullblog.*') in ['enabled']:
1477                        blog_enabled = True
1478                        blog_regex = '''|(?P<blog>blog:(?P<blog_id>\w*))'''
1479
1480
1481                # Check if DiscussionPlugin is installed
1482                #
1483                discussion_enabled = None
1484                discussion_regex = ''
1485                if self.get_config('components', 'tracdiscussion.api.*') in ['enabled']:
1486                        discussion_enabled = True
1487                        discussion_regex = r'''
1488                        |(?P<forum>Forum[ ][#](?P<forum_id>\d+)[ ]-[ ]?)
1489                        |(?P<topic>Topic[ ][#](?P<topic_id>\d+)[ ]-[ ]?)
1490                        |(?P<message>Message[ ][#](?P<message_id>\d+)[ ]-[ ]?)
1491                        '''
1492
1493
1494                regex_str = ticket_regex + blog_regex + discussion_regex
1495                SYSTEM_RE = re.compile(regex_str, re.VERBOSE)
1496
1497                # Find out if this is a ticket, a blog or a discussion
1498                #
1499                result =  SYSTEM_RE.search(subject)
1500
1501                if result:
1502                        # update ticket + fields
1503                        #
1504                        if result.group('reply') and self.TICKET_UPDATE:
1505                                self.system = 'ticket'
1506
1507                                # Skip the last ':' character
1508                                #
1509                                if not self.ticket_update(m, result.group('reply')[:-1], spam_msg):
1510                                        self.new_ticket(m, subject, spam_msg)
1511
1512                        # New ticket + fields
1513                        #
1514                        elif result.group('new_fields'):
1515                                self.system = 'ticket'
1516                                self.new_ticket(m, subject[:result.start('new_fields')], spam_msg, result.group('new_fields'))
1517
1518                        if blog_enabled:
1519                                if result.group('blog'):
1520                                        self.system = 'blog'
1521                                        self.blog(result.group('blog_id'))
1522
1523                        if discussion_enabled:
1524                                # New topic.
1525                                #
1526                                if result.group('forum'):
1527                                        self.system = 'discussion'
1528                                        self.id = int(result.group('forum_id'))
1529                                        self.discussion_topic(m, subject[result.end('forum'):])
1530
1531                                # Reply to topic.
1532                                #
1533                                elif result.group('topic'):
1534                                        self.system = 'discussion'
1535                                        self.id = int(result.group('topic_id'))
1536                                        self.discussion_topic_reply(m, subject[result.end('topic'):])
1537
1538                                # Reply to topic message.
1539                                #
1540                                elif result.group('message'):
1541                                        self.system = 'discussion'
1542                                        self.id = int(result.group('message_id'))
1543                                        self.discussion_message_reply(m, subject[result.end('message'):])
1544
1545                else:
1546                        self.system = 'ticket'
1547                        result = self.ticket_update_by_subject(subject)
1548                        if result:
1549                                if not self.ticket_update(m, result, spam_msg):
1550                                        self.new_ticket(m, subject, spam_msg)
1551                        else:
1552                                # No update by subject, so just create a new ticket
1553                                self.new_ticket(m, subject, spam_msg)
1554
1555
1556########## BODY TEXT functions  ###########################################################
1557
1558        def strip_signature(self, text):
1559                """
1560                Strip signature from message, inspired by Mailman software
1561                """
1562                body = []
1563                for line in text.splitlines():
1564                        if line == '-- ':
1565                                break
1566                        body.append(line)
1567
1568                return ('\n'.join(body))
1569
1570        def reflow(self, text, delsp = 0):
1571                """
1572                Reflow the message based on the format="flowed" specification (RFC 3676)
1573                """
1574                flowedlines = []
1575                quotelevel = 0
1576                prevflowed = 0
1577
1578                for line in text.splitlines():
1579                        from re import match
1580                       
1581                        # Figure out the quote level and the content of the current line
1582                        m = match('(>*)( ?)(.*)', line)
1583                        linequotelevel = len(m.group(1))
1584                        line = m.group(3)
1585
1586                        # Determine whether this line is flowed
1587                        if line and line != '-- ' and line[-1] == ' ':
1588                                flowed = 1
1589                        else:
1590                                flowed = 0
1591
1592                        if flowed and delsp and line and line[-1] == ' ':
1593                                line = line[:-1]
1594
1595                        # If the previous line is flowed, append this line to it
1596                        if prevflowed and line != '-- ' and linequotelevel == quotelevel:
1597                                flowedlines[-1] += line
1598                        # Otherwise, start a new line
1599                        else:
1600                                flowedlines.append('>' * linequotelevel + line)
1601
1602                        prevflowed = flowed
1603                       
1604
1605                return '\n'.join(flowedlines)
1606
1607        def strip_quotes(self, text):
1608                """
1609                Strip quotes from message by Nicolas Mendoza
1610                """
1611                body = []
1612                for line in text.splitlines():
1613                        if line.startswith(self.EMAIL_QUOTE):
1614                                continue
1615                        body.append(line)
1616
1617                return ('\n'.join(body))
1618
1619        def inline_properties(self, text):
1620                """
1621                Parse text if we use inline keywords to set ticket fields
1622                """
1623                if self.DEBUG:
1624                        print 'TD: inline_properties function'
1625
1626                properties = dict()
1627                body = list()
1628
1629                INLINE_EXP = re.compile('\s*[@]\s*([a-zA-Z]+)\s*:(.*)$')
1630
1631                for line in text.splitlines():
1632                        match = INLINE_EXP.match(line)
1633                        if match:
1634                                keyword, value = match.groups()
1635                                self.properties[keyword] = value.strip()
1636                                if self.DEBUG:
1637                                        print "TD: inline properties: %s : %s" %(keyword,value)
1638                        else:
1639                                body.append(line)
1640                               
1641                return '\n'.join(body)
1642
1643
1644        def wrap_text(self, text, replace_whitespace = False):
1645                """
1646                Will break a lines longer then given length into several small
1647                lines of size given length
1648                """
1649                import textwrap
1650
1651                LINESEPARATOR = '\n'
1652                reformat = ''
1653
1654                for s in text.split(LINESEPARATOR):
1655                        tmp = textwrap.fill(s,self.USE_TEXTWRAP)
1656                        if tmp:
1657                                reformat = '%s\n%s' %(reformat,tmp)
1658                        else:
1659                                reformat = '%s\n' %reformat
1660
1661                return reformat
1662
1663                # Python2.4 and higher
1664                #
1665                #return LINESEPARATOR.join(textwrap.fill(s,width) for s in str.split(LINESEPARATOR))
1666                #
1667
1668########## EMAIL attachements functions ###########################################################
1669
1670        def inline_part(self, part):
1671                """
1672                """
1673                if self.VERBOSE:
1674                        print "VB: inline_part()"
1675
1676                return part.get_param('inline', None, 'Content-Disposition') == '' or not part.has_key('Content-Disposition')
1677
1678        def get_message_parts(self, msg):
1679                """
1680                parses the email message and returns a list of body parts and attachments
1681                body parts are returned as strings, attachments are returned as tuples of (filename, Message object)
1682                """
1683                if self.VERBOSE:
1684                        print "VB: get_message_parts()"
1685
1686                message_parts = list()
1687       
1688                ALTERNATIVE_MULTIPART = False
1689
1690                for part in msg.walk():
1691                        if self.DEBUG:
1692                                print 'TD: Message part: Main-Type: %s' % part.get_content_maintype()
1693                                print 'TD: Message part: Content-Type: %s' % part.get_content_type()
1694
1695                        ## Check content type
1696                        #
1697                        if part.get_content_type() in self.STRIP_CONTENT_TYPES:
1698
1699                                if self.DEBUG:
1700                                        print "TD: A %s attachment named '%s' was skipped" %(part.get_content_type(), part.get_filename())
1701
1702                                continue
1703
1704                        ## Catch some mulitpart execptions
1705                        #
1706                        if part.get_content_type() == 'multipart/alternative':
1707                                ALTERNATIVE_MULTIPART = True
1708                                continue
1709
1710                        ## Skip multipart containers
1711                        #
1712                        if part.get_content_maintype() == 'multipart':
1713                                if self.DEBUG:
1714                                        print "TD: Skipping multipart container"
1715                                continue
1716                       
1717                        ## Check if this is an inline part. It's inline if there is co Cont-Disp header, or if there is one and it says "inline"
1718                        #
1719                        inline = self.inline_part(part)
1720
1721                        ## Drop HTML message
1722                        #
1723                        if ALTERNATIVE_MULTIPART and self.DROP_ALTERNATIVE_HTML_VERSION:
1724                                if part.get_content_type() == 'text/html':
1725                                        if self.DEBUG:
1726                                                print "TD: Skipping alternative HTML message"
1727
1728                                        ALTERNATIVE_MULTIPART = False
1729                                        continue
1730
1731                        ## Inline text parts are where the body is
1732                        #
1733                        if part.get_content_type() == 'text/plain' and inline:
1734                                if self.DEBUG:
1735                                        print 'TD:               Inline body part'
1736
1737                                # Try to decode, if fails then do not decode
1738                                #
1739                                body_text = part.get_payload(decode=1)
1740                                if not body_text:                       
1741                                        body_text = part.get_payload(decode=0)
1742
1743                                format = email.Utils.collapse_rfc2231_value(part.get_param('Format', 'fixed')).lower()
1744                                delsp = email.Utils.collapse_rfc2231_value(part.get_param('DelSp', 'no')).lower()
1745
1746                                if self.REFLOW and not self.VERBATIM_FORMAT and format == 'flowed':
1747                                        body_text = self.reflow(body_text, delsp == 'yes')
1748       
1749                                if self.STRIP_SIGNATURE:
1750                                        body_text = self.strip_signature(body_text)
1751
1752                                if self.STRIP_QUOTES:
1753                                        body_text = self.strip_quotes(body_text)
1754
1755                                if self.INLINE_PROPERTIES:
1756                                        body_text = self.inline_properties(body_text)
1757
1758                                if self.USE_TEXTWRAP:
1759                                        body_text = self.wrap_text(body_text)
1760
1761                                ## Get contents charset (iso-8859-15 if not defined in mail headers)
1762                                #
1763                                charset = part.get_content_charset()
1764                                if not charset:
1765                                        charset = 'iso-8859-15'
1766
1767                                try:
1768                                        ubody_text = unicode(body_text, charset)
1769
1770                                except UnicodeError, detail:
1771                                        ubody_text = unicode(body_text, 'iso-8859-15')
1772
1773                                except LookupError, detail:
1774                                        ubody_text = 'ERROR: Could not find charset: %s, please install' %(charset)
1775
1776                                if self.VERBATIM_FORMAT:
1777                                        message_parts.append('{{{\r\n%s\r\n}}}' %ubody_text)
1778                                else:
1779                                        message_parts.append('%s' %ubody_text)
1780                        else:
1781                                if self.DEBUG:
1782                                        s = 'TD:               Filename: %s' % part.get_filename()
1783                                        self.print_unicode(s)
1784
1785                                ##
1786                                #  First try to use email header function to convert filename.
1787                                #  If this fails the use the plan filename
1788                                try:
1789                                        filename = self.email_to_unicode(part.get_filename())
1790                                except UnicodeEncodeError, detail:
1791                                        filename = part.get_filename()
1792
1793                                message_parts.append((filename, part))
1794
1795                return message_parts
1796               
1797        def unique_attachment_names(self, message_parts):
1798                """
1799                """
1800                renamed_parts = []
1801                attachment_names = set()
1802
1803                for item in message_parts:
1804                       
1805                        ## If not an attachment, leave it alone
1806                        #
1807                        if not isinstance(item, tuple):
1808                                renamed_parts.append(item)
1809                                continue
1810                               
1811                        (filename, part) = item
1812
1813                        ## If no filename, use a default one
1814                        #
1815                        if not filename:
1816                                filename = 'untitled-part'
1817
1818                                # Guess the extension from the content type, use non strict mode
1819                                # some additional non-standard but commonly used MIME types
1820                                # are also recognized
1821                                #
1822                                ext = mimetypes.guess_extension(part.get_content_type(), False)
1823                                if not ext:
1824                                        ext = '.bin'
1825
1826                                filename = '%s%s' % (filename, ext)
1827
1828                        ## Discard relative paths for windows/unix in attachment names
1829                        #
1830                        #filename = filename.replace('\\', '/').replace(':', '/')
1831                        filename = filename.replace('\\', '_')
1832                        filename = filename.replace('/', '_')
1833
1834                        #
1835                        # We try to normalize the filename to utf-8 NFC if we can.
1836                        # Files uploaded from OS X might be in NFD.
1837                        # Check python version and then try it
1838                        #
1839                        #if sys.version_info[0] > 2 or (sys.version_info[0] == 2 and sys.version_info[1] >= 3):
1840                        #       try:
1841                        #               filename = unicodedata.normalize('NFC', unicode(filename, 'utf-8')).encode('utf-8') 
1842                        #       except TypeError:
1843                        #               pass
1844
1845                        # Make the filename unique for this ticket
1846                        num = 0
1847                        unique_filename = filename
1848                        dummy_filename, ext = os.path.splitext(filename)
1849
1850                        while (unique_filename in attachment_names) or self.attachment_exists(unique_filename):
1851                                num += 1
1852                                unique_filename = "%s-%s%s" % (dummy_filename, num, ext)
1853                               
1854                        if self.DEBUG:
1855                                s = 'TD: Attachment with filename %s will be saved as %s' % (filename, unique_filename)
1856                                self.print_unicode(s)
1857
1858                        attachment_names.add(unique_filename)
1859
1860                        renamed_parts.append((filename, unique_filename, part))
1861       
1862                return renamed_parts
1863                       
1864                       
1865        def attachment_exists(self, filename):
1866
1867                if self.DEBUG:
1868                        s = 'TD: attachment already exists: Id : %s, Filename : %s' %(self.id, filename)
1869                        self.print_unicode(s)
1870
1871                # We have no valid ticket id
1872                #
1873                if not self.id:
1874                        return False
1875
1876                try:
1877                        if self.system == 'discussion':
1878                                att = attachment.Attachment(self.env, 'discussion', 'ticket/%s'
1879                                  % (self.id,), filename)
1880                        else:
1881                                att = attachment.Attachment(self.env, 'ticket', self.id,
1882                                  filename)
1883                        return True
1884                except attachment.ResourceNotFound:
1885                        return False
1886
1887########## TRAC Ticket Text ###########################################################
1888                       
1889        def body_text(self, message_parts):
1890                body_text = []
1891               
1892                for part in message_parts:
1893                        # Plain text part, append it
1894                        if not isinstance(part, tuple):
1895                                body_text.extend(part.strip().splitlines())
1896                                body_text.append("")
1897                                continue
1898                               
1899                        (original, filename, part) = part
1900                        inline = self.inline_part(part)
1901                       
1902                        if part.get_content_maintype() == 'image' and inline:
1903                                if self.system != 'discussion':
1904                                        body_text.append('[[Image(%s)]]' % filename)
1905                                body_text.append("")
1906                        else:
1907                                if self.system != 'discussion':
1908                                        body_text.append('[attachment:"%s"]' % filename)
1909                                body_text.append("")
1910                               
1911                body_text = '\r\n'.join(body_text)
1912                return body_text
1913
1914        def html_mailto_link(self, subject):
1915                """
1916                This function returns a HTML mailto tag with the ticket id and author email address
1917                """
1918                if not self.author:
1919                        author = self.email_addr
1920                else:   
1921                        author = self.author
1922
1923                # use urllib to escape the chars
1924                #
1925                s = 'mailto:%s?Subject=%s&Cc=%s' %(
1926                       urllib.quote(self.email_addr),
1927                           urllib.quote('Re: #%s: %s' %(self.id, subject)),
1928                           urllib.quote(self.MAILTO_CC)
1929                           )
1930
1931                s = '\r\n{{{\r\n#!html\r\n<a\r\n href="%s">Reply to: %s\r\n</a>\r\n}}}\r\n' %(s, author)
1932                return s
1933
1934########## TRAC notify section ###########################################################
1935
1936        def notify(self, tkt, new=True, modtime=0):
1937                """
1938                A wrapper for the TRAC notify function. So we can use templates
1939                """
1940                if self.DRY_RUN:
1941                                print 'DRY_RUN: self.notify(tkt, True) reporter = %s' %tkt['reporter']
1942                                return
1943                try:
1944                        # create false {abs_}href properties, to trick Notify()
1945                        #
1946                        if not (self.VERSION in [0.11, 0.12]):
1947                                self.env.abs_href = Href(self.get_config('project', 'url'))
1948                                self.env.href = Href(self.get_config('project', 'url'))
1949
1950                        tn = TicketNotifyEmail(self.env)
1951
1952                        if self.notify_template:
1953
1954                                if self.VERSION >= 0.11:
1955
1956                                        from trac.web.chrome import Chrome
1957
1958                                        if self.notify_template_update and not new:
1959                                                tn.template_name = self.notify_template_update
1960                                        else:
1961                                                tn.template_name = self.notify_template
1962
1963                                        tn.template = Chrome(tn.env).load_template(tn.template_name, method='text')
1964                                               
1965                                else:
1966
1967                                        tn.template_name = self.notify_template;
1968
1969                        tn.notify(tkt, new, modtime)
1970
1971                except Exception, e:
1972                        print 'TD: Failure sending notification on creation of ticket #%s: %s' %(self.id, e)
1973
1974
1975
1976########## Parse Config File  ###########################################################
1977
1978def ReadConfig(file, name):
1979        """
1980        Parse the config file
1981        """
1982        if not os.path.isfile(file):
1983                print 'File %s does not exist' %file
1984                sys.exit(1)
1985
1986        config = trac_config.Configuration(file)
1987
1988        # Use given project name else use defaults
1989        #
1990        if name:
1991                sections = config.sections()
1992                if not name in sections:
1993                        print "Not a valid project name: %s" %name
1994                        print "Valid names: %s" %sections
1995                        sys.exit(1)
1996
1997                project =  dict()
1998                for option, value in  config.options(name):
1999                        project[option] = value
2000
2001        else:
2002                # use some trac internals to get the defaults
2003                #
2004                project = config.parser.defaults()
2005
2006        return project
2007
2008
2009if __name__ == '__main__':
2010        # Default config file
2011        #
2012        configfile = '@email2trac_conf@'
2013        project = ''
2014        component = ''
2015        ticket_prefix = 'default'
2016        dry_run = None
2017        verbose = None
2018
2019        ENABLE_SYSLOG = 0
2020
2021        SHORT_OPT = 'chf:np:t:v'
2022        LONG_OPT  =  ['component=', 'dry-run', 'help', 'file=', 'project=', 'ticket_prefix=', 'verbose']
2023
2024        try:
2025                opts, args = getopt.getopt(sys.argv[1:], SHORT_OPT, LONG_OPT)
2026        except getopt.error,detail:
2027                print __doc__
2028                print detail
2029                sys.exit(1)
2030       
2031        project_name = None
2032        for opt,value in opts:
2033                if opt in [ '-h', '--help']:
2034                        print __doc__
2035                        sys.exit(0)
2036                elif opt in ['-c', '--component']:
2037                        component = value
2038                elif opt in ['-f', '--file']:
2039                        configfile = value
2040                elif opt in ['-n', '--dry-run']:
2041                        dry_run = True
2042                elif opt in ['-p', '--project']:
2043                        project_name = value
2044                elif opt in ['-t', '--ticket_prefix']:
2045                        ticket_prefix = value
2046                elif opt in ['-v', '--verbose']:
2047                        verbose = True
2048       
2049        settings = ReadConfig(configfile, project_name)
2050        if not settings.has_key('project'):
2051                print __doc__
2052                print 'No Trac project is defined in the email2trac config file.'
2053                sys.exit(1)
2054       
2055        if component:
2056                settings['component'] = component
2057
2058        # The default prefix for ticket values in email2trac.conf
2059        #
2060        settings['ticket_prefix'] = ticket_prefix
2061        settings['dry_run'] = dry_run
2062        settings['verbose'] = verbose
2063
2064
2065        # Determine major trac version used to be in email2trac.conf
2066        # Quick hack for 0.12
2067        #
2068        version = '0.%s' %(trac_version.split('.')[1])
2069        if version.startswith('0.12'):
2070                version = '0.12'
2071
2072        if verbose:
2073                print "Found trac version: %s" %(version)
2074       
2075        #debug HvB
2076        #print settings
2077
2078        try:
2079                if version == '0.9':
2080                        from trac import attachment
2081                        from trac.env import Environment
2082                        from trac.ticket import Ticket
2083                        from trac.web.href import Href
2084                        from trac import util
2085                        from trac.Notify import TicketNotifyEmail
2086                elif version == '0.10':
2087                        from trac import attachment
2088                        from trac.env import Environment
2089                        from trac.ticket import Ticket
2090                        from trac.web.href import Href
2091                        from trac import util
2092                        #
2093                        # return  util.text.to_unicode(str)
2094                        #
2095                        # see http://projects.edgewall.com/trac/changeset/2799
2096                        from trac.ticket.notification import TicketNotifyEmail
2097                        from trac import config as trac_config
2098                        from trac.core import TracError
2099
2100                elif version == '0.11':
2101                        from trac import attachment
2102                        from trac.env import Environment
2103                        from trac.ticket import Ticket
2104                        from trac.web.href import Href
2105                        from trac import config as trac_config
2106                        from trac import util
2107                        from trac.core import TracError
2108
2109                        #
2110                        # return  util.text.to_unicode(str)
2111                        #
2112                        # see http://projects.edgewall.com/trac/changeset/2799
2113                        from trac.ticket.notification import TicketNotifyEmail
2114
2115                elif version == '0.12':
2116                        from trac import attachment
2117                        from trac.env import Environment
2118                        from trac.ticket import Ticket
2119                        from trac.web.href import Href
2120                        from trac import config as trac_config
2121                        from trac import util
2122                        from trac.core import TracError
2123
2124                        #
2125                        # return  util.text.to_unicode(str)
2126                        #
2127                        # see http://projects.edgewall.com/trac/changeset/2799
2128                        from trac.ticket.notification import TicketNotifyEmail
2129
2130
2131                else:
2132                        print 'TRAC version %s is not supported' %version
2133                        sys.exit(1)
2134                       
2135                if settings.has_key('enable_syslog'):
2136                        if SYSLOG_AVAILABLE:
2137                                ENABLE_SYSLOG =  float(settings['enable_syslog'])
2138
2139
2140                # Must be set before environment is created
2141                #
2142                if settings.has_key('python_egg_cache'):
2143                        python_egg_cache = str(settings['python_egg_cache'])
2144                        os.environ['PYTHON_EGG_CACHE'] = python_egg_cache
2145
2146       
2147                if int(settings['debug']) > 0:
2148                        print 'Loading environment', settings['project']
2149
2150                env = Environment(settings['project'], create=0)
2151
2152                tktparser = TicketEmailParser(env, settings, float(version))
2153                tktparser.parse(sys.stdin)
2154
2155        # Catch all errors ans log to SYSLOG if we have enabled this
2156        # else stdout
2157        #
2158        except Exception, error:
2159                if ENABLE_SYSLOG:
2160                        syslog.openlog('email2trac', syslog.LOG_NOWAIT)
2161
2162                        etype, evalue, etb = sys.exc_info()
2163                        for e in traceback.format_exception(etype, evalue, etb):
2164                                syslog.syslog(e)
2165
2166                        syslog.closelog()
2167                else:
2168                        traceback.print_exc()
2169
2170                if m:
2171                        tktparser.save_email_for_debug(m, True)
2172
2173
2174                sys.exit(1)
2175# EOB
Note: See TracBrowser for help on using the repository browser.