/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to effbot/org/http_manager.py

  • Committer: Martin Pool
  • Date: 2005-06-28 03:02:31 UTC
  • Revision ID: mbp@sourcefrog.net-20050628030231-d311e4ebcd467ef4
Merge John's import-speedup branch:

                                                                                         
  777 John Arbash Meinel <john@arbash-meinel.com>       Sun 2005-06-26 22:20:32 -0500
      revision-id: john@arbash-meinel.com-20050627032031-e82a50db3863b18e
      bzr selftest was not using the correct bzr

  776 John Arbash Meinel <john@arbash-meinel.com>       Sun 2005-06-26 22:20:22 -0500
      revision-id: john@arbash-meinel.com-20050627032021-c9f21fde989ddaee
      Add was using an old mutter

  775 John Arbash Meinel <john@arbash-meinel.com>       Sun 2005-06-26 22:02:33 -0500
      revision-id: john@arbash-meinel.com-20050627030233-9165cfe98fc63298
      Cleaned up to be less different

  774 John Arbash Meinel <john@arbash-meinel.com>       Sun 2005-06-26 21:54:53 -0500
      revision-id: john@arbash-meinel.com-20050627025452-4260d0e744edef43
      Allow BZR_PLUGIN_PATH='' to negate plugin loading.

  773 John Arbash Meinel <john@arbash-meinel.com>       Sun 2005-06-26 21:49:34 -0500
      revision-id: john@arbash-meinel.com-20050627024933-b7158f67b7b9eae5
      Finished the previous cleanup (allowing load_plugins to be called twice)

  772 John Arbash Meinel <john@arbash-meinel.com>       Sun 2005-06-26 21:45:08 -0500
      revision-id: john@arbash-meinel.com-20050627024508-723b1df510d196fc
      Work on making the tests pass. versioning.py is calling run_cmd directly, but plugins have been loaded.

  771 John Arbash Meinel <john@arbash-meinel.com>       Sun 2005-06-26 21:32:29 -0500
      revision-id: john@arbash-meinel.com-20050627023228-79972744d7c53e15
      Got it down a little bit more by removing import of tree and inventory.

  770 John Arbash Meinel <john@arbash-meinel.com>       Sun 2005-06-26 21:26:05 -0500
      revision-id: john@arbash-meinel.com-20050627022604-350b9773ef622f95
      Reducing the number of import from bzrlib/__init__.py and bzrlib/branch.py

  769 John Arbash Meinel <john@arbash-meinel.com>       Sun 2005-06-26 20:32:25 -0500
      revision-id: john@arbash-meinel.com-20050627013225-32dd044f10d23948
      Updated revision.py and xml.py to include SubElement.

  768 John Arbash Meinel <john@arbash-meinel.com>       Sun 2005-06-26 20:03:56 -0500
      revision-id: john@arbash-meinel.com-20050627010356-ee66919e1c377faf
      Minor typo

  767 John Arbash Meinel <john@arbash-meinel.com>       Sun 2005-06-26 20:03:13 -0500
      revision-id: john@arbash-meinel.com-20050627010312-40d024007eb85051
      Caching the import

  766 John Arbash Meinel <john@arbash-meinel.com>       Sun 2005-06-26 19:51:47 -0500
      revision-id: john@arbash-meinel.com-20050627005147-5281c99e48ed1834
      Created wrapper functions for lazy import of ElementTree

  765 John Arbash Meinel <john@arbash-meinel.com>       Sun 2005-06-26 19:46:37 -0500
      revision-id: john@arbash-meinel.com-20050627004636-bf432902004a94c5
      Removed all of the test imports of cElementTree

  764 John Arbash Meinel <john@arbash-meinel.com>       Sun 2005-06-26 19:43:59 -0500
      revision-id: john@arbash-meinel.com-20050627004358-d137fbe9570dd71b
      Trying to make bzr startup faster.

Show diffs side-by-side

added added

removed removed

Lines of Context:
effbot/org/http_manager.py
 
1
# $Id: http_manager.py 270 2004-10-09 10:38:54Z fredrik $
 
2
# effnews http
 
3
#
 
4
# manage a set of http clients
 
5
#
 
6
# Copyright (c) 2001-2004 by Fredrik Lundh.  All rights reserved.
 
7
#
 
8
 
 
9
import asyncore, time
 
10
import http_client
 
11
 
 
12
class http_manager:
 
13
 
 
14
    max_connections = 8
 
15
    max_size = 1000000
 
16
    max_time = 60
 
17
 
 
18
    def __init__(self):
 
19
        self.queue = []
 
20
 
 
21
    def request(self, uri, consumer, extra_headers=None):
 
22
        self.queue.append((uri, consumer, extra_headers))
 
23
 
 
24
    def priority_request(self, uri, consumer, extra_headers=None):
 
25
        self.queue.insert(0, (uri, consumer, extra_headers))
 
26
 
 
27
    def purge(self):
 
28
        for channel in asyncore.socket_map.values():
 
29
            channel.close()
 
30
        del self.queue[:]
 
31
 
 
32
    def prioritize(self, priority_uri):
 
33
        i = 0
 
34
        for uri, consumer, extra_headers in self.queue:
 
35
            if uri == priority_uri:
 
36
                del self.queue[i]
 
37
                self.priority_request(uri, consumer, extra_headers)
 
38
                return
 
39
            i = i + 1
 
40
 
 
41
    def poll(self, timeout=0.1):
 
42
        # sanity checks
 
43
        now = time.time()
 
44
        for channel in asyncore.socket_map.values():
 
45
            if channel.bytes_in > self.max_size:
 
46
                channel.close() # too much data
 
47
                try:
 
48
                    channel.consumer.http(
 
49
                        0, channel, ("HTTPManager", "too much data", None)
 
50
                        )
 
51
                except:
 
52
                    pass
 
53
            if channel.timestamp and now - channel.timestamp > self.max_time:
 
54
                channel.close() # too slow
 
55
                try:
 
56
                    channel.consumer.http(
 
57
                        0, channel, ("HTTPManager", "timeout", None)
 
58
                        )
 
59
                except:
 
60
                    pass
 
61
        # activate up to max_connections channels
 
62
        while self.queue and len(asyncore.socket_map) < self.max_connections:
 
63
            http_client.do_request(*self.queue.pop(0))
 
64
        # keep the network running
 
65
        asyncore.poll(timeout)
 
66
        # return non-zero if we should keep on polling
 
67
        return len(self.queue) or len(asyncore.socket_map)