/brz/remove-bazaar

To get this branch, use:
bzr branch http://gegoxaren.bato24.eu/bzr/brz/remove-bazaar

« back to all changes in this revision

Viewing changes to bzrlib/dirstate.py

  • Committer: Andrew Bennetts
  • Date: 2010-01-12 03:53:21 UTC
  • mfrom: (4948 +trunk)
  • mto: This revision was merged to the branch mainline in revision 4964.
  • Revision ID: andrew.bennetts@canonical.com-20100112035321-hofpz5p10224ryj3
Merge lp:bzr, resolving conflicts.

Show diffs side-by-side

added added

removed removed

Lines of Context:
12
12
#
13
13
# You should have received a copy of the GNU General Public License
14
14
# along with this program; if not, write to the Free Software
15
 
# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
15
# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
16
16
 
17
17
"""DirState objects record the state of a directory and its bzr metadata.
18
18
 
82
82
'a' is an absent entry: In that tree the id is not present at this path.
83
83
'd' is a directory entry: This path in this tree is a directory with the
84
84
    current file id. There is no fingerprint for directories.
85
 
'f' is a file entry: As for directory, but its a file. The fingerprint is a
86
 
    sha1 value.
 
85
'f' is a file entry: As for directory, but it's a file. The fingerprint is the
 
86
    sha1 value of the file's canonical form, i.e. after any read filters have
 
87
    been applied to the convenience form stored in the working tree.
87
88
'l' is a symlink entry: As for directory, but a symlink. The fingerprint is the
88
89
    link target.
89
90
't' is a reference to a nested subtree; the fingerprint is the referenced
99
100
 
100
101
--- Format 1 had the following different definition: ---
101
102
rows = dirname, NULL, basename, NULL, MINIKIND, NULL, fileid_utf8, NULL,
102
 
    WHOLE NUMBER (* size *), NULL, packed stat, NULL, sha1|symlink target, 
 
103
    WHOLE NUMBER (* size *), NULL, packed stat, NULL, sha1|symlink target,
103
104
    {PARENT ROW}
104
105
PARENT ROW = NULL, revision_utf8, NULL, MINIKIND, NULL, dirname, NULL,
105
106
    basename, NULL, WHOLE NUMBER (* size *), NULL, "y" | "n", NULL,
130
131
operations for the less common but still occurs a lot status/diff/commit
131
132
on specific files). Operations on specific files involve a scan for all
132
133
the children of a path, *in every involved tree*, which the current
133
 
format did not accommodate. 
 
134
format did not accommodate.
134
135
----
135
136
 
136
137
Design priorities:
148
149
 
149
150
Memory representation:
150
151
 vector of all directories, and vector of the childen ?
151
 
   i.e. 
152
 
     root_entrie = (direntry for root, [parent_direntries_for_root]), 
 
152
   i.e.
 
153
     root_entrie = (direntry for root, [parent_direntries_for_root]),
153
154
     dirblocks = [
154
155
     ('', ['data for achild', 'data for bchild', 'data for cchild'])
155
156
     ('dir', ['achild', 'cchild', 'echild'])
158
159
    - in-order for serialisation - this is 'dirblock' grouping.
159
160
    - insertion of a file '/a' affects only the '/' child-vector, that is, to
160
161
      insert 10K elements from scratch does not generates O(N^2) memoves of a
161
 
      single vector, rather each individual, which tends to be limited to a 
162
 
      manageable number. Will scale badly on trees with 10K entries in a 
 
162
      single vector, rather each individual, which tends to be limited to a
 
163
      manageable number. Will scale badly on trees with 10K entries in a
163
164
      single directory. compare with Inventory.InventoryDirectory which has
164
165
      a dictionary for the children. No bisect capability, can only probe for
165
166
      exact matches, or grab all elements and sort.
166
167
    - What's the risk of error here? Once we have the base format being processed
167
 
      we should have a net win regardless of optimality. So we are going to 
 
168
      we should have a net win regardless of optimality. So we are going to
168
169
      go with what seems reasonable.
169
170
open questions:
170
171
 
186
187
the file on disk, and then immediately discard, the overhead of object creation
187
188
becomes a significant cost.
188
189
 
189
 
Figures: Creating a tuple from from 3 elements was profiled at 0.0625
 
190
Figures: Creating a tuple from 3 elements was profiled at 0.0625
190
191
microseconds, whereas creating a object which is subclassed from tuple was
191
192
0.500 microseconds, and creating an object with 3 elements and slots was 3
192
193
microseconds long. 0.1 milliseconds is 100 microseconds, and ideally we'll get
203
204
import bisect
204
205
import binascii
205
206
import errno
 
207
import operator
206
208
import os
207
209
from stat import S_IEXEC
208
210
import stat
262
264
        # return '%X.%X' % (int(st.st_mtime), st.st_mode)
263
265
 
264
266
 
 
267
class SHA1Provider(object):
 
268
    """An interface for getting sha1s of a file."""
 
269
 
 
270
    def sha1(self, abspath):
 
271
        """Return the sha1 of a file given its absolute path.
 
272
 
 
273
        :param abspath:  May be a filesystem encoded absolute path
 
274
             or a unicode path.
 
275
        """
 
276
        raise NotImplementedError(self.sha1)
 
277
 
 
278
    def stat_and_sha1(self, abspath):
 
279
        """Return the stat and sha1 of a file given its absolute path.
 
280
        
 
281
        :param abspath:  May be a filesystem encoded absolute path
 
282
             or a unicode path.
 
283
 
 
284
        Note: the stat should be the stat of the physical file
 
285
        while the sha may be the sha of its canonical content.
 
286
        """
 
287
        raise NotImplementedError(self.stat_and_sha1)
 
288
 
 
289
 
 
290
class DefaultSHA1Provider(SHA1Provider):
 
291
    """A SHA1Provider that reads directly from the filesystem."""
 
292
 
 
293
    def sha1(self, abspath):
 
294
        """Return the sha1 of a file given its absolute path."""
 
295
        return osutils.sha_file_by_name(abspath)
 
296
 
 
297
    def stat_and_sha1(self, abspath):
 
298
        """Return the stat and sha1 of a file given its absolute path."""
 
299
        file_obj = file(abspath, 'rb')
 
300
        try:
 
301
            statvalue = os.fstat(file_obj.fileno())
 
302
            sha1 = osutils.sha_file(file_obj)
 
303
        finally:
 
304
            file_obj.close()
 
305
        return statvalue, sha1
 
306
 
 
307
 
265
308
class DirState(object):
266
309
    """Record directory and metadata state for fast access.
267
310
 
320
363
    HEADER_FORMAT_2 = '#bazaar dirstate flat format 2\n'
321
364
    HEADER_FORMAT_3 = '#bazaar dirstate flat format 3\n'
322
365
 
323
 
    def __init__(self, path):
 
366
    def __init__(self, path, sha1_provider):
324
367
        """Create a  DirState object.
325
368
 
326
369
        :param path: The path at which the dirstate file on disk should live.
 
370
        :param sha1_provider: an object meeting the SHA1Provider interface.
327
371
        """
328
372
        # _header_state and _dirblock_state represent the current state
329
373
        # of the dirstate metadata and the per-row data respectiely.
331
375
        # IN_MEMORY_UNMODIFIED indicates that what we have in memory
332
376
        #   is the same as is on disk
333
377
        # IN_MEMORY_MODIFIED indicates that we have a modified version
334
 
        #   of what is on disk. 
 
378
        #   of what is on disk.
335
379
        # In future we will add more granularity, for instance _dirblock_state
336
380
        # will probably support partially-in-memory as a separate variable,
337
381
        # allowing for partially-in-memory unmodified and partially-in-memory
338
382
        # modified states.
339
383
        self._header_state = DirState.NOT_IN_MEMORY
340
384
        self._dirblock_state = DirState.NOT_IN_MEMORY
341
 
        # If true, an error has been detected while updating the dirstate, and 
 
385
        # If true, an error has been detected while updating the dirstate, and
342
386
        # for safety we're not going to commit to disk.
343
387
        self._changes_aborted = False
344
388
        self._dirblocks = []
355
399
        self._cutoff_time = None
356
400
        self._split_path_cache = {}
357
401
        self._bisect_page_size = DirState.BISECT_PAGE_SIZE
 
402
        self._sha1_provider = sha1_provider
358
403
        if 'hashcache' in debug.debug_flags:
359
404
            self._sha1_file = self._sha1_file_and_mutter
360
405
        else:
361
 
            self._sha1_file = osutils.sha_file_by_name
 
406
            self._sha1_file = self._sha1_provider.sha1
362
407
        # These two attributes provide a simple cache for lookups into the
363
408
        # dirstate in-memory vectors. By probing respectively for the last
364
409
        # block, and for the next entry, we save nearly 2 bisections per path
374
419
        """Add a path to be tracked.
375
420
 
376
421
        :param path: The path within the dirstate - '' is the root, 'foo' is the
377
 
            path foo within the root, 'foo/bar' is the path bar within foo 
 
422
            path foo within the root, 'foo/bar' is the path bar within foo
378
423
            within the root.
379
424
        :param file_id: The file id of the path being added.
380
 
        :param kind: The kind of the path, as a string like 'file', 
 
425
        :param kind: The kind of the path, as a string like 'file',
381
426
            'directory', etc.
382
427
        :param stat: The output of os.lstat for the path.
383
 
        :param fingerprint: The sha value of the file,
 
428
        :param fingerprint: The sha value of the file's canonical form (i.e.
 
429
            after any read filters have been applied),
384
430
            or the target of a symlink,
385
431
            or the referenced revision id for tree-references,
386
432
            or '' for directories.
387
433
        """
388
434
        # adding a file:
389
 
        # find the block its in. 
 
435
        # find the block its in.
390
436
        # find the location in the block.
391
437
        # check its not there
392
438
        # add it.
405
451
        # in the parent, or according to the special treatment for the root
406
452
        if basename == '.' or basename == '..':
407
453
            raise errors.InvalidEntryName(path)
408
 
        # now that we've normalised, we need the correct utf8 path and 
 
454
        # now that we've normalised, we need the correct utf8 path and
409
455
        # dirname and basename elements. This single encode and split should be
410
456
        # faster than three separate encodes.
411
457
        utf8path = (dirname + '/' + basename).strip('/').encode('utf8')
439
485
            # check the path is not in the tree
440
486
            block = self._dirblocks[block_index][1]
441
487
            entry_index, _ = self._find_entry_index(first_key, block)
442
 
            while (entry_index < len(block) and 
 
488
            while (entry_index < len(block) and
443
489
                block[entry_index][0][0:2] == first_key[0:2]):
444
490
                if block[entry_index][1][0][0] not in 'ar':
445
491
                    # this path is in the dirstate in the current tree.
935
981
 
936
982
    def _discard_merge_parents(self):
937
983
        """Discard any parents trees beyond the first.
938
 
        
 
984
 
939
985
        Note that if this fails the dirstate is corrupted.
940
986
 
941
987
        After this function returns the dirstate contains 2 trees, neither of
1011
1057
                raise AssertionError("bad dirname %r" % dirname)
1012
1058
        block_index, present = self._find_block_index_from_key((dirname, '', ''))
1013
1059
        if not present:
1014
 
            ## In future, when doing partial parsing, this should load and 
 
1060
            ## In future, when doing partial parsing, this should load and
1015
1061
            # populate the entire block.
1016
1062
            self._dirblocks.insert(block_index, (dirname, []))
1017
1063
        return block_index
1029
1075
        if new_entries[0][0][0:2] != ('', ''):
1030
1076
            raise AssertionError(
1031
1077
                "Missing root row %r" % (new_entries[0][0],))
1032
 
        # The two blocks here are deliberate: the root block and the 
 
1078
        # The two blocks here are deliberate: the root block and the
1033
1079
        # contents-of-root block.
1034
1080
        self._dirblocks = [('', []), ('', [])]
1035
1081
        current_block = self._dirblocks[0][1]
1159
1205
        # one to use it. we use _right here because there are two
1160
1206
        # '' blocks - the root, and the contents of root
1161
1207
        # we always have a minimum of 2 in self._dirblocks: root and
1162
 
        # root-contents, and for '', we get 2 back, so this is 
 
1208
        # root-contents, and for '', we get 2 back, so this is
1163
1209
        # simple and correct:
1164
1210
        present = (block_index < len(self._dirblocks) and
1165
1211
            self._dirblocks[block_index][0] == key[0])
1194
1240
        return entry_index, present
1195
1241
 
1196
1242
    @staticmethod
1197
 
    def from_tree(tree, dir_state_filename):
 
1243
    def from_tree(tree, dir_state_filename, sha1_provider=None):
1198
1244
        """Create a dirstate from a bzr Tree.
1199
1245
 
1200
1246
        :param tree: The tree which should provide parent information and
1201
1247
            inventory ids.
 
1248
        :param sha1_provider: an object meeting the SHA1Provider interface.
 
1249
            If None, a DefaultSHA1Provider is used.
1202
1250
        :return: a DirState object which is currently locked for writing.
1203
1251
            (it was locked by DirState.initialize)
1204
1252
        """
1205
 
        result = DirState.initialize(dir_state_filename)
 
1253
        result = DirState.initialize(dir_state_filename,
 
1254
            sha1_provider=sha1_provider)
1206
1255
        try:
1207
1256
            tree.lock_read()
1208
1257
            try:
1229
1278
    def update_by_delta(self, delta):
1230
1279
        """Apply an inventory delta to the dirstate for tree 0
1231
1280
 
 
1281
        This is the workhorse for apply_inventory_delta in dirstate based
 
1282
        trees.
 
1283
 
1232
1284
        :param delta: An inventory delta.  See Inventory.apply_delta for
1233
1285
            details.
1234
1286
        """
1235
1287
        self._read_dirblocks_if_needed()
 
1288
        encode = cache_utf8.encode
1236
1289
        insertions = {}
1237
1290
        removals = {}
1238
 
        for old_path, new_path, file_id, inv_entry in sorted(delta, reverse=True):
 
1291
        # Accumulate parent references (path_utf8, id), to check for parentless
 
1292
        # items or items placed under files/links/tree-references. We get
 
1293
        # references from every item in the delta that is not a deletion and
 
1294
        # is not itself the root.
 
1295
        parents = set()
 
1296
        # Added ids must not be in the dirstate already. This set holds those
 
1297
        # ids.
 
1298
        new_ids = set()
 
1299
        # This loop transforms the delta to single atomic operations that can
 
1300
        # be executed and validated.
 
1301
        for old_path, new_path, file_id, inv_entry in sorted(
 
1302
            inventory._check_delta_unique_old_paths(
 
1303
            inventory._check_delta_unique_new_paths(
 
1304
            inventory._check_delta_ids_match_entry(
 
1305
            inventory._check_delta_ids_are_valid(
 
1306
            inventory._check_delta_new_path_entry_both_or_None(delta))))),
 
1307
            reverse=True):
1239
1308
            if (file_id in insertions) or (file_id in removals):
1240
 
                raise AssertionError("repeated file id in delta %r" % (file_id,))
 
1309
                raise errors.InconsistentDelta(old_path or new_path, file_id,
 
1310
                    "repeated file_id")
1241
1311
            if old_path is not None:
1242
1312
                old_path = old_path.encode('utf-8')
1243
1313
                removals[file_id] = old_path
 
1314
            else:
 
1315
                new_ids.add(file_id)
1244
1316
            if new_path is not None:
 
1317
                if inv_entry is None:
 
1318
                    raise errors.InconsistentDelta(new_path, file_id,
 
1319
                        "new_path with no entry")
1245
1320
                new_path = new_path.encode('utf-8')
1246
 
                dirname, basename = osutils.split(new_path)
1247
 
                key = (dirname, basename, file_id)
 
1321
                dirname_utf8, basename = osutils.split(new_path)
 
1322
                if basename:
 
1323
                    parents.add((dirname_utf8, inv_entry.parent_id))
 
1324
                key = (dirname_utf8, basename, file_id)
1248
1325
                minikind = DirState._kind_to_minikind[inv_entry.kind]
1249
1326
                if minikind == 't':
1250
 
                    fingerprint = inv_entry.reference_revision
 
1327
                    fingerprint = inv_entry.reference_revision or ''
1251
1328
                else:
1252
1329
                    fingerprint = ''
1253
1330
                insertions[file_id] = (key, minikind, inv_entry.executable,
1262
1339
                    minikind = child[1][0][0]
1263
1340
                    fingerprint = child[1][0][4]
1264
1341
                    executable = child[1][0][3]
1265
 
                    old_child_path = osutils.pathjoin(child[0][0],
1266
 
                                                      child[0][1])
 
1342
                    old_child_path = osutils.pathjoin(child_dirname,
 
1343
                                                      child_basename)
1267
1344
                    removals[child[0][2]] = old_child_path
1268
1345
                    child_suffix = child_dirname[len(old_path):]
1269
1346
                    new_child_dirname = (new_path + child_suffix)
1270
1347
                    key = (new_child_dirname, child_basename, child[0][2])
1271
 
                    new_child_path = os.path.join(new_child_dirname,
1272
 
                                                  child_basename)
 
1348
                    new_child_path = osutils.pathjoin(new_child_dirname,
 
1349
                                                      child_basename)
1273
1350
                    insertions[child[0][2]] = (key, minikind, executable,
1274
1351
                                               fingerprint, new_child_path)
1275
 
        self._apply_removals(removals.values())
1276
 
        self._apply_insertions(insertions.values())
 
1352
        self._check_delta_ids_absent(new_ids, delta, 0)
 
1353
        try:
 
1354
            self._apply_removals(removals.iteritems())
 
1355
            self._apply_insertions(insertions.values())
 
1356
            # Validate parents
 
1357
            self._after_delta_check_parents(parents, 0)
 
1358
        except errors.BzrError, e:
 
1359
            self._changes_aborted = True
 
1360
            if 'integrity error' not in str(e):
 
1361
                raise
 
1362
            # _get_entry raises BzrError when a request is inconsistent; we
 
1363
            # want such errors to be shown as InconsistentDelta - and that 
 
1364
            # fits the behaviour we trigger.
 
1365
            raise errors.InconsistentDeltaDelta(delta, "error from _get_entry.")
1277
1366
 
1278
1367
    def _apply_removals(self, removals):
1279
 
        for path in sorted(removals, reverse=True):
 
1368
        for file_id, path in sorted(removals, reverse=True,
 
1369
            key=operator.itemgetter(1)):
1280
1370
            dirname, basename = osutils.split(path)
1281
1371
            block_i, entry_i, d_present, f_present = \
1282
1372
                self._get_block_entry_index(dirname, basename, 0)
1283
 
            entry = self._dirblocks[block_i][1][entry_i]
 
1373
            try:
 
1374
                entry = self._dirblocks[block_i][1][entry_i]
 
1375
            except IndexError:
 
1376
                self._changes_aborted = True
 
1377
                raise errors.InconsistentDelta(path, file_id,
 
1378
                    "Wrong path for old path.")
 
1379
            if not f_present or entry[1][0][0] in 'ar':
 
1380
                self._changes_aborted = True
 
1381
                raise errors.InconsistentDelta(path, file_id,
 
1382
                    "Wrong path for old path.")
 
1383
            if file_id != entry[0][2]:
 
1384
                self._changes_aborted = True
 
1385
                raise errors.InconsistentDelta(path, file_id,
 
1386
                    "Attempt to remove path has wrong id - found %r."
 
1387
                    % entry[0][2])
1284
1388
            self._make_absent(entry)
1285
1389
            # See if we have a malformed delta: deleting a directory must not
1286
1390
            # leave crud behind. This increases the number of bisects needed
1294
1398
                # be due to it being in a parent tree, or a corrupt delta.
1295
1399
                for child_entry in self._dirblocks[block_i][1]:
1296
1400
                    if child_entry[1][0][0] not in ('r', 'a'):
 
1401
                        self._changes_aborted = True
1297
1402
                        raise errors.InconsistentDelta(path, entry[0][2],
1298
1403
                            "The file id was deleted but its children were "
1299
1404
                            "not deleted.")
1300
1405
 
1301
1406
    def _apply_insertions(self, adds):
1302
 
        for key, minikind, executable, fingerprint, path_utf8 in sorted(adds):
1303
 
            self.update_minimal(key, minikind, executable, fingerprint,
1304
 
                                path_utf8=path_utf8)
 
1407
        try:
 
1408
            for key, minikind, executable, fingerprint, path_utf8 in sorted(adds):
 
1409
                self.update_minimal(key, minikind, executable, fingerprint,
 
1410
                                    path_utf8=path_utf8)
 
1411
        except errors.NotVersionedError:
 
1412
            self._changes_aborted = True
 
1413
            raise errors.InconsistentDelta(path_utf8.decode('utf8'), key[2],
 
1414
                "Missing parent")
1305
1415
 
1306
1416
    def update_basis_by_delta(self, delta, new_revid):
1307
1417
        """Update the parents of this tree after a commit.
1351
1461
        # At the same time, to reduce interface friction we convert the input
1352
1462
        # inventory entries to dirstate.
1353
1463
        root_only = ('', '')
 
1464
        # Accumulate parent references (path_utf8, id), to check for parentless
 
1465
        # items or items placed under files/links/tree-references. We get
 
1466
        # references from every item in the delta that is not a deletion and
 
1467
        # is not itself the root.
 
1468
        parents = set()
 
1469
        # Added ids must not be in the dirstate already. This set holds those
 
1470
        # ids.
 
1471
        new_ids = set()
1354
1472
        for old_path, new_path, file_id, inv_entry in delta:
 
1473
            if inv_entry is not None and file_id != inv_entry.file_id:
 
1474
                raise errors.InconsistentDelta(new_path, file_id,
 
1475
                    "mismatched entry file_id %r" % inv_entry)
 
1476
            if new_path is not None:
 
1477
                if inv_entry is None:
 
1478
                    raise errors.InconsistentDelta(new_path, file_id,
 
1479
                        "new_path with no entry")
 
1480
                new_path_utf8 = encode(new_path)
 
1481
                # note the parent for validation
 
1482
                dirname_utf8, basename_utf8 = osutils.split(new_path_utf8)
 
1483
                if basename_utf8:
 
1484
                    parents.add((dirname_utf8, inv_entry.parent_id))
1355
1485
            if old_path is None:
1356
1486
                adds.append((None, encode(new_path), file_id,
1357
1487
                    inv_to_entry(inv_entry), True))
 
1488
                new_ids.add(file_id)
1358
1489
            elif new_path is None:
1359
1490
                deletes.append((encode(old_path), None, file_id, None, True))
1360
1491
            elif (old_path, new_path) != root_only:
1372
1503
                # for 'r' items on every pass.
1373
1504
                self._update_basis_apply_deletes(deletes)
1374
1505
                deletes = []
1375
 
                new_path_utf8 = encode(new_path)
1376
1506
                # Split into an add/delete pair recursively.
1377
1507
                adds.append((None, new_path_utf8, file_id,
1378
1508
                    inv_to_entry(inv_entry), False))
1404
1534
                # of everything.
1405
1535
                changes.append((encode(old_path), encode(new_path), file_id,
1406
1536
                    inv_to_entry(inv_entry)))
1407
 
 
1408
 
        # Finish expunging deletes/first half of renames.
1409
 
        self._update_basis_apply_deletes(deletes)
1410
 
        # Reinstate second half of renames and new paths.
1411
 
        self._update_basis_apply_adds(adds)
1412
 
        # Apply in-situ changes.
1413
 
        self._update_basis_apply_changes(changes)
 
1537
        self._check_delta_ids_absent(new_ids, delta, 1)
 
1538
        try:
 
1539
            # Finish expunging deletes/first half of renames.
 
1540
            self._update_basis_apply_deletes(deletes)
 
1541
            # Reinstate second half of renames and new paths.
 
1542
            self._update_basis_apply_adds(adds)
 
1543
            # Apply in-situ changes.
 
1544
            self._update_basis_apply_changes(changes)
 
1545
            # Validate parents
 
1546
            self._after_delta_check_parents(parents, 1)
 
1547
        except errors.BzrError, e:
 
1548
            self._changes_aborted = True
 
1549
            if 'integrity error' not in str(e):
 
1550
                raise
 
1551
            # _get_entry raises BzrError when a request is inconsistent; we
 
1552
            # want such errors to be shown as InconsistentDelta - and that 
 
1553
            # fits the behaviour we trigger. Partof this is driven by dirstate
 
1554
            # only supporting deltas that turn the basis into a closer fit to
 
1555
            # the active tree.
 
1556
            raise errors.InconsistentDeltaDelta(delta, "error from _get_entry.")
1414
1557
 
1415
1558
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
1416
1559
        self._header_state = DirState.IN_MEMORY_MODIFIED
1417
1560
        self._id_index = None
1418
1561
        return
1419
1562
 
 
1563
    def _check_delta_ids_absent(self, new_ids, delta, tree_index):
 
1564
        """Check that none of the file_ids in new_ids are present in a tree."""
 
1565
        if not new_ids:
 
1566
            return
 
1567
        id_index = self._get_id_index()
 
1568
        for file_id in new_ids:
 
1569
            for key in id_index.get(file_id, []):
 
1570
                block_i, entry_i, d_present, f_present = \
 
1571
                    self._get_block_entry_index(key[0], key[1], tree_index)
 
1572
                if not f_present:
 
1573
                    # In a different tree
 
1574
                    continue
 
1575
                entry = self._dirblocks[block_i][1][entry_i]
 
1576
                if entry[0][2] != file_id:
 
1577
                    # Different file_id, so not what we want.
 
1578
                    continue
 
1579
                # NB: No changes made before this helper is called, so no need
 
1580
                # to set the _changes_aborted flag.
 
1581
                raise errors.InconsistentDelta(
 
1582
                    ("%s/%s" % key[0:2]).decode('utf8'), file_id,
 
1583
                    "This file_id is new in the delta but already present in "
 
1584
                    "the target")
 
1585
 
1420
1586
    def _update_basis_apply_adds(self, adds):
1421
1587
        """Apply a sequence of adds to tree 1 during update_basis_by_delta.
1422
1588
 
1487
1653
        null = DirState.NULL_PARENT_DETAILS
1488
1654
        for old_path, new_path, file_id, _, real_delete in deletes:
1489
1655
            if real_delete != (new_path is None):
 
1656
                self._changes_aborted = True
1490
1657
                raise AssertionError("bad delete delta")
1491
1658
            # the entry for this file_id must be in tree 1.
1492
1659
            dirname, basename = osutils.split(old_path)
1525
1692
                    # it is being resurrected here, so blank it out temporarily.
1526
1693
                    self._dirblocks[block_index][1][entry_index][1][1] = null
1527
1694
 
 
1695
    def _after_delta_check_parents(self, parents, index):
 
1696
        """Check that parents required by the delta are all intact.
 
1697
        
 
1698
        :param parents: An iterable of (path_utf8, file_id) tuples which are
 
1699
            required to be present in tree 'index' at path_utf8 with id file_id
 
1700
            and be a directory.
 
1701
        :param index: The column in the dirstate to check for parents in.
 
1702
        """
 
1703
        for dirname_utf8, file_id in parents:
 
1704
            # Get the entry - the ensures that file_id, dirname_utf8 exists and
 
1705
            # has the right file id.
 
1706
            entry = self._get_entry(index, file_id, dirname_utf8)
 
1707
            if entry[1] is None:
 
1708
                self._changes_aborted = True
 
1709
                raise errors.InconsistentDelta(dirname_utf8.decode('utf8'),
 
1710
                    file_id, "This parent is not present.")
 
1711
            # Parents of things must be directories
 
1712
            if entry[1][index][0] != 'd':
 
1713
                self._changes_aborted = True
 
1714
                raise errors.InconsistentDelta(dirname_utf8.decode('utf8'),
 
1715
                    file_id, "This parent is not a directory.")
 
1716
 
1528
1717
    def _observed_sha1(self, entry, sha1, stat_value,
1529
1718
        _stat_to_minikind=_stat_to_minikind, _pack_stat=pack_stat):
1530
1719
        """Note the sha1 of a file.
1569
1758
        # when -Dhashcache is turned on, this is monkey-patched in to log
1570
1759
        # file reads
1571
1760
        trace.mutter("dirstate sha1 " + abspath)
1572
 
        return osutils.sha_file_by_name(abspath)
 
1761
        return self._sha1_provider.sha1(abspath)
1573
1762
 
1574
1763
    def _is_executable(self, mode, old_executable):
1575
1764
        """Is this file executable?"""
1588
1777
        #       already in memory. However, this really needs to be done at a
1589
1778
        #       higher level, because there either won't be anything on disk,
1590
1779
        #       or the thing on disk will be a file.
1591
 
        return os.readlink(abspath.encode(osutils._fs_enc))
 
1780
        fs_encoding = osutils._fs_enc
 
1781
        if isinstance(abspath, unicode):
 
1782
            # abspath is defined as the path to pass to lstat. readlink is
 
1783
            # buggy in python < 2.6 (it doesn't encode unicode path into FS
 
1784
            # encoding), so we need to encode ourselves knowing that unicode
 
1785
            # paths are produced by UnicodeDirReader on purpose.
 
1786
            abspath = abspath.encode(fs_encoding)
 
1787
        target = os.readlink(abspath)
 
1788
        if fs_encoding not in ('UTF-8', 'US-ASCII', 'ANSI_X3.4-1968'):
 
1789
            # Change encoding if needed
 
1790
            target = target.decode(fs_encoding).encode('UTF-8')
 
1791
        return target
1592
1792
 
1593
1793
    def get_ghosts(self):
1594
1794
        """Return a list of the parent tree revision ids that are ghosts."""
1762
1962
        self._read_dirblocks_if_needed()
1763
1963
        if path_utf8 is not None:
1764
1964
            if type(path_utf8) is not str:
1765
 
                raise AssertionError('path_utf8 is not a str: %s %s'
 
1965
                raise errors.BzrError('path_utf8 is not a str: %s %r'
1766
1966
                    % (type(path_utf8), path_utf8))
1767
1967
            # path lookups are faster
1768
1968
            dirname, basename = osutils.split(path_utf8)
1798
1998
                if present:
1799
1999
                    entry = self._dirblocks[block_index][1][entry_index]
1800
2000
                    if entry[1][tree_index][0] in 'fdlt':
1801
 
                        # this is the result we are looking for: the  
 
2001
                        # this is the result we are looking for: the
1802
2002
                        # real home of this file_id in this tree.
1803
2003
                        return entry
1804
2004
                    if entry[1][tree_index][0] == 'a':
1818
2018
            return None, None
1819
2019
 
1820
2020
    @classmethod
1821
 
    def initialize(cls, path):
 
2021
    def initialize(cls, path, sha1_provider=None):
1822
2022
        """Create a new dirstate on path.
1823
2023
 
1824
2024
        The new dirstate will be an empty tree - that is it has no parents,
1825
2025
        and only a root node - which has id ROOT_ID.
1826
2026
 
1827
2027
        :param path: The name of the file for the dirstate.
 
2028
        :param sha1_provider: an object meeting the SHA1Provider interface.
 
2029
            If None, a DefaultSHA1Provider is used.
1828
2030
        :return: A write-locked DirState object.
1829
2031
        """
1830
2032
        # This constructs a new DirState object on a path, sets the _state_file
1832
2034
        # stock empty dirstate information - a root with ROOT_ID, no children,
1833
2035
        # and no parents. Finally it calls save() to ensure that this data will
1834
2036
        # persist.
1835
 
        result = cls(path)
 
2037
        if sha1_provider is None:
 
2038
            sha1_provider = DefaultSHA1Provider()
 
2039
        result = cls(path, sha1_provider)
1836
2040
        # root dir and root dir contents with no children.
1837
2041
        empty_tree_dirblocks = [('', []), ('', [])]
1838
2042
        # a new root directory, with a NULLSTAT.
1866
2070
            size = 0
1867
2071
            executable = False
1868
2072
        elif kind == 'symlink':
1869
 
            # We don't support non-ascii targets for symlinks yet.
1870
 
            fingerprint = str(inv_entry.symlink_target or '')
 
2073
            if inv_entry.symlink_target is None:
 
2074
                fingerprint = ''
 
2075
            else:
 
2076
                fingerprint = inv_entry.symlink_target.encode('utf8')
1871
2077
            size = 0
1872
2078
            executable = False
1873
2079
        elif kind == 'file':
1885
2091
    def _iter_child_entries(self, tree_index, path_utf8):
1886
2092
        """Iterate over all the entries that are children of path_utf.
1887
2093
 
1888
 
        This only returns entries that are present (not in 'a', 'r') in 
 
2094
        This only returns entries that are present (not in 'a', 'r') in
1889
2095
        tree_index. tree_index data is not refreshed, so if tree 0 is used,
1890
2096
        results may differ from that obtained if paths were statted to
1891
2097
        determine what ones were directories.
1922
2128
                        else:
1923
2129
                            path = entry[0][1]
1924
2130
                        next_pending_dirs.append(path)
1925
 
    
 
2131
 
1926
2132
    def _iter_entries(self):
1927
2133
        """Iterate over all the entries in the dirstate.
1928
2134
 
1969
2175
        return len(self._parents) - len(self._ghosts)
1970
2176
 
1971
2177
    @staticmethod
1972
 
    def on_file(path):
1973
 
        """Construct a DirState on the file at path path.
 
2178
    def on_file(path, sha1_provider=None):
 
2179
        """Construct a DirState on the file at path "path".
1974
2180
 
 
2181
        :param path: The path at which the dirstate file on disk should live.
 
2182
        :param sha1_provider: an object meeting the SHA1Provider interface.
 
2183
            If None, a DefaultSHA1Provider is used.
1975
2184
        :return: An unlocked DirState object, associated with the given path.
1976
2185
        """
1977
 
        result = DirState(path)
 
2186
        if sha1_provider is None:
 
2187
            sha1_provider = DefaultSHA1Provider()
 
2188
        result = DirState(path, sha1_provider)
1978
2189
        return result
1979
2190
 
1980
2191
    def _read_dirblocks_if_needed(self):
1981
2192
        """Read in all the dirblocks from the file if they are not in memory.
1982
 
        
 
2193
 
1983
2194
        This populates self._dirblocks, and sets self._dirblock_state to
1984
2195
        IN_MEMORY_UNMODIFIED. It is not currently ready for incremental block
1985
2196
        loading.
2110
2321
 
2111
2322
        :param parent_ids: A list of parent tree revision ids.
2112
2323
        :param dirblocks: A list containing one tuple for each directory in the
2113
 
            tree. Each tuple contains the directory path and a list of entries 
 
2324
            tree. Each tuple contains the directory path and a list of entries
2114
2325
            found in that directory.
2115
2326
        """
2116
2327
        # our memory copy is now authoritative.
2150
2361
        """Set the parent trees for the dirstate.
2151
2362
 
2152
2363
        :param trees: A list of revision_id, tree tuples. tree must be provided
2153
 
            even if the revision_id refers to a ghost: supply an empty tree in 
 
2364
            even if the revision_id refers to a ghost: supply an empty tree in
2154
2365
            this case.
2155
2366
        :param ghosts: A list of the revision_ids that are ghosts at the time
2156
2367
            of setting.
2157
 
        """ 
2158
 
        # TODO: generate a list of parent indexes to preserve to save 
 
2368
        """
 
2369
        # TODO: generate a list of parent indexes to preserve to save
2159
2370
        # processing specific parent trees. In the common case one tree will
2160
2371
        # be preserved - the left most parent.
2161
2372
        # TODO: if the parent tree is a dirstate, we might want to walk them
2166
2377
        # map and then walk the new parent trees only, mapping them into the
2167
2378
        # dirstate. Walk the dirstate at the same time to remove unreferenced
2168
2379
        # entries.
2169
 
        # for now: 
2170
 
        # sketch: loop over all entries in the dirstate, cherry picking 
 
2380
        # for now:
 
2381
        # sketch: loop over all entries in the dirstate, cherry picking
2171
2382
        # entries from the parent trees, if they are not ghost trees.
2172
2383
        # after we finish walking the dirstate, all entries not in the dirstate
2173
2384
        # are deletes, so we want to append them to the end as per the design
2178
2389
        #   links. We dont't trivially use the inventory from other trees
2179
2390
        #   because this leads to either double touching, or to accessing
2180
2391
        #   missing keys,
2181
 
        # - find other keys containing a path 
2182
 
        # We accumulate each entry via this dictionary, including the root 
 
2392
        # - find other keys containing a path
 
2393
        # We accumulate each entry via this dictionary, including the root
2183
2394
        by_path = {}
2184
2395
        id_index = {}
2185
2396
        # we could do parallel iterators, but because file id data may be
2189
2400
        # parent, but for now the common cases are adding a new parent (merge),
2190
2401
        # and replacing completely (commit), and commit is more common: so
2191
2402
        # optimise merge later.
2192
 
        
 
2403
 
2193
2404
        # ---- start generation of full tree mapping data
2194
2405
        # what trees should we use?
2195
2406
        parent_trees = [tree for rev_id, tree in trees if rev_id not in ghosts]
2196
 
        # how many trees do we end up with 
 
2407
        # how many trees do we end up with
2197
2408
        parent_count = len(parent_trees)
2198
2409
 
2199
2410
        # one: the current tree
2204
2415
            by_path[entry[0]] = [entry[1][0]] + \
2205
2416
                [DirState.NULL_PARENT_DETAILS] * parent_count
2206
2417
            id_index[entry[0][2]] = set([entry[0]])
2207
 
        
 
2418
 
2208
2419
        # now the parent trees:
2209
2420
        for tree_index, tree in enumerate(parent_trees):
2210
2421
            # the index is off by one, adjust it.
2224
2435
                # avoid checking all known paths for the id when generating a
2225
2436
                # new entry at this path: by adding the id->path mapping last,
2226
2437
                # all the mappings are valid and have correct relocation
2227
 
                # records where needed. 
 
2438
                # records where needed.
2228
2439
                file_id = entry.file_id
2229
2440
                path_utf8 = path.encode('utf8')
2230
2441
                dirname, basename = osutils.split(path_utf8)
2241
2452
                        # This is the vertical axis in the matrix, all pointing
2242
2453
                        # to the real path.
2243
2454
                        by_path[entry_key][tree_index] = ('r', path_utf8, 0, False, '')
2244
 
                # by path consistency: Insert into an existing path record (trivial), or 
 
2455
                # by path consistency: Insert into an existing path record (trivial), or
2245
2456
                # add a new one with relocation pointers for the other tree indexes.
2246
2457
                if new_entry_key in id_index[file_id]:
2247
2458
                    # there is already an entry where this data belongs, just insert it.
2260
2471
                            new_details.append(DirState.NULL_PARENT_DETAILS)
2261
2472
                        else:
2262
2473
                            # grab any one entry, use it to find the right path.
2263
 
                            # TODO: optimise this to reduce memory use in highly 
 
2474
                            # TODO: optimise this to reduce memory use in highly
2264
2475
                            # fragmented situations by reusing the relocation
2265
2476
                            # records.
2266
2477
                            a_key = iter(id_index[file_id]).next()
2299
2510
        return sorted(entry_list, key=_key)
2300
2511
 
2301
2512
    def set_state_from_inventory(self, new_inv):
2302
 
        """Set new_inv as the current state. 
 
2513
        """Set new_inv as the current state.
2303
2514
 
2304
2515
        This API is called by tree transform, and will usually occur with
2305
2516
        existing parent trees.
2309
2520
        if 'evil' in debug.debug_flags:
2310
2521
            trace.mutter_callsite(1,
2311
2522
                "set_state_from_inventory called; please mutate the tree instead")
 
2523
        tracing = 'dirstate' in debug.debug_flags
 
2524
        if tracing:
 
2525
            trace.mutter("set_state_from_inventory trace:")
2312
2526
        self._read_dirblocks_if_needed()
2313
2527
        # sketch:
2314
 
        # Two iterators: current data and new data, both in dirblock order. 
 
2528
        # Two iterators: current data and new data, both in dirblock order.
2315
2529
        # We zip them together, which tells about entries that are new in the
2316
2530
        # inventory, or removed in the inventory, or present in both and
2317
 
        # possibly changed.  
 
2531
        # possibly changed.
2318
2532
        #
2319
2533
        # You might think we could just synthesize a new dirstate directly
2320
2534
        # since we're processing it in the right order.  However, we need to
2323
2537
        new_iterator = new_inv.iter_entries_by_dir()
2324
2538
        # we will be modifying the dirstate, so we need a stable iterator. In
2325
2539
        # future we might write one, for now we just clone the state into a
2326
 
        # list - which is a shallow copy.
 
2540
        # list using a copy so that we see every original item and don't have
 
2541
        # to adjust the position when items are inserted or deleted in the
 
2542
        # underlying dirstate.
2327
2543
        old_iterator = iter(list(self._iter_entries()))
2328
2544
        # both must have roots so this is safe:
2329
2545
        current_new = new_iterator.next()
2363
2579
            # we make both end conditions explicit
2364
2580
            if not current_old:
2365
2581
                # old is finished: insert current_new into the state.
 
2582
                if tracing:
 
2583
                    trace.mutter("Appending from new '%s'.",
 
2584
                        new_path_utf8.decode('utf8'))
2366
2585
                self.update_minimal(new_entry_key, current_new_minikind,
2367
2586
                    executable=current_new[1].executable,
2368
 
                    path_utf8=new_path_utf8, fingerprint=fingerprint)
 
2587
                    path_utf8=new_path_utf8, fingerprint=fingerprint,
 
2588
                    fullscan=True)
2369
2589
                current_new = advance(new_iterator)
2370
2590
            elif not current_new:
2371
2591
                # new is finished
 
2592
                if tracing:
 
2593
                    trace.mutter("Truncating from old '%s/%s'.",
 
2594
                        current_old[0][0].decode('utf8'),
 
2595
                        current_old[0][1].decode('utf8'))
2372
2596
                self._make_absent(current_old)
2373
2597
                current_old = advance(old_iterator)
2374
2598
            elif new_entry_key == current_old[0]:
2381
2605
                # kind has changed.
2382
2606
                if (current_old[1][0][3] != current_new[1].executable or
2383
2607
                    current_old[1][0][0] != current_new_minikind):
 
2608
                    if tracing:
 
2609
                        trace.mutter("Updating in-place change '%s'.",
 
2610
                            new_path_utf8.decode('utf8'))
2384
2611
                    self.update_minimal(current_old[0], current_new_minikind,
2385
2612
                        executable=current_new[1].executable,
2386
 
                        path_utf8=new_path_utf8, fingerprint=fingerprint)
 
2613
                        path_utf8=new_path_utf8, fingerprint=fingerprint,
 
2614
                        fullscan=True)
2387
2615
                # both sides are dealt with, move on
2388
2616
                current_old = advance(old_iterator)
2389
2617
                current_new = advance(new_iterator)
2392
2620
                      and new_entry_key[1:] < current_old[0][1:])):
2393
2621
                # new comes before:
2394
2622
                # add a entry for this and advance new
 
2623
                if tracing:
 
2624
                    trace.mutter("Inserting from new '%s'.",
 
2625
                        new_path_utf8.decode('utf8'))
2395
2626
                self.update_minimal(new_entry_key, current_new_minikind,
2396
2627
                    executable=current_new[1].executable,
2397
 
                    path_utf8=new_path_utf8, fingerprint=fingerprint)
 
2628
                    path_utf8=new_path_utf8, fingerprint=fingerprint,
 
2629
                    fullscan=True)
2398
2630
                current_new = advance(new_iterator)
2399
2631
            else:
2400
2632
                # we've advanced past the place where the old key would be,
2401
2633
                # without seeing it in the new list.  so it must be gone.
 
2634
                if tracing:
 
2635
                    trace.mutter("Deleting from old '%s/%s'.",
 
2636
                        current_old[0][0].decode('utf8'),
 
2637
                        current_old[0][1].decode('utf8'))
2402
2638
                self._make_absent(current_old)
2403
2639
                current_old = advance(old_iterator)
2404
2640
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
2405
2641
        self._id_index = None
2406
2642
        self._packed_stat_index = None
 
2643
        if tracing:
 
2644
            trace.mutter("set_state_from_inventory complete.")
2407
2645
 
2408
2646
    def _make_absent(self, current_old):
2409
2647
        """Mark current_old - an entry - as absent for tree 0.
2458
2696
        return last_reference
2459
2697
 
2460
2698
    def update_minimal(self, key, minikind, executable=False, fingerprint='',
2461
 
                       packed_stat=None, size=0, path_utf8=None):
 
2699
        packed_stat=None, size=0, path_utf8=None, fullscan=False):
2462
2700
        """Update an entry to the state in tree 0.
2463
2701
 
2464
2702
        This will either create a new entry at 'key' or update an existing one.
2469
2707
        :param minikind: The type for the entry ('f' == 'file', 'd' ==
2470
2708
                'directory'), etc.
2471
2709
        :param executable: Should the executable bit be set?
2472
 
        :param fingerprint: Simple fingerprint for new entry: sha1 for files, 
2473
 
            referenced revision id for subtrees, etc.
 
2710
        :param fingerprint: Simple fingerprint for new entry: canonical-form
 
2711
            sha1 for files, referenced revision id for subtrees, etc.
2474
2712
        :param packed_stat: Packed stat value for new entry.
2475
2713
        :param size: Size information for new entry
2476
2714
        :param path_utf8: key[0] + '/' + key[1], just passed in to avoid doing
2477
2715
                extra computation.
 
2716
        :param fullscan: If True then a complete scan of the dirstate is being
 
2717
            done and checking for duplicate rows should not be done. This
 
2718
            should only be set by set_state_from_inventory and similar methods.
2478
2719
 
2479
2720
        If packed_stat and fingerprint are not given, they're invalidated in
2480
2721
        the entry.
2489
2730
        new_details = (minikind, fingerprint, size, executable, packed_stat)
2490
2731
        id_index = self._get_id_index()
2491
2732
        if not present:
 
2733
            # New record. Check there isn't a entry at this path already.
 
2734
            if not fullscan:
 
2735
                low_index, _ = self._find_entry_index(key[0:2] + ('',), block)
 
2736
                while low_index < len(block):
 
2737
                    entry = block[low_index]
 
2738
                    if entry[0][0:2] == key[0:2]:
 
2739
                        if entry[1][0][0] not in 'ar':
 
2740
                            # This entry has the same path (but a different id) as
 
2741
                            # the new entry we're adding, and is present in ths
 
2742
                            # tree.
 
2743
                            raise errors.InconsistentDelta(
 
2744
                                ("%s/%s" % key[0:2]).decode('utf8'), key[2],
 
2745
                                "Attempt to add item at path already occupied by "
 
2746
                                "id %r" % entry[0][2])
 
2747
                        low_index += 1
 
2748
                    else:
 
2749
                        break
2492
2750
            # new entry, synthesis cross reference here,
2493
2751
            existing_keys = id_index.setdefault(key[2], set())
2494
2752
            if not existing_keys:
2499
2757
                # grab one of them and use it to generate parent
2500
2758
                # relocation/absent entries.
2501
2759
                new_entry = key, [new_details]
2502
 
                for other_key in existing_keys:
 
2760
                # existing_keys can be changed as we iterate.
 
2761
                for other_key in tuple(existing_keys):
2503
2762
                    # change the record at other to be a pointer to this new
2504
2763
                    # record. The loop looks similar to the change to
2505
2764
                    # relocations when updating an existing record but its not:
2506
2765
                    # the test for existing kinds is different: this can be
2507
2766
                    # factored out to a helper though.
2508
 
                    other_block_index, present = self._find_block_index_from_key(other_key)
2509
 
                    if not present:
2510
 
                        raise AssertionError('could not find block for %s' % (other_key,))
2511
 
                    other_entry_index, present = self._find_entry_index(other_key,
2512
 
                                            self._dirblocks[other_block_index][1])
2513
 
                    if not present:
2514
 
                        raise AssertionError('could not find entry for %s' % (other_key,))
 
2767
                    other_block_index, present = self._find_block_index_from_key(
 
2768
                        other_key)
 
2769
                    if not present:
 
2770
                        raise AssertionError('could not find block for %s' % (
 
2771
                            other_key,))
 
2772
                    other_block = self._dirblocks[other_block_index][1]
 
2773
                    other_entry_index, present = self._find_entry_index(
 
2774
                        other_key, other_block)
 
2775
                    if not present:
 
2776
                        raise AssertionError(
 
2777
                            'update_minimal: could not find other entry for %s'
 
2778
                            % (other_key,))
2515
2779
                    if path_utf8 is None:
2516
2780
                        raise AssertionError('no path')
2517
 
                    self._dirblocks[other_block_index][1][other_entry_index][1][0] = \
2518
 
                        ('r', path_utf8, 0, False, '')
 
2781
                    # Turn this other location into a reference to the new
 
2782
                    # location. This also updates the aliased iterator
 
2783
                    # (current_old in set_state_from_inventory) so that the old
 
2784
                    # entry, if not already examined, is skipped over by that
 
2785
                    # loop.
 
2786
                    other_entry = other_block[other_entry_index]
 
2787
                    other_entry[1][0] = ('r', path_utf8, 0, False, '')
 
2788
                    self._maybe_remove_row(other_block, other_entry_index,
 
2789
                        id_index)
2519
2790
 
 
2791
                # This loop:
 
2792
                # adds a tuple to the new details for each column
 
2793
                #  - either by copying an existing relocation pointer inside that column
 
2794
                #  - or by creating a new pointer to the right row inside that column
2520
2795
                num_present_parents = self._num_present_parents()
 
2796
                if num_present_parents:
 
2797
                    other_key = list(existing_keys)[0]
2521
2798
                for lookup_index in xrange(1, num_present_parents + 1):
2522
2799
                    # grab any one entry, use it to find the right path.
2523
 
                    # TODO: optimise this to reduce memory use in highly 
 
2800
                    # TODO: optimise this to reduce memory use in highly
2524
2801
                    # fragmented situations by reusing the relocation
2525
2802
                    # records.
2526
2803
                    update_block_index, present = \
2530
2807
                    update_entry_index, present = \
2531
2808
                        self._find_entry_index(other_key, self._dirblocks[update_block_index][1])
2532
2809
                    if not present:
2533
 
                        raise AssertionError('could not find entry for %s' % (other_key,))
 
2810
                        raise AssertionError('update_minimal: could not find entry for %s' % (other_key,))
2534
2811
                    update_details = self._dirblocks[update_block_index][1][update_entry_index][1][lookup_index]
2535
2812
                    if update_details[0] in 'ar': # relocated, absent
2536
2813
                        # its a pointer or absent in lookup_index's tree, use
2543
2820
            block.insert(entry_index, new_entry)
2544
2821
            existing_keys.add(key)
2545
2822
        else:
2546
 
            # Does the new state matter? 
 
2823
            # Does the new state matter?
2547
2824
            block[entry_index][1][0] = new_details
2548
2825
            # parents cannot be affected by what we do.
2549
 
            # other occurences of this id can be found 
 
2826
            # other occurences of this id can be found
2550
2827
            # from the id index.
2551
2828
            # ---
2552
2829
            # tree index consistency: All other paths for this id in this tree
2582
2859
 
2583
2860
        self._dirblock_state = DirState.IN_MEMORY_MODIFIED
2584
2861
 
 
2862
    def _maybe_remove_row(self, block, index, id_index):
 
2863
        """Remove index if it is absent or relocated across the row.
 
2864
        
 
2865
        id_index is updated accordingly.
 
2866
        """
 
2867
        present_in_row = False
 
2868
        entry = block[index]
 
2869
        for column in entry[1]:
 
2870
            if column[0] not in 'ar':
 
2871
                present_in_row = True
 
2872
                break
 
2873
        if not present_in_row:
 
2874
            block.pop(index)
 
2875
            id_index[entry[0][2]].remove(entry[0])
 
2876
 
2585
2877
    def _validate(self):
2586
2878
        """Check that invariants on the dirblock are correct.
2587
2879
 
2588
 
        This can be useful in debugging; it shouldn't be necessary in 
 
2880
        This can be useful in debugging; it shouldn't be necessary in
2589
2881
        normal code.
2590
2882
 
2591
2883
        This must be called with a lock held.
2660
2952
        # For each file id, for each tree: either
2661
2953
        # the file id is not present at all; all rows with that id in the
2662
2954
        # key have it marked as 'absent'
2663
 
        # OR the file id is present under exactly one name; any other entries 
 
2955
        # OR the file id is present under exactly one name; any other entries
2664
2956
        # that mention that id point to the correct name.
2665
2957
        #
2666
2958
        # We check this with a dict per tree pointing either to the present
2713
3005
                        # absent; should not occur anywhere else
2714
3006
                        this_tree_map[file_id] = None, this_path
2715
3007
                    elif minikind == 'r':
2716
 
                        # relocation, must occur at expected location 
 
3008
                        # relocation, must occur at expected location
2717
3009
                        this_tree_map[file_id] = tree_state[1], this_path
2718
3010
                    else:
2719
3011
                        this_tree_map[file_id] = this_path, this_path
2807
3099
    (saved_minikind, saved_link_or_sha1, saved_file_size,
2808
3100
     saved_executable, saved_packed_stat) = entry[1][0]
2809
3101
 
 
3102
    if minikind == 'd' and saved_minikind == 't':
 
3103
        minikind = 't'
2810
3104
    if (minikind == saved_minikind
2811
3105
        and packed_stat == saved_packed_stat):
2812
3106
        # The stat hasn't changed since we saved, so we can re-use the
2830
3124
            and stat_value.st_ctime < state._cutoff_time
2831
3125
            and len(entry[1]) > 1
2832
3126
            and entry[1][1][0] != 'a'):
2833
 
                # Could check for size changes for further optimised
2834
 
                # avoidance of sha1's. However the most prominent case of
2835
 
                # over-shaing is during initial add, which this catches.
 
3127
            # Could check for size changes for further optimised
 
3128
            # avoidance of sha1's. However the most prominent case of
 
3129
            # over-shaing is during initial add, which this catches.
 
3130
            # Besides, if content filtering happens, size and sha
 
3131
            # are calculated at the same time, so checking just the size
 
3132
            # gains nothing w.r.t. performance.
2836
3133
            link_or_sha1 = state._sha1_file(abspath)
2837
3134
            entry[1][0] = ('f', link_or_sha1, stat_value.st_size,
2838
3135
                           executable, packed_stat)
2863
3160
                           False, DirState.NULLSTAT)
2864
3161
    state._dirblock_state = DirState.IN_MEMORY_MODIFIED
2865
3162
    return link_or_sha1
2866
 
update_entry = py_update_entry
2867
3163
 
2868
3164
 
2869
3165
class ProcessEntryPython(object):
2870
3166
 
2871
 
    __slots__ = ["old_dirname_to_file_id", "new_dirname_to_file_id", "uninteresting",
 
3167
    __slots__ = ["old_dirname_to_file_id", "new_dirname_to_file_id",
2872
3168
        "last_source_parent", "last_target_parent", "include_unchanged",
2873
 
        "use_filesystem_for_exec", "utf8_decode", "searched_specific_files",
2874
 
        "search_specific_files", "state", "source_index", "target_index",
2875
 
        "want_unversioned", "tree"]
 
3169
        "partial", "use_filesystem_for_exec", "utf8_decode",
 
3170
        "searched_specific_files", "search_specific_files",
 
3171
        "searched_exact_paths", "search_specific_file_parents", "seen_ids",
 
3172
        "state", "source_index", "target_index", "want_unversioned", "tree"]
2876
3173
 
2877
3174
    def __init__(self, include_unchanged, use_filesystem_for_exec,
2878
3175
        search_specific_files, state, source_index, target_index,
2879
3176
        want_unversioned, tree):
2880
3177
        self.old_dirname_to_file_id = {}
2881
3178
        self.new_dirname_to_file_id = {}
2882
 
        # Just a sentry, so that _process_entry can say that this
2883
 
        # record is handled, but isn't interesting to process (unchanged)
2884
 
        self.uninteresting = object()
 
3179
        # Are we doing a partial iter_changes?
 
3180
        self.partial = search_specific_files != set([''])
2885
3181
        # Using a list so that we can access the values and change them in
2886
3182
        # nested scope. Each one is [path, file_id, entry]
2887
3183
        self.last_source_parent = [None, None]
2890
3186
        self.use_filesystem_for_exec = use_filesystem_for_exec
2891
3187
        self.utf8_decode = cache_utf8._utf8_decode
2892
3188
        # for all search_indexs in each path at or under each element of
2893
 
        # search_specific_files, if the detail is relocated: add the id, and add the
2894
 
        # relocated path as one to search if its not searched already. If the
2895
 
        # detail is not relocated, add the id.
 
3189
        # search_specific_files, if the detail is relocated: add the id, and
 
3190
        # add the relocated path as one to search if its not searched already.
 
3191
        # If the detail is not relocated, add the id.
2896
3192
        self.searched_specific_files = set()
 
3193
        # When we search exact paths without expanding downwards, we record
 
3194
        # that here.
 
3195
        self.searched_exact_paths = set()
2897
3196
        self.search_specific_files = search_specific_files
 
3197
        # The parents up to the root of the paths we are searching.
 
3198
        # After all normal paths are returned, these specific items are returned.
 
3199
        self.search_specific_file_parents = set()
 
3200
        # The ids we've sent out in the delta.
 
3201
        self.seen_ids = set()
2898
3202
        self.state = state
2899
3203
        self.source_index = source_index
2900
3204
        self.target_index = target_index
 
3205
        if target_index != 0:
 
3206
            # A lot of code in here depends on target_index == 0
 
3207
            raise errors.BzrError('unsupported target index')
2901
3208
        self.want_unversioned = want_unversioned
2902
3209
        self.tree = tree
2903
3210
 
2905
3212
        """Compare an entry and real disk to generate delta information.
2906
3213
 
2907
3214
        :param path_info: top_relpath, basename, kind, lstat, abspath for
2908
 
            the path of entry. If None, then the path is considered absent.
2909
 
            (Perhaps we should pass in a concrete entry for this ?)
 
3215
            the path of entry. If None, then the path is considered absent in 
 
3216
            the target (Perhaps we should pass in a concrete entry for this ?)
2910
3217
            Basename is returned as a utf8 string because we expect this
2911
3218
            tuple will be ignored, and don't want to take the time to
2912
3219
            decode.
2913
 
        :return: None if these don't match
2914
 
                 A tuple of information about the change, or
2915
 
                 the object 'uninteresting' if these match, but are
2916
 
                 basically identical.
 
3220
        :return: (iter_changes_result, changed). If the entry has not been
 
3221
            handled then changed is None. Otherwise it is False if no content
 
3222
            or metadata changes have occurred, and True if any content or
 
3223
            metadata change has occurred. If self.include_unchanged is True then
 
3224
            if changed is not None, iter_changes_result will always be a result
 
3225
            tuple. Otherwise, iter_changes_result is None unless changed is
 
3226
            True.
2917
3227
        """
2918
3228
        if self.source_index is None:
2919
3229
            source_details = DirState.NULL_PARENT_DETAILS
2987
3297
                    if source_minikind != 'f':
2988
3298
                        content_change = True
2989
3299
                    else:
2990
 
                        # If the size is the same, check the sha:
2991
 
                        if target_details[2] == source_details[2]:
2992
 
                            if link_or_sha1 is None:
2993
 
                                # Stat cache miss:
2994
 
                                file_obj = file(path_info[4], 'rb')
2995
 
                                try:
2996
 
                                    statvalue = os.fstat(file_obj.fileno())
2997
 
                                    link_or_sha1 = osutils.sha_file(file_obj)
2998
 
                                finally:
2999
 
                                    file_obj.close()
3000
 
                                self.state._observed_sha1(entry, link_or_sha1,
3001
 
                                    statvalue)
3002
 
                            content_change = (link_or_sha1 != source_details[1])
3003
 
                        else:
3004
 
                            # Size changed, so must be different
3005
 
                            content_change = True
 
3300
                        # Check the sha. We can't just rely on the size as
 
3301
                        # content filtering may mean differ sizes actually
 
3302
                        # map to the same content
 
3303
                        if link_or_sha1 is None:
 
3304
                            # Stat cache miss:
 
3305
                            statvalue, link_or_sha1 = \
 
3306
                                self.state._sha1_provider.stat_and_sha1(
 
3307
                                path_info[4])
 
3308
                            self.state._observed_sha1(entry, link_or_sha1,
 
3309
                                statvalue)
 
3310
                        content_change = (link_or_sha1 != source_details[1])
3006
3311
                    # Target details is updated at update_entry time
3007
3312
                    if self.use_filesystem_for_exec:
3008
3313
                        # We don't need S_ISREG here, because we are sure
3023
3328
                        content_change = False
3024
3329
                    target_exec = False
3025
3330
                else:
3026
 
                    raise Exception, "unknown kind %s" % path_info[2]
 
3331
                    if path is None:
 
3332
                        path = pathjoin(old_dirname, old_basename)
 
3333
                    raise errors.BadFileKindError(path, path_info[2])
3027
3334
            if source_minikind == 'd':
3028
3335
                if path is None:
3029
3336
                    old_path = path = pathjoin(old_dirname, old_basename)
3030
3337
                self.old_dirname_to_file_id[old_path] = file_id
3031
3338
            # parent id is the entry for the path in the target tree
3032
 
            if old_dirname == self.last_source_parent[0]:
 
3339
            if old_basename and old_dirname == self.last_source_parent[0]:
3033
3340
                source_parent_id = self.last_source_parent[1]
3034
3341
            else:
3035
3342
                try:
3045
3352
                    self.last_source_parent[0] = old_dirname
3046
3353
                    self.last_source_parent[1] = source_parent_id
3047
3354
            new_dirname = entry[0][0]
3048
 
            if new_dirname == self.last_target_parent[0]:
 
3355
            if entry[0][1] and new_dirname == self.last_target_parent[0]:
3049
3356
                target_parent_id = self.last_target_parent[1]
3050
3357
            else:
3051
3358
                try:
3068
3375
                    self.last_target_parent[1] = target_parent_id
3069
3376
 
3070
3377
            source_exec = source_details[3]
3071
 
            if (self.include_unchanged
3072
 
                or content_change
 
3378
            changed = (content_change
3073
3379
                or source_parent_id != target_parent_id
3074
3380
                or old_basename != entry[0][1]
3075
3381
                or source_exec != target_exec
3076
 
                ):
 
3382
                )
 
3383
            if not changed and not self.include_unchanged:
 
3384
                return None, False
 
3385
            else:
3077
3386
                if old_path is None:
3078
3387
                    old_path = path = pathjoin(old_dirname, old_basename)
3079
3388
                    old_path_u = self.utf8_decode(old_path)[0]
3092
3401
                       (source_parent_id, target_parent_id),
3093
3402
                       (self.utf8_decode(old_basename)[0], self.utf8_decode(entry[0][1])[0]),
3094
3403
                       (source_kind, target_kind),
3095
 
                       (source_exec, target_exec))
3096
 
            else:
3097
 
                return self.uninteresting
 
3404
                       (source_exec, target_exec)), changed
3098
3405
        elif source_minikind in 'a' and target_minikind in 'fdlt':
3099
3406
            # looks like a new file
3100
3407
            path = pathjoin(entry[0][0], entry[0][1])
3121
3428
                       (None, parent_id),
3122
3429
                       (None, self.utf8_decode(entry[0][1])[0]),
3123
3430
                       (None, path_info[2]),
3124
 
                       (None, target_exec))
 
3431
                       (None, target_exec)), True
3125
3432
            else:
3126
3433
                # Its a missing file, report it as such.
3127
3434
                return (entry[0][2],
3131
3438
                       (None, parent_id),
3132
3439
                       (None, self.utf8_decode(entry[0][1])[0]),
3133
3440
                       (None, None),
3134
 
                       (None, False))
 
3441
                       (None, False)), True
3135
3442
        elif source_minikind in 'fdlt' and target_minikind in 'a':
3136
3443
            # unversioned, possibly, or possibly not deleted: we dont care.
3137
3444
            # if its still on disk, *and* theres no other entry at this
3149
3456
                   (parent_id, None),
3150
3457
                   (self.utf8_decode(entry[0][1])[0], None),
3151
3458
                   (DirState._minikind_to_kind[source_minikind], None),
3152
 
                   (source_details[3], None))
 
3459
                   (source_details[3], None)), True
3153
3460
        elif source_minikind in 'fdlt' and target_minikind in 'r':
3154
3461
            # a rename; could be a true rename, or a rename inherited from
3155
3462
            # a renamed parent. TODO: handle this efficiently. Its not
3167
3474
                "source_minikind=%r, target_minikind=%r"
3168
3475
                % (source_minikind, target_minikind))
3169
3476
            ## import pdb;pdb.set_trace()
3170
 
        return None
 
3477
        return None, None
3171
3478
 
3172
3479
    def __iter__(self):
3173
3480
        return self
3174
3481
 
 
3482
    def _gather_result_for_consistency(self, result):
 
3483
        """Check a result we will yield to make sure we are consistent later.
 
3484
        
 
3485
        This gathers result's parents into a set to output later.
 
3486
 
 
3487
        :param result: A result tuple.
 
3488
        """
 
3489
        if not self.partial or not result[0]:
 
3490
            return
 
3491
        self.seen_ids.add(result[0])
 
3492
        new_path = result[1][1]
 
3493
        if new_path:
 
3494
            # Not the root and not a delete: queue up the parents of the path.
 
3495
            self.search_specific_file_parents.update(
 
3496
                osutils.parent_directories(new_path.encode('utf8')))
 
3497
            # Add the root directory which parent_directories does not
 
3498
            # provide.
 
3499
            self.search_specific_file_parents.add('')
 
3500
 
3175
3501
    def iter_changes(self):
3176
3502
        """Iterate over the changes."""
3177
3503
        utf8_decode = cache_utf8._utf8_decode
3178
3504
        _cmp_by_dirs = cmp_by_dirs
3179
3505
        _process_entry = self._process_entry
3180
 
        uninteresting = self.uninteresting
3181
3506
        search_specific_files = self.search_specific_files
3182
3507
        searched_specific_files = self.searched_specific_files
3183
3508
        splitpath = osutils.splitpath
3184
 
        # sketch: 
 
3509
        # sketch:
3185
3510
        # compare source_index and target_index at or under each element of search_specific_files.
3186
3511
        # follow the following comparison table. Note that we only want to do diff operations when
3187
 
        # the target is fdl because thats when the walkdirs logic will have exposed the pathinfo 
 
3512
        # the target is fdl because thats when the walkdirs logic will have exposed the pathinfo
3188
3513
        # for the target.
3189
3514
        # cases:
3190
 
        # 
 
3515
        #
3191
3516
        # Source | Target | disk | action
3192
3517
        #   r    | fdlt   |      | add source to search, add id path move and perform
3193
3518
        #        |        |      | diff check on source-target
3194
 
        #   r    | fdlt   |  a   | dangling file that was present in the basis. 
 
3519
        #   r    | fdlt   |  a   | dangling file that was present in the basis.
3195
3520
        #        |        |      | ???
3196
3521
        #   r    |  a     |      | add source to search
3197
 
        #   r    |  a     |  a   | 
 
3522
        #   r    |  a     |  a   |
3198
3523
        #   r    |  r     |      | this path is present in a non-examined tree, skip.
3199
3524
        #   r    |  r     |  a   | this path is present in a non-examined tree, skip.
3200
3525
        #   a    | fdlt   |      | add new id
3253
3578
                continue
3254
3579
            path_handled = False
3255
3580
            for entry in root_entries:
3256
 
                result = _process_entry(entry, root_dir_info)
3257
 
                if result is not None:
 
3581
                result, changed = _process_entry(entry, root_dir_info)
 
3582
                if changed is not None:
3258
3583
                    path_handled = True
3259
 
                    if result is not uninteresting:
 
3584
                    if changed:
 
3585
                        self._gather_result_for_consistency(result)
 
3586
                    if changed or self.include_unchanged:
3260
3587
                        yield result
3261
3588
            if self.want_unversioned and not path_handled and root_dir_info:
3262
3589
                new_executable = bool(
3308
3635
                            raise AssertionError()
3309
3636
                        del current_dir_info[1][bzr_index]
3310
3637
            # walk until both the directory listing and the versioned metadata
3311
 
            # are exhausted. 
 
3638
            # are exhausted.
3312
3639
            if (block_index < len(self.state._dirblocks) and
3313
3640
                osutils.is_inside(current_root, self.state._dirblocks[block_index][0])):
3314
3641
                current_block = self.state._dirblocks[block_index]
3372
3699
                        for current_entry in current_block[1]:
3373
3700
                            # entry referring to file not present on disk.
3374
3701
                            # advance the entry only, after processing.
3375
 
                            result = _process_entry(current_entry, None)
3376
 
                            if result is not None:
3377
 
                                if result is not uninteresting:
 
3702
                            result, changed = _process_entry(current_entry, None)
 
3703
                            if changed is not None:
 
3704
                                if changed:
 
3705
                                    self._gather_result_for_consistency(result)
 
3706
                                if changed or self.include_unchanged:
3378
3707
                                    yield result
3379
3708
                        block_index +=1
3380
3709
                        if (block_index < len(self.state._dirblocks) and
3405
3734
                while (current_entry is not None or
3406
3735
                    current_path_info is not None):
3407
3736
                    if current_entry is None:
3408
 
                        # the check for path_handled when the path is adnvaced
 
3737
                        # the check for path_handled when the path is advanced
3409
3738
                        # will yield this path if needed.
3410
3739
                        pass
3411
3740
                    elif current_path_info is None:
3412
3741
                        # no path is fine: the per entry code will handle it.
3413
 
                        result = _process_entry(current_entry, current_path_info)
3414
 
                        if result is not None:
3415
 
                            if result is not uninteresting:
 
3742
                        result, changed = _process_entry(current_entry, current_path_info)
 
3743
                        if changed is not None:
 
3744
                            if changed:
 
3745
                                self._gather_result_for_consistency(result)
 
3746
                            if changed or self.include_unchanged:
3416
3747
                                yield result
3417
3748
                    elif (current_entry[0][1] != current_path_info[1]
3418
3749
                          or current_entry[1][self.target_index][0] in 'ar'):
3431
3762
                        else:
3432
3763
                            # entry referring to file not present on disk.
3433
3764
                            # advance the entry only, after processing.
3434
 
                            result = _process_entry(current_entry, None)
3435
 
                            if result is not None:
3436
 
                                if result is not uninteresting:
 
3765
                            result, changed = _process_entry(current_entry, None)
 
3766
                            if changed is not None:
 
3767
                                if changed:
 
3768
                                    self._gather_result_for_consistency(result)
 
3769
                                if changed or self.include_unchanged:
3437
3770
                                    yield result
3438
3771
                            advance_path = False
3439
3772
                    else:
3440
 
                        result = _process_entry(current_entry, current_path_info)
3441
 
                        if result is not None:
 
3773
                        result, changed = _process_entry(current_entry, current_path_info)
 
3774
                        if changed is not None:
3442
3775
                            path_handled = True
3443
 
                            if result is not uninteresting:
 
3776
                            if changed:
 
3777
                                self._gather_result_for_consistency(result)
 
3778
                            if changed or self.include_unchanged:
3444
3779
                                yield result
3445
3780
                    if advance_entry and current_entry is not None:
3446
3781
                        entry_index += 1
3475
3810
                            if current_path_info[2] in ('directory'):
3476
3811
                                del current_dir_info[1][path_index]
3477
3812
                                path_index -= 1
3478
 
                        # dont descend the disk iterator into any tree 
 
3813
                        # dont descend the disk iterator into any tree
3479
3814
                        # paths.
3480
3815
                        if current_path_info[2] == 'tree-reference':
3481
3816
                            del current_dir_info[1][path_index]
3505
3840
                        current_dir_info = dir_iterator.next()
3506
3841
                    except StopIteration:
3507
3842
                        current_dir_info = None
3508
 
_process_entry = ProcessEntryPython
 
3843
        for result in self._iter_specific_file_parents():
 
3844
            yield result
 
3845
 
 
3846
    def _iter_specific_file_parents(self):
 
3847
        """Iter over the specific file parents."""
 
3848
        while self.search_specific_file_parents:
 
3849
            # Process the parent directories for the paths we were iterating.
 
3850
            # Even in extremely large trees this should be modest, so currently
 
3851
            # no attempt is made to optimise.
 
3852
            path_utf8 = self.search_specific_file_parents.pop()
 
3853
            if osutils.is_inside_any(self.searched_specific_files, path_utf8):
 
3854
                # We've examined this path.
 
3855
                continue
 
3856
            if path_utf8 in self.searched_exact_paths:
 
3857
                # We've examined this path.
 
3858
                continue
 
3859
            path_entries = self.state._entries_for_path(path_utf8)
 
3860
            # We need either one or two entries. If the path in
 
3861
            # self.target_index has moved (so the entry in source_index is in
 
3862
            # 'ar') then we need to also look for the entry for this path in
 
3863
            # self.source_index, to output the appropriate delete-or-rename.
 
3864
            selected_entries = []
 
3865
            found_item = False
 
3866
            for candidate_entry in path_entries:
 
3867
                # Find entries present in target at this path:
 
3868
                if candidate_entry[1][self.target_index][0] not in 'ar':
 
3869
                    found_item = True
 
3870
                    selected_entries.append(candidate_entry)
 
3871
                # Find entries present in source at this path:
 
3872
                elif (self.source_index is not None and
 
3873
                    candidate_entry[1][self.source_index][0] not in 'ar'):
 
3874
                    found_item = True
 
3875
                    if candidate_entry[1][self.target_index][0] == 'a':
 
3876
                        # Deleted, emit it here.
 
3877
                        selected_entries.append(candidate_entry)
 
3878
                    else:
 
3879
                        # renamed, emit it when we process the directory it
 
3880
                        # ended up at.
 
3881
                        self.search_specific_file_parents.add(
 
3882
                            candidate_entry[1][self.target_index][1])
 
3883
            if not found_item:
 
3884
                raise AssertionError(
 
3885
                    "Missing entry for specific path parent %r, %r" % (
 
3886
                    path_utf8, path_entries))
 
3887
            path_info = self._path_info(path_utf8, path_utf8.decode('utf8'))
 
3888
            for entry in selected_entries:
 
3889
                if entry[0][2] in self.seen_ids:
 
3890
                    continue
 
3891
                result, changed = self._process_entry(entry, path_info)
 
3892
                if changed is None:
 
3893
                    raise AssertionError(
 
3894
                        "Got entry<->path mismatch for specific path "
 
3895
                        "%r entry %r path_info %r " % (
 
3896
                        path_utf8, entry, path_info))
 
3897
                # Only include changes - we're outside the users requested
 
3898
                # expansion.
 
3899
                if changed:
 
3900
                    self._gather_result_for_consistency(result)
 
3901
                    if (result[6][0] == 'directory' and
 
3902
                        result[6][1] != 'directory'):
 
3903
                        # This stopped being a directory, the old children have
 
3904
                        # to be included.
 
3905
                        if entry[1][self.source_index][0] == 'r':
 
3906
                            # renamed, take the source path
 
3907
                            entry_path_utf8 = entry[1][self.source_index][1]
 
3908
                        else:
 
3909
                            entry_path_utf8 = path_utf8
 
3910
                        initial_key = (entry_path_utf8, '', '')
 
3911
                        block_index, _ = self.state._find_block_index_from_key(
 
3912
                            initial_key)
 
3913
                        if block_index == 0:
 
3914
                            # The children of the root are in block index 1.
 
3915
                            block_index +=1
 
3916
                        current_block = None
 
3917
                        if block_index < len(self.state._dirblocks):
 
3918
                            current_block = self.state._dirblocks[block_index]
 
3919
                            if not osutils.is_inside(
 
3920
                                entry_path_utf8, current_block[0]):
 
3921
                                # No entries for this directory at all.
 
3922
                                current_block = None
 
3923
                        if current_block is not None:
 
3924
                            for entry in current_block[1]:
 
3925
                                if entry[1][self.source_index][0] in 'ar':
 
3926
                                    # Not in the source tree, so doesn't have to be
 
3927
                                    # included.
 
3928
                                    continue
 
3929
                                # Path of the entry itself.
 
3930
 
 
3931
                                self.search_specific_file_parents.add(
 
3932
                                    osutils.pathjoin(*entry[0][:2]))
 
3933
                if changed or self.include_unchanged:
 
3934
                    yield result
 
3935
            self.searched_exact_paths.add(path_utf8)
 
3936
 
 
3937
    def _path_info(self, utf8_path, unicode_path):
 
3938
        """Generate path_info for unicode_path.
 
3939
 
 
3940
        :return: None if unicode_path does not exist, or a path_info tuple.
 
3941
        """
 
3942
        abspath = self.tree.abspath(unicode_path)
 
3943
        try:
 
3944
            stat = os.lstat(abspath)
 
3945
        except OSError, e:
 
3946
            if e.errno == errno.ENOENT:
 
3947
                # the path does not exist.
 
3948
                return None
 
3949
            else:
 
3950
                raise
 
3951
        utf8_basename = utf8_path.rsplit('/', 1)[-1]
 
3952
        dir_info = (utf8_path, utf8_basename,
 
3953
            osutils.file_kind_from_stat_mode(stat.st_mode), stat,
 
3954
            abspath)
 
3955
        if dir_info[2] == 'directory':
 
3956
            if self.tree._directory_is_tree_reference(
 
3957
                unicode_path):
 
3958
                self.root_dir_info = self.root_dir_info[:2] + \
 
3959
                    ('tree-reference',) + self.root_dir_info[3:]
 
3960
        return dir_info
3509
3961
 
3510
3962
 
3511
3963
# Try to load the compiled form if possible
3512
3964
try:
3513
 
    from bzrlib._dirstate_helpers_c import (
3514
 
        _read_dirblocks_c as _read_dirblocks,
3515
 
        bisect_dirblock_c as bisect_dirblock,
3516
 
        _bisect_path_left_c as _bisect_path_left,
3517
 
        _bisect_path_right_c as _bisect_path_right,
3518
 
        cmp_by_dirs_c as cmp_by_dirs,
 
3965
    from bzrlib._dirstate_helpers_pyx import (
 
3966
        _read_dirblocks,
 
3967
        bisect_dirblock,
 
3968
        _bisect_path_left,
 
3969
        _bisect_path_right,
 
3970
        cmp_by_dirs,
3519
3971
        ProcessEntryC as _process_entry,
3520
3972
        update_entry as update_entry,
3521
3973
        )
3522
 
except ImportError:
 
3974
except ImportError, e:
 
3975
    osutils.failed_to_load_extension(e)
3523
3976
    from bzrlib._dirstate_helpers_py import (
3524
 
        _read_dirblocks_py as _read_dirblocks,
3525
 
        bisect_dirblock_py as bisect_dirblock,
3526
 
        _bisect_path_left_py as _bisect_path_left,
3527
 
        _bisect_path_right_py as _bisect_path_right,
3528
 
        cmp_by_dirs_py as cmp_by_dirs,
 
3977
        _read_dirblocks,
 
3978
        bisect_dirblock,
 
3979
        _bisect_path_left,
 
3980
        _bisect_path_right,
 
3981
        cmp_by_dirs,
3529
3982
        )
 
3983
    # FIXME: It would be nice to be able to track moved lines so that the
 
3984
    # corresponding python code can be moved to the _dirstate_helpers_py
 
3985
    # module. I don't want to break the history for this important piece of
 
3986
    # code so I left the code here -- vila 20090622
 
3987
    update_entry = py_update_entry
 
3988
    _process_entry = ProcessEntryPython