7
(The current version of this document is available in the file 
 
 
8
``doc/developers/HACKING.txt`` in the source tree, or at
 
 
9
http://doc.bazaar-vcs.org/bzr.dev/en/developer-guide/HACKING.html)
 
 
15
Exploring the Bazaar Platform
 
 
16
=============================
 
 
18
Before making changes, it's a good idea to explore the work already
 
 
19
done by others. Perhaps the new feature or improvement you're looking
 
 
20
for is available in another plug-in already? If you find a bug,
 
 
21
perhaps someone else has already fixed it?
 
 
23
To answer these questions and more, take a moment to explore the
 
 
24
overall Bazaar Platform. Here are some links to browse:
 
 
26
* The Plugins page on the Wiki - http://bazaar-vcs.org/BzrPlugins
 
 
28
* The Bazaar product family on Launchpad - https://launchpad.net/bazaar
 
 
30
* Bug Tracker for the core product - https://bugs.launchpad.net/bzr/
 
 
32
* Blueprint Tracker for the core product - https://blueprints.launchpad.net/bzr/
 
 
34
If nothing else, perhaps you'll find inspiration in how other developers
 
 
35
have solved their challenges.
 
 
38
Planning and Discussing Changes
 
 
39
===============================
 
 
41
There is a very active community around Bazaar. Mostly we meet on IRC
 
 
42
(#bzr on irc.freenode.net) and on the mailing list. To join the Bazaar
 
 
43
community, see http://bazaar-vcs.org/BzrSupport.
 
 
45
If you are planning to make a change, it's a very good idea to mention it
 
 
46
on the IRC channel and/or on the mailing list. There are many advantages
 
 
47
to involving the community before you spend much time on a change.
 
 
50
* you get to build on the wisdom on others, saving time
 
 
52
* if others can direct you to similar code, it minimises the work to be done 
 
 
54
* it assists everyone in coordinating direction, priorities and effort.
 
 
56
In summary, maximising the input from others typically minimises the
 
 
57
total effort required to get your changes merged. The community is
 
 
58
friendly, helpful and always keen to welcome newcomers.
 
 
61
Bazaar Development in a Nutshell
 
 
62
================================
 
 
64
Looking for a 10 minute introduction to submitting a change?
 
 
65
See http://bazaar-vcs.org/BzrGivingBack.
 
 
67
TODO: Merge that Wiki page into this document.
 
 
70
Understanding the Development Process
 
 
71
=====================================
 
 
73
The development team follows many best-practices including:
 
 
75
* a public roadmap and planning process in which anyone can participate
 
 
77
* time based milestones everyone can work towards and plan around
 
 
79
* extensive code review and feedback to contributors
 
 
81
* complete and rigorous test coverage on any code contributed
 
 
83
* automated validation that all tests still pass before code is merged
 
 
84
  into the main code branch.
 
 
86
The key tools we use to enable these practices are:
 
 
88
* Launchpad - https://launchpad.net/
 
 
90
* Bazaar - http://bazaar-vcs.org/
 
 
92
* Bundle Buggy - http://bundlebuggy.aaronbentley.com/
 
 
94
* Patch Queue Manager - https://launchpad.net/pqm/
 
 
96
For further information, see http://bazaar-vcs.org/BzrDevelopment.
 
 
99
A Closer Look at the Merge & Review Process
 
 
100
===========================================
 
 
102
If you'd like to propose a change, please post to the
 
 
103
bazaar@lists.canonical.com list with a bundle, patch, or link to a
 
 
104
branch. Put '[PATCH]' or '[MERGE]' in the subject so Bundle Buggy
 
 
105
can pick it out, and explain the change in the email message text.
 
 
106
Remember to update the NEWS file as part of your change if it makes any
 
 
107
changes visible to users or plugin developers. Please include a diff
 
 
108
against mainline if you're giving a link to a branch.
 
 
110
You can generate a bundle like this::
 
 
112
  bzr bundle > mybundle.patch
 
 
114
A .patch extension is recommended instead of .bundle as many mail clients
 
 
115
will send the latter as a binary file. If a bundle would be too long or your
 
 
116
mailer mangles whitespace (e.g. implicitly converts Unix newlines to DOS
 
 
117
newlines), use the merge-directive command instead like this::
 
 
119
  bzr merge-directive http://bazaar-vcs.org http://example.org/my_branch > my_directive.patch
 
 
121
See the help for details on the arguments to merge-directive.
 
 
123
Please do **NOT** put [PATCH] or [MERGE] in the subject line if you don't
 
 
124
want it to be merged. If you want comments from developers rather than
 
 
125
to be merged, you can put '[RFC]' in the subject line.
 
 
127
Anyone is welcome to review code.  There are broadly three gates for
 
 
130
 * Doesn't reduce test coverage: if it adds new methods or commands,
 
 
131
   there should be tests for them.  There is a good test framework
 
 
132
   and plenty of examples to crib from, but if you are having trouble
 
 
133
   working out how to test something feel free to post a draft patch
 
 
136
 * Doesn't reduce design clarity, such as by entangling objects
 
 
137
   we're trying to separate.  This is mostly something the more
 
 
138
   experienced reviewers need to help check.
 
 
140
 * Improves bugs, features, speed, or code simplicity.
 
 
142
Code that goes in should pass all three. The core developers take care
 
 
143
to keep the code quality high and understandable while recognising that
 
 
144
perfect is sometimes the enemy of good. (It is easy for reviews to make
 
 
145
people notice other things which should be fixed but those things should
 
 
146
not hold up the original fix being accepted. New things can easily be
 
 
147
recorded in the Bug Tracker instead.)
 
 
149
Anyone can "vote" on the mailing list. Core developers can also vote using
 
 
150
Bundle Buggy. Here are the voting codes and their explanations.
 
 
152
:approve:  Reviewer wants this submission merged.
 
 
153
:tweak:    Reviewer wants this submission merged with small changes. (No
 
 
155
:abstain:  Reviewer does not intend to vote on this patch.
 
 
156
:resubmit: Please make changes and resubmit for review.
 
 
157
:reject:   Reviewer doesn't want this kind of change merged.
 
 
158
:comment:  Not really a vote. Reviewer just wants to comment, for now.
 
 
160
If a change gets two approvals from core reviewers, and no rejections,
 
 
161
then it's OK to come in.  Any of the core developers can bring it into the
 
 
162
bzr.dev trunk and backport it to maintenance branches if required.  The
 
 
163
Release Manager will merge the change into the branch for a pending
 
 
164
release, if any. As a guideline, core developers usually merge their own
 
 
165
changes and volunteer to merge other contributions if they were the second
 
 
166
reviewer to agree to a change.
 
 
168
To track the progress of proposed changes, use Bundle Buggy. See
 
 
169
http://bundlebuggy.aaronbentley.com/help for a link to all the
 
 
170
outstanding merge requests together with an explanation of the columns.
 
 
171
Bundle Buggy will also mail you a link to track just your change.
 
 
174
Preparing a Sandbox for Making Changes to Bazaar
 
 
175
================================================
 
 
177
Bazaar supports many ways of organising your work. See
 
 
178
http://bazaar-vcs.org/SharedRepositoryLayouts for a summary of the
 
 
179
popular alternatives.
 
 
181
Of course, the best choice for you will depend on numerous factors:
 
 
182
the number of changes you may be making, the complexity of the changes, etc.
 
 
183
As a starting suggestion though:
 
 
185
* create a local copy of the main development branch (bzr.dev) by using
 
 
188
    bzr branch http://bazaar-vcs.org/bzr/bzr.dev/ bzr.dev
 
 
190
* keep your copy of bzr.dev prestine (by not developing in it) and keep
 
 
191
  it up to date (by using bzr pull)
 
 
193
* create a new branch off your local bzr.dev copy for each issue
 
 
194
  (bug or feature) you are working on.
 
 
196
This approach makes it easy to go back and make any required changes
 
 
197
after a code review. Resubmitting the change is then simple with no
 
 
198
risk of accidentially including edits related to other issues you may
 
 
199
be working on. After the changes for an issue are accepted and merged,
 
 
200
the associated branch can be deleted or archived as you wish.
 
 
203
Navigating the Code Base
 
 
204
========================
 
 
206
TODO: List and describe in one line the purpose of each directory
 
 
207
inside an installation of bzr.
 
 
209
TODO: Refer to a central location holding an up to date copy of the API
 
 
210
documentation generated by epydoc, e.g. something like
 
 
211
http://starship.python.net/crew/mwh/bzrlibapi/bzrlib.html.
 
 
217
The Importance of Testing
 
 
218
=========================
 
 
220
Reliability is a critical success factor for any Version Control System.
 
 
221
We want Bazaar to be highly reliable across multiple platforms while
 
 
222
evolving over time to meet the needs of its community. 
 
 
224
In a nutshell, this is want we expect and encourage:
 
 
226
* New functionality should have test cases.  Preferably write the
 
 
227
  test before writing the code.
 
 
229
  In general, you can test at either the command-line level or the
 
 
230
  internal API level.  See Writing tests below for more detail.
 
 
232
* Try to practice Test-Driven Development: before fixing a bug, write a
 
 
233
  test case so that it does not regress.  Similarly for adding a new
 
 
234
  feature: write a test case for a small version of the new feature before
 
 
235
  starting on the code itself.  Check the test fails on the old code, then
 
 
236
  add the feature or fix and check it passes.
 
 
238
By doing these things, the Bazaar team gets increased confidence that
 
 
239
changes do what they claim to do, whether provided by the core team or
 
 
240
by community members. Equally importantly, we can be surer that changes
 
 
241
down the track do not break new features or bug fixes that you are
 
 
244
As of May 2007, Bazaar ships with a test suite containing over 6000 tests
 
 
245
and growing. We are proud of it and want to remain so. As community
 
 
246
members, we all benefit from it. Would you trust version control on
 
 
247
your project to a product *without* a test suite like Bazaar has?
 
 
250
Running the Test Suite
 
 
251
======================
 
 
253
Currently, bzr selftest is used to invoke tests.
 
 
254
You can provide a pattern argument to run a subset. For example, 
 
 
255
to run just the blackbox tests, run::
 
 
257
  ./bzr selftest -v blackbox
 
 
259
To skip a particular test (or set of tests), use the --exclude option
 
 
260
(shorthand -x) like so::
 
 
262
  ./bzr selftest -v -x blackbox  
 
 
264
To ensure that all tests are being run and succeeding, you can use the
 
 
265
--strict option which will fail if there are any missing features or known
 
 
268
  ./bzr selftest --strict
 
 
270
To list tests without running them, use the --list-only option like so::
 
 
272
  ./bzr selftest --list-only
 
 
274
This option can be combined with other selftest options (like -x) and
 
 
275
filter patterns to understand their effect.
 
 
281
In general tests should be placed in a file named test_FOO.py where 
 
 
282
FOO is the logical thing under test. That file should be placed in the
 
 
283
tests subdirectory under the package being tested.
 
 
285
For example, tests for merge3 in bzrlib belong in bzrlib/tests/test_merge3.py.
 
 
286
See bzrlib/tests/test_sampler.py for a template test script.
 
 
288
Tests can be written for the UI or for individual areas of the library.
 
 
289
Choose whichever is appropriate: if adding a new command, or a new command 
 
 
290
option, then you should be writing a UI test.  If you are both adding UI
 
 
291
functionality and library functionality, you will want to write tests for 
 
 
292
both the UI and the core behaviours.  We call UI tests 'blackbox' tests
 
 
293
and they are found in ``bzrlib/tests/blackbox/*.py``. 
 
 
295
When writing blackbox tests please honour the following conventions:
 
 
297
 1. Place the tests for the command 'name' in
 
 
298
    bzrlib/tests/blackbox/test_name.py. This makes it easy for developers
 
 
299
    to locate the test script for a faulty command.
 
 
301
 2. Use the 'self.run_bzr("name")' utility function to invoke the command
 
 
302
    rather than running bzr in a subprocess or invoking the
 
 
303
    cmd_object.run() method directly. This is a lot faster than
 
 
304
    subprocesses and generates the same logging output as running it in a
 
 
305
    subprocess (which invoking the method directly does not).
 
 
307
 3. Only test the one command in a single test script. Use the bzrlib 
 
 
308
    library when setting up tests and when evaluating the side-effects of
 
 
309
    the command. We do this so that the library api has continual pressure
 
 
310
    on it to be as functional as the command line in a simple manner, and
 
 
311
    to isolate knock-on effects throughout the blackbox test suite when a
 
 
312
    command changes its name or signature. Ideally only the tests for a
 
 
313
    given command are affected when a given command is changed.
 
 
315
 4. If you have a test which does actually require running bzr in a
 
 
316
    subprocess you can use ``run_bzr_subprocess``. By default the spawned
 
 
317
    process will not load plugins unless ``--allow-plugins`` is supplied.
 
 
323
We make selective use of doctests__.  In general they should provide 
 
 
324
*examples* within the API documentation which can incidentally be tested.  We 
 
 
325
don't try to test every important case using doctests -- regular Python
 
 
326
tests are generally a better solution.
 
 
328
Most of these are in ``bzrlib/doc/api``.  More additions are welcome.
 
 
330
  __ http://docs.python.org/lib/module-doctest.html
 
 
333
Skipping tests and test requirements
 
 
334
------------------------------------
 
 
336
In our enhancements to unittest we allow for some addition results beyond
 
 
337
just success or failure.
 
 
339
If a test can't be run, it can say that it's skipped.  This is typically
 
 
340
used in parameterized tests - for example if a transport doesn't support
 
 
341
setting permissions, we'll skip the tests that relating to that.  ::
 
 
344
        return self.branch_format.initialize(repo.bzrdir)
 
 
345
    except errors.UninitializableFormat:
 
 
346
        raise tests.TestSkipped('Uninitializable branch format')
 
 
348
Raising TestSkipped is a good idea when you want to make it clear that the
 
 
349
test was not run, rather than just returning which makes it look as if it
 
 
352
Several different cases are distinguished:
 
 
355
        Generic skip; the only type that was present up to bzr 0.18.
 
 
358
        The test doesn't apply to the parameters with which it was run.
 
 
359
        This is typically used when the test is being applied to all
 
 
360
        implementations of an interface, but some aspects of the interface
 
 
361
        are optional and not present in particular concrete
 
 
362
        implementations.  (Some tests that should raise this currently
 
 
363
        either silently return or raise TestSkipped.)  Another option is
 
 
364
        to use more precise parameterization to avoid generating the test
 
 
368
        **(Not implemented yet)**
 
 
369
        The test can't be run because of an inherent limitation of the
 
 
370
        environment, such as not having symlinks or not supporting
 
 
374
        The test can't be run because a dependency (typically a Python
 
 
375
        library) is not available in the test environment.  These
 
 
376
        are in general things that the person running the test could fix 
 
 
377
        by installing the library.  It's OK if some of these occur when 
 
 
378
        an end user runs the tests or if we're specifically testing in a
 
 
379
        limited environment, but a full test should never see them.
 
 
382
        The test exists but is known to fail, for example because the 
 
 
383
        code to fix it hasn't been run yet.  Raising this allows 
 
 
384
        you to distinguish these failures from the ones that are not 
 
 
385
        expected to fail.  This could be conditionally raised if something
 
 
386
        is broken on some platforms but not on others.
 
 
388
We plan to support three modes for running the test suite to control the
 
 
389
interpretation of these results.  Strict mode is for use in situations
 
 
390
like merges to the mainline and releases where we want to make sure that
 
 
391
everything that can be tested has been tested.  Lax mode is for use by
 
 
392
developers who want to temporarily tolerate some known failures.  The
 
 
393
default behaviour is obtained by ``bzr selftest`` with no options, and
 
 
394
also (if possible) by running under another unittest harness.
 
 
396
======================= ======= ======= ========
 
 
397
result                  strict  default lax
 
 
398
======================= ======= ======= ========
 
 
399
TestSkipped             pass    pass    pass
 
 
400
TestNotApplicable       pass    pass    pass
 
 
401
TestPlatformLimit       pass    pass    pass
 
 
402
TestDependencyMissing   fail    pass    pass
 
 
403
KnownFailure            fail    pass    pass
 
 
404
======================= ======= ======= ========
 
 
407
Test feature dependencies
 
 
408
-------------------------
 
 
410
Rather than manually checking the environment in each test, a test class
 
 
411
can declare its dependence on some test features.  The feature objects are
 
 
412
checked only once for each run of the whole test suite.
 
 
414
For historical reasons, as of May 2007 many cases that should depend on
 
 
415
features currently raise TestSkipped.)
 
 
419
    class TestStrace(TestCaseWithTransport):
 
 
421
        _test_needs_features = [StraceFeature]
 
 
423
This means all tests in this class need the feature.  The feature itself
 
 
424
should provide a ``_probe`` method which is called once to determine if
 
 
427
These should generally be equivalent to either TestDependencyMissing or
 
 
428
sometimes TestPlatformLimit.
 
 
434
Known failures are when a test exists but we know it currently doesn't
 
 
435
work, allowing the test suite to still pass.  These should be used with
 
 
436
care, we don't want a proliferation of quietly broken tests.  It might be
 
 
437
appropriate to use them if you've committed a test for a bug but not the
 
 
438
fix for it, or if something works on Unix but not on Windows.
 
 
441
Testing exceptions and errors
 
 
442
-----------------------------
 
 
444
It's important to test handling of errors and exceptions.  Because this
 
 
445
code is often not hit in ad-hoc testing it can often have hidden bugs --
 
 
446
it's particularly common to get NameError because the exception code
 
 
447
references a variable that has since been renamed.
 
 
449
.. TODO: Something about how to provoke errors in the right way?
 
 
451
In general we want to test errors at two levels:
 
 
453
1. A test in ``test_errors.py`` checking that when the exception object is
 
 
454
   constructed with known parameters it produces an expected string form.
 
 
455
   This guards against mistakes in writing the format string, or in the
 
 
456
   ``str`` representations of its parameters.  There should be one for
 
 
457
   each exception class.
 
 
459
2. Tests that when an api is called in a particular situation, it raises
 
 
460
   an error of the expected class.  You should typically use
 
 
461
   ``assertRaises``, which in the Bazaar test suite returns the exception
 
 
462
   object to allow you to examine its parameters.  
 
 
464
In some cases blackbox tests will also want to check error reporting.  But
 
 
465
it can be difficult to provoke every error through the commandline
 
 
466
interface, so those tests are only done as needed -- eg in response to a
 
 
467
particular bug or if the error is reported in an unusual way(?)  Blackbox
 
 
468
tests should mostly be testing how the command-line interface works, so
 
 
469
should only test errors if there is something particular to the cli in how
 
 
470
they're displayed or handled.
 
 
476
The Python ``warnings`` module is used to indicate a non-fatal code
 
 
477
problem.  Code that's expected to raise a warning can be tested through
 
 
480
The test suite can be run with ``-Werror`` to check no unexpected errors
 
 
483
However, warnings should be used with discretion.  It's not an appropriate
 
 
484
way to give messages to the user, because the warning is normally shown
 
 
485
only once per source line that causes the problem.  You should also think
 
 
486
about whether the warning is serious enought that it should be visible to
 
 
487
users who may not be able to fix it.
 
 
490
Interface implementation testing and test scenarios
 
 
491
---------------------------------------------------
 
 
493
There are several cases in Bazaar of multiple implementations of a common 
 
 
494
conceptual interface.  ("Conceptual" because 
 
 
495
it's not necessary for all the implementations to share a base class,
 
 
496
though they often do.)  Examples include transports and the working tree,
 
 
497
branch and repository classes. 
 
 
499
In these cases we want to make sure that every implementation correctly
 
 
500
fulfils the interface requirements.  For example, every Transport should
 
 
501
support the ``has()`` and ``get()`` and ``clone()`` methods.  We have a
 
 
502
sub-suite of tests in ``test_transport_implementations``.  (Most
 
 
503
per-implementation tests are in submodules of ``bzrlib.tests``, but not
 
 
504
the transport tests at the moment.)  
 
 
506
These tests are repeated for each registered Transport, by generating a
 
 
507
new TestCase instance for the cross product of test methods and transport
 
 
508
implementations.  As each test runs, it has ``transport_class`` and
 
 
509
``transport_server`` set to the class it should test.  Most tests don't
 
 
510
access these directly, but rather use ``self.get_transport`` which returns
 
 
511
a transport of the appropriate type.
 
 
513
The goal is to run per-implementation only tests that relate to that
 
 
514
particular interface.  Sometimes we discover a bug elsewhere that happens
 
 
515
with only one particular transport.  Once it's isolated, we can consider 
 
 
516
whether a test should be added for that particular implementation,
 
 
517
or for all implementations of the interface.
 
 
519
The multiplication of tests for different implementations is normally 
 
 
520
accomplished by overriding the ``test_suite`` function used to load 
 
 
521
tests from a module.  This function typically loads all the tests,
 
 
522
then applies a TestProviderAdapter to them, which generates a longer 
 
 
523
suite containing all the test variations.
 
 
529
Some utilities are provided for generating variations of tests.  This can
 
 
530
be used for per-implementation tests, or other cases where the same test
 
 
531
code needs to run several times on different scenarios.
 
 
533
The general approach is to define a class that provides test methods,
 
 
534
which depend on attributes of the test object being pre-set with the
 
 
535
values to which the test should be applied.  The test suite should then
 
 
536
also provide a list of scenarios in which to run the tests.
 
 
538
Typically ``multiply_tests_from_modules`` should be called from the test
 
 
539
module's ``test_suite`` function.
 
 
542
Essential Domain Classes
 
 
543
########################
 
 
545
Introducing the Object Model
 
 
546
============================
 
 
548
The core domain objects within the bazaar model are:
 
 
558
Transports are explained below. See http://bazaar-vcs.org/Classes/
 
 
559
for an introduction to the other key classes.
 
 
564
The ``Transport`` layer handles access to local or remote directories.
 
 
565
Each Transport object acts like a logical connection to a particular
 
 
566
directory, and it allows various operations on files within it.  You can
 
 
567
*clone* a transport to get a new Transport connected to a subdirectory or
 
 
570
Transports are not used for access to the working tree.  At present
 
 
571
working trees are always local and they are accessed through the regular
 
 
572
Python file io mechanisms.
 
 
577
Transports work in URLs.  Take note that URLs are by definition only
 
 
578
ASCII - the decision of how to encode a Unicode string into a URL must be
 
 
579
taken at a higher level, typically in the Store.  (Note that Stores also
 
 
580
escape filenames which cannot be safely stored on all filesystems, but
 
 
581
this is a different level.)
 
 
583
The main reason for this is that it's not possible to safely roundtrip a
 
 
584
URL into Unicode and then back into the same URL.  The URL standard
 
 
585
gives a way to represent non-ASCII bytes in ASCII (as %-escapes), but
 
 
586
doesn't say how those bytes represent non-ASCII characters.  (They're not
 
 
587
guaranteed to be UTF-8 -- that is common but doesn't happen everywhere.)
 
 
589
For example if the user enters the url ``http://example/%e0`` there's no
 
 
590
way to tell whether that character represents "latin small letter a with
 
 
591
grave" in iso-8859-1, or "latin small letter r with acute" in iso-8859-2
 
 
592
or malformed UTF-8.  So we can't convert their URL to Unicode reliably.
 
 
594
Equally problematic if we're given a url-like string containing non-ascii
 
 
595
characters (such as the accented a) we can't be sure how to convert that
 
 
596
to the correct URL, because we don't know what encoding the server expects
 
 
597
for those characters.  (Although this is not totally reliable we might still
 
 
598
accept these and assume they should be put into UTF-8.)
 
 
600
A similar edge case is that the url ``http://foo/sweet%2Fsour`` contains
 
 
601
one directory component whose name is "sweet/sour".  The escaped slash is
 
 
602
not a directory separator.  If we try to convert URLs to regular Unicode
 
 
603
paths this information will be lost.
 
 
605
This implies that Transports must natively deal with URLs; for simplicity
 
 
606
they *only* deal with URLs and conversion of other strings to URLs is done
 
 
607
elsewhere.  Information they return, such as from ``list_dir``, is also in
 
 
608
the form of URL components.
 
 
617
We have a commitment to 6 months API stability - any supported symbol in a
 
 
618
release of bzr MUST NOT be altered in any way that would result in
 
 
619
breaking existing code that uses it. That means that method names,
 
 
620
parameter ordering, parameter names, variable and attribute names etc must
 
 
621
not be changed without leaving a 'deprecated forwarder' behind. This even
 
 
622
applies to modules and classes.
 
 
624
If you wish to change the behaviour of a supported API in an incompatible
 
 
625
way, you need to change its name as well. For instance, if I add an optional keyword
 
 
626
parameter to branch.commit - that's fine. On the other hand, if I add a
 
 
627
keyword parameter to branch.commit which is a *required* transaction
 
 
628
object, I should rename the API - i.e. to 'branch.commit_transaction'. 
 
 
630
When renaming such supported API's, be sure to leave a deprecated_method (or
 
 
631
_function or ...) behind which forwards to the new API. See the
 
 
632
bzrlib.symbol_versioning module for decorators that take care of the
 
 
633
details for you - such as updating the docstring, and issuing a warning
 
 
634
when the old api is used.
 
 
636
For unsupported API's, it does not hurt to follow this discipline, but it's
 
 
637
not required. Minimally though, please try to rename things so that
 
 
638
callers will at least get an AttributeError rather than weird results.
 
 
641
Deprecation decorators
 
 
642
----------------------
 
 
644
``bzrlib.symbol_versioning`` provides decorators that can be attached to
 
 
645
methods, functions, and other interfaces to indicate that they should no
 
 
648
To deprecate a static method you must call ``deprecated_function``
 
 
649
(**not** method), after the staticmethod call::
 
 
652
    @deprecated_function(zero_ninetyone)
 
 
653
    def create_repository(base, shared=False, format=None):
 
 
655
When you deprecate an API, you should not just delete its tests, because
 
 
656
then we might introduce bugs in them.  If the API is still present at all,
 
 
657
it should still work.  The basic approach is to use
 
 
658
``TestCase.applyDeprecated`` which in one step checks that the API gives
 
 
659
the expected deprecation message, and also returns the real result from
 
 
660
the method, so that tests can keep running.
 
 
662
Coding Style Guidelines
 
 
663
=======================
 
 
668
Please write PEP-8__ compliant code.  
 
 
670
__ http://www.python.org/peps/pep-0008.html
 
 
672
One often-missed requirement is that the first line of docstrings
 
 
673
should be a self-contained one-sentence summary.
 
 
675
We use 4 space indents for blocks, and never use tab characters.  (In vim,
 
 
678
Lines should be no more than 79 characters if at all possible.
 
 
679
Lines that continue a long statement may be indented in either of 
 
 
682
within the parenthesis or other character that opens the block, e.g.::
 
 
688
or indented by four spaces::
 
 
694
The first is considered clearer by some people; however it can be a bit
 
 
695
harder to maintain (e.g. when the method name changes), and it does not
 
 
696
work well if the relevant parenthesis is already far to the right.  Avoid
 
 
699
     self.legbone.kneebone.shinbone.toebone.shake_it(one,
 
 
705
     self.legbone.kneebone.shinbone.toebone.shake_it(one,
 
 
711
     self.legbone.kneebone.shinbone.toebone.shake_it(
 
 
714
For long lists, we like to add a trailing comma and put the closing
 
 
715
character on the following line.  This makes it easier to add new items in
 
 
718
    from bzrlib.goo import (
 
 
724
There should be spaces between function paramaters, but not between the
 
 
725
keyword name and the value::
 
 
727
    call(1, 3, cheese=quark)
 
 
731
    ;(defface my-invalid-face
 
 
732
    ;  '((t (:background "Red" :underline t)))
 
 
733
    ;  "Face used to highlight invalid constructs or other uglyties"
 
 
736
    (defun my-python-mode-hook ()
 
 
737
     ;; setup preferred indentation style.
 
 
738
     (setq fill-column 79)
 
 
739
     (setq indent-tabs-mode nil) ; no tabs, never, I will not repeat
 
 
740
    ;  (font-lock-add-keywords 'python-mode
 
 
741
    ;                         '(("^\\s *\t" . 'my-invalid-face) ; Leading tabs
 
 
742
    ;                            ("[ \t]+$" . 'my-invalid-face)  ; Trailing spaces
 
 
743
    ;                            ("^[ \t]+$" . 'my-invalid-face)); Spaces only
 
 
747
    (add-hook 'python-mode-hook 'my-python-mode-hook)
 
 
749
The lines beginning with ';' are comments. They can be activated
 
 
750
if one want to have a strong notice of some tab/space usage
 
 
757
* Imports should be done at the top-level of the file, unless there is
 
 
758
  a strong reason to have them lazily loaded when a particular
 
 
759
  function runs.  Import statements have a cost, so try to make sure
 
 
760
  they don't run inside hot functions.
 
 
762
* Module names should always be given fully-qualified,
 
 
763
  i.e. ``bzrlib.hashcache`` not just ``hashcache``.
 
 
769
Functions, methods or members that are "private" to bzrlib are given
 
 
770
a leading underscore prefix.  Names without a leading underscore are
 
 
771
public not just across modules but to programmers using bzrlib as an
 
 
772
API. As a consequence, a leading underscore is appropriate for names
 
 
773
exposed across modules but that are not to be exposed to bzrlib API
 
 
776
We prefer class names to be concatenated capital words (``TestCase``)
 
 
777
and variables, methods and functions to be lowercase words joined by
 
 
778
underscores (``revision_id``, ``get_revision``).
 
 
780
For the purposes of naming some names are treated as single compound
 
 
781
words: "filename", "revno".
 
 
783
Consider naming classes as nouns and functions/methods as verbs.
 
 
785
Try to avoid using abbreviations in names, because there can be
 
 
786
inconsistency if other people use the full name.
 
 
792
``revision_id`` not ``rev_id`` or ``revid``
 
 
794
Functions that transform one thing to another should be named ``x_to_y``
 
 
795
(not ``x2y`` as occurs in some old code.)
 
 
801
Python destructors (``__del__``) work differently to those of other
 
 
802
languages.  In particular, bear in mind that destructors may be called
 
 
803
immediately when the object apparently becomes unreferenced, or at some
 
 
804
later time, or possibly never at all.  Therefore we have restrictions on
 
 
805
what can be done inside them.
 
 
807
 0. Never use a __del__ method without asking Martin/Robert first.
 
 
809
 1. Never rely on a ``__del__`` method running.  If there is code that
 
 
810
    must run, do it from a ``finally`` block instead.
 
 
812
 2. Never ``import`` from inside a ``__del__`` method, or you may crash the
 
 
815
 3. In some places we raise a warning from the destructor if the object
 
 
816
    has not been cleaned up or closed.  This is considered OK: the warning
 
 
817
    may not catch every case but it's still useful sometimes.
 
 
823
In some places we have variables which point to callables that construct
 
 
824
new instances.  That is to say, they can be used a lot like class objects,
 
 
825
but they shouldn't be *named* like classes:
 
 
827
> I think that things named FooBar should create instances of FooBar when
 
 
828
> called. Its plain confusing for them to do otherwise. When we have
 
 
829
> something that is going to be used as a class - that is, checked for via
 
 
830
> isinstance or other such idioms, them I would call it foo_class, so that
 
 
831
> it is clear that a callable is not sufficient. If it is only used as a
 
 
832
> factory, then yes, foo_factory is what I would use.
 
 
838
Several places in Bazaar use (or will use) a registry, which is a 
 
 
839
mapping from names to objects or classes.  The registry allows for 
 
 
840
loading in registered code only when it's needed, and keeping
 
 
841
associated information such as a help string or description.
 
 
847
To make startup time faster, we use the ``bzrlib.lazy_import`` module to
 
 
848
delay importing modules until they are actually used. ``lazy_import`` uses
 
 
849
the same syntax as regular python imports. So to import a few modules in a
 
 
852
  from bzrlib.lazy_import import lazy_import
 
 
853
  lazy_import(globals(), """
 
 
862
     revision as _mod_revision,
 
 
864
  import bzrlib.transport
 
 
868
At this point, all of these exist as a ``ImportReplacer`` object, ready to
 
 
869
be imported once a member is accessed. Also, when importing a module into
 
 
870
the local namespace, which is likely to clash with variable names, it is
 
 
871
recommended to prefix it as ``_mod_<module>``. This makes it clearer that
 
 
872
the variable is a module, and these object should be hidden anyway, since
 
 
873
they shouldn't be imported into other namespaces.
 
 
876
Modules versus Members
 
 
877
~~~~~~~~~~~~~~~~~~~~~~
 
 
879
While it is possible for ``lazy_import()`` to import members of a module
 
 
880
when using the ``from module import member`` syntax, it is recommended to
 
 
881
only use that syntax to load sub modules ``from module import submodule``.
 
 
882
This is because variables and classes can frequently be used without
 
 
883
needing a sub-member for example::
 
 
885
  lazy_import(globals(), """
 
 
886
  from module import MyClass
 
 
890
      return isinstance(x, MyClass)
 
 
892
This will incorrectly fail, because ``MyClass`` is a ``ImportReplacer``
 
 
893
object, rather than the real class.
 
 
896
Passing to Other Variables
 
 
897
~~~~~~~~~~~~~~~~~~~~~~~~~~
 
 
899
It also is incorrect to assign ``ImportReplacer`` objects to other variables.
 
 
900
Because the replacer only knows about the original name, it is unable to
 
 
901
replace other variables. The ``ImportReplacer`` class will raise an
 
 
902
``IllegalUseOfScopeReplacer`` exception if it can figure out that this
 
 
903
happened. But it requires accessing a member more than once from the new
 
 
904
variable, so some bugs are not detected right away.
 
 
910
The null revision is the ancestor of all revisions.  Its revno is 0, its
 
 
911
revision-id is ``null:``, and its tree is the empty tree.  When referring
 
 
912
to the null revision, please use ``bzrlib.revision.NULL_REVISION``.  Old
 
 
913
code sometimes uses ``None`` for the null revision, but this practice is
 
 
920
Processing Command Lines
 
 
921
------------------------
 
 
923
bzrlib has a standard framework for parsing command lines and calling
 
 
924
processing routines associated with various commands. See builtins.py
 
 
925
for numerous examples.
 
 
928
Standard Parameter Types
 
 
929
------------------------
 
 
931
There are some common requirements in the library: some parameters need to be
 
 
932
unicode safe, some need byte strings, and so on. At the moment we have
 
 
933
only codified one specific pattern: Parameters that need to be unicode
 
 
934
should be checked via ``bzrlib.osutils.safe_unicode``. This will coerce the
 
 
935
input into unicode in a consistent fashion, allowing trivial strings to be
 
 
936
used for programmer convenience, but not performing unpredictably in the
 
 
937
presence of different locales.
 
 
943
(The strategy described here is what we want to get to, but it's not
 
 
944
consistently followed in the code at the moment.)
 
 
946
bzrlib is intended to be a generically reusable library.  It shouldn't
 
 
947
write messages to stdout or stderr, because some programs that use it
 
 
948
might want to display that information through a GUI or some other
 
 
951
We can distinguish two types of output from the library:
 
 
953
 1. Structured data representing the progress or result of an
 
 
954
    operation.  For example, for a commit command this will be a list
 
 
955
    of the modified files and the finally committed revision number
 
 
958
    These should be exposed either through the return code or by calls
 
 
959
    to a callback parameter.
 
 
961
    A special case of this is progress indicators for long-lived
 
 
962
    operations, where the caller should pass a ProgressBar object.
 
 
964
 2. Unstructured log/debug messages, mostly for the benefit of the
 
 
965
    developers or users trying to debug problems.  This should always
 
 
966
    be sent through ``bzrlib.trace`` and Python ``logging``, so that
 
 
967
    it can be redirected by the client.
 
 
969
The distinction between the two is a bit subjective, but in general if
 
 
970
there is any chance that a library would want to see something as
 
 
971
structured data, we should make it so.
 
 
973
The policy about how output is presented in the text-mode client
 
 
974
should be only in the command-line tool.
 
 
981
Bazaar has online help for various topics through ``bzr help COMMAND`` or
 
 
982
equivalently ``bzr command -h``.  We also have help on command options,
 
 
983
and on other help topics.  (See ``help_topics.py``.)
 
 
985
As for python docstrings, the first paragraph should be a single-sentence
 
 
986
synopsis of the command.
 
 
988
The help for options should be one or more proper sentences, starting with
 
 
989
a capital letter and finishing with a full stop (period).
 
 
991
All help messages and documentation should have two spaces between
 
 
998
In general tests should be placed in a file named test_FOO.py where 
 
 
999
FOO is the logical thing under test. That file should be placed in the
 
 
1000
tests subdirectory under the package being tested.
 
 
1002
For example, tests for merge3 in bzrlib belong in bzrlib/tests/test_merge3.py.
 
 
1003
See bzrlib/tests/test_sampler.py for a template test script.
 
 
1005
Tests can be written for the UI or for individual areas of the library.
 
 
1006
Choose whichever is appropriate: if adding a new command, or a new command 
 
 
1007
option, then you should be writing a UI test.  If you are both adding UI
 
 
1008
functionality and library functionality, you will want to write tests for 
 
 
1009
both the UI and the core behaviours.  We call UI tests 'blackbox' tests
 
 
1010
and they are found in ``bzrlib/tests/blackbox/*.py``. 
 
 
1012
When writing blackbox tests please honour the following conventions:
 
 
1014
 1. Place the tests for the command 'name' in
 
 
1015
    bzrlib/tests/blackbox/test_name.py. This makes it easy for developers
 
 
1016
    to locate the test script for a faulty command.
 
 
1018
 2. Use the 'self.run_bzr("name")' utility function to invoke the command
 
 
1019
    rather than running bzr in a subprocess or invoking the
 
 
1020
    cmd_object.run() method directly. This is a lot faster than
 
 
1021
    subprocesses and generates the same logging output as running it in a
 
 
1022
    subprocess (which invoking the method directly does not).
 
 
1024
 3. Only test the one command in a single test script. Use the bzrlib 
 
 
1025
    library when setting up tests and when evaluating the side-effects of
 
 
1026
    the command. We do this so that the library api has continual pressure
 
 
1027
    on it to be as functional as the command line in a simple manner, and
 
 
1028
    to isolate knock-on effects throughout the blackbox test suite when a
 
 
1029
    command changes its name or signature. Ideally only the tests for a
 
 
1030
    given command are affected when a given command is changed.
 
 
1032
 4. If you have a test which does actually require running bzr in a
 
 
1033
    subprocess you can use ``run_bzr_subprocess``. By default the spawned
 
 
1034
    process will not load plugins unless ``--allow-plugins`` is supplied.
 
 
1040
We have a rich collection of tools to support writing tests. Please use
 
 
1041
them in preference to ad-hoc solutions as they provide portability and
 
 
1042
performance benefits.
 
 
1047
The ``TreeBuilder`` interface allows the construction of arbitrary trees
 
 
1048
with a declarative interface. A sample session might look like::
 
 
1050
  tree = self.make_branch_and_tree('path')
 
 
1051
  builder = TreeBuilder()
 
 
1052
  builder.start_tree(tree)
 
 
1053
  builder.build(['foo', "bar/", "bar/file"])
 
 
1054
  tree.commit('commit the tree')
 
 
1055
  builder.finish_tree()
 
 
1057
Please see bzrlib.treebuilder for more details.
 
 
1062
The ``BranchBuilder`` interface allows the creation of test branches in a
 
 
1063
quick and easy manner. A sample session::
 
 
1065
  builder = BranchBuilder(self.get_transport().clone('relpath'))
 
 
1066
  builder.build_commit()
 
 
1067
  builder.build_commit()
 
 
1068
  builder.build_commit()
 
 
1069
  branch = builder.get_branch()
 
 
1071
Please see bzrlib.branchbuilder for more details.
 
 
1076
We make selective use of doctests__.  In general they should provide 
 
 
1077
*examples* within the API documentation which can incidentally be tested.  We 
 
 
1078
don't try to test every important case using doctests -- regular Python
 
 
1079
tests are generally a better solution.
 
 
1081
Most of these are in ``bzrlib/doc/api``.  More additions are welcome.
 
 
1083
  __ http://docs.python.org/lib/module-doctest.html
 
 
1088
Currently, bzr selftest is used to invoke tests.
 
 
1089
You can provide a pattern argument to run a subset. For example, 
 
 
1090
to run just the blackbox tests, run::
 
 
1092
  ./bzr selftest -v blackbox
 
 
1094
To skip a particular test (or set of tests), use the --exclude option
 
 
1095
(shorthand -x) like so::
 
 
1097
  ./bzr selftest -v -x blackbox  
 
 
1099
To list tests without running them, use the --list-only option like so::
 
 
1101
  ./bzr selftest --list-only
 
 
1103
This option can be combined with other selftest options (like -x) and
 
 
1104
filter patterns to understand their effect.
 
 
1107
Handling Errors and Exceptions
 
 
1108
==============================
 
 
1110
Commands should return non-zero when they encounter circumstances that
 
 
1111
the user should really pay attention to - which includes trivial shell
 
 
1114
Recommended values are:
 
 
1117
    1. Conflicts in merge-like operations, or changes are present in
 
 
1118
       diff-like operations. 
 
 
1119
    2. Unrepresentable diff changes (i.e. binary files that we cannot show 
 
 
1121
    3. An error or exception has occurred.
 
 
1122
    4. An internal error occurred (one that shows a traceback.)
 
 
1124
Errors are handled through Python exceptions. Exceptions should be defined
 
 
1125
inside bzrlib.errors, so that we can see the whole tree at a glance.
 
 
1127
We broadly classify errors as either being either internal or not,
 
 
1128
depending on whether ``internal_error`` is set or not.  If we think it's our
 
 
1129
fault, we show a backtrace, an invitation to report the bug, and possibly
 
 
1130
other details.  This is the default for errors that aren't specifically
 
 
1131
recognized as being caused by a user error.  Otherwise we show a briefer
 
 
1132
message, unless -Derror was given.
 
 
1134
Many errors originate as "environmental errors" which are raised by Python
 
 
1135
or builtin libraries -- for example IOError.  These are treated as being
 
 
1136
our fault, unless they're caught in a particular tight scope where we know
 
 
1137
that they indicate a user errors.  For example if the repository format
 
 
1138
is not found, the user probably gave the wrong path or URL.  But if one of
 
 
1139
the files inside the repository is not found, then it's our fault --
 
 
1140
either there's a bug in bzr, or something complicated has gone wrong in
 
 
1141
the environment that means one internal file was deleted.
 
 
1143
Many errors are defined in ``bzrlib/errors.py`` but it's OK for new errors
 
 
1144
to be added near the place where they are used.
 
 
1146
Exceptions are formatted for the user by conversion to a string
 
 
1147
(eventually calling their ``__str__`` method.)  As a convenience the
 
 
1148
``._fmt`` member can be used as a template which will be mapped to the
 
 
1149
error's instance dict.
 
 
1151
New exception classes should be defined when callers might want to catch
 
 
1152
that exception specifically, or when it needs a substantially different
 
 
1155
Exception strings should start with a capital letter and should not have a
 
 
1156
final fullstop.  If long, they may contain newlines to break the text.
 
 
1162
When you change bzrlib, please update the relevant documentation for the
 
 
1163
change you made: Changes to commands should update their help, and
 
 
1164
possibly end user tutorials; changes to the core library should be
 
 
1165
reflected in API documentation.
 
 
1170
If you make a user-visible change, please add a note to the NEWS file.
 
 
1171
The description should be written to make sense to someone who's just
 
 
1172
a user of bzr, not a developer: new functions or classes shouldn't be
 
 
1173
mentioned, but new commands, changes in behaviour or fixed nontrivial
 
 
1174
bugs should be listed.  See the existing entries for an idea of what
 
 
1177
Within each release, entries in the news file should have the most
 
 
1178
user-visible changes first.  So the order should be approximately:
 
 
1180
 * changes to existing behaviour - the highest priority because the 
 
 
1181
   user's existing knowledge is incorrect
 
 
1182
 * new features - should be brought to their attention
 
 
1183
 * bug fixes - may be of interest if the bug was affecting them, and
 
 
1184
   should include the bug number if any
 
 
1185
 * major documentation changes
 
 
1186
 * changes to internal interfaces
 
 
1188
People who made significant contributions to each change are listed in
 
 
1189
parenthesis.  This can include reporting bugs (particularly with good
 
 
1190
details or reproduction recipes), submitting patches, etc.
 
 
1195
The docstring of a command is used by ``bzr help`` to generate help output
 
 
1196
for the command. The list 'takes_options' attribute on a command is used by
 
 
1197
``bzr help`` to document the options for the command - the command
 
 
1198
docstring does not need to document them. Finally, the '_see_also'
 
 
1199
attribute on a command can be used to reference other related help topics.
 
 
1204
Functions, methods, classes and modules should have docstrings
 
 
1205
describing how they are used. 
 
 
1207
The first line of the docstring should be a self-contained sentence.
 
 
1209
For the special case of Command classes, this acts as the user-visible
 
 
1210
documentation shown by the help command.
 
 
1212
The docstrings should be formatted as reStructuredText_ (like this
 
 
1213
document), suitable for processing using the epydoc_ tool into HTML
 
 
1216
.. _reStructuredText: http://docutils.sourceforge.net/rst.html
 
 
1217
.. _epydoc: http://epydoc.sourceforge.net/
 
 
1226
The copyright policy for bzr was recently made clear in this email (edited
 
 
1227
for grammatical correctness)::
 
 
1229
    The attached patch cleans up the copyright and license statements in
 
 
1230
    the bzr source. It also adds tests to help us remember to add them
 
 
1231
    with the correct text.
 
 
1233
    We had the problem that lots of our files were "Copyright Canonical
 
 
1234
    Development Ltd" which is not a real company, and some other variations
 
 
1235
    on this theme. Also, some files were missing the GPL statements.
 
 
1237
    I want to be clear about the intent of this patch, since copyright can
 
 
1238
    be a little controversial.
 
 
1240
    1) The big motivation for this is not to shut out the community, but
 
 
1241
    just to clean up all of the invalid copyright statements.
 
 
1243
    2) It has been the general policy for bzr that we want a single
 
 
1244
    copyright holder for all of the core code. This is following the model
 
 
1245
    set by the FSF, which makes it easier to update the code to a new
 
 
1246
    license in case problems are encountered. (For example, if we want to
 
 
1247
    upgrade the project universally to GPL v3 it is much simpler if there is
 
 
1248
    a single copyright holder). It also makes it clearer if copyright is
 
 
1249
    ever debated, there is a single holder, which makes it easier to defend
 
 
1250
    in court, etc. (I think the FSF position is that if you assign them
 
 
1251
    copyright, they can defend it in court rather than you needing to, and
 
 
1252
    I'm sure Canonical would do the same).
 
 
1253
    As such, Canonical has requested copyright assignments from all of the
 
 
1256
    3) If someone wants to add code and not attribute it to Canonical, there
 
 
1257
    is a specific list of files that are excluded from this check. And the
 
 
1258
    test failure indicates where that is, and how to update it.
 
 
1260
    4) If anyone feels that I changed a copyright statement incorrectly, just
 
 
1261
    let me know, and I'll be happy to correct it. Whenever you have large
 
 
1262
    mechanical changes like this, it is possible to make some mistakes.
 
 
1264
    Just to reiterate, this is a community project, and it is meant to stay
 
 
1265
    that way. Core bzr code is copyright Canonical for legal reasons, and
 
 
1266
    the tests are just there to help us maintain that.
 
 
1269
Miscellaneous Topics
 
 
1270
####################
 
 
1275
Bazaar has a few facilities to help debug problems by going into pdb_, the
 
 
1278
.. _pdb: http://docs.python.org/lib/debugger-commands.html
 
 
1280
If the ``BZR_PDB`` environment variable is set 
 
 
1281
then bzr will go into pdb post-mortem mode when an unhandled exception
 
 
1284
If you send a SIGQUIT signal to bzr, which can be done by pressing
 
 
1285
Ctrl-\\ on Unix, bzr will go into the debugger immediately.  You can
 
 
1286
continue execution by typing ``c``.  This can be disabled if necessary
 
 
1287
by setting the environment variable ``BZR_SIGQUIT_PDB=0``.
 
 
1294
    Integer identifier for a revision on the main line of a branch.
 
 
1295
    Revision 0 is always the null revision; others are 1-based
 
 
1296
    indexes into the branch's revision history.
 
 
1299
Unicode and Encoding Support
 
 
1300
============================
 
 
1302
This section discusses various techniques that Bazaar uses to handle
 
 
1303
characters that are outside the ASCII set.
 
 
1308
When a ``Command`` object is created, it is given a member variable
 
 
1309
accessible by ``self.outf``.  This is a file-like object, which is bound to
 
 
1310
``sys.stdout``, and should be used to write information to the screen,
 
 
1311
rather than directly writing to ``sys.stdout`` or calling ``print``.
 
 
1312
This file has the ability to translate Unicode objects into the correct
 
 
1313
representation, based on the console encoding.  Also, the class attribute
 
 
1314
``encoding_type`` will effect how unprintable characters will be
 
 
1315
handled.  This parameter can take one of 3 values:
 
 
1318
    Unprintable characters will be represented with a suitable replacement
 
 
1319
    marker (typically '?'), and no exception will be raised. This is for
 
 
1320
    any command which generates text for the user to review, rather than
 
 
1321
    for automated processing.
 
 
1322
    For example: ``bzr log`` should not fail if one of the entries has text
 
 
1323
    that cannot be displayed.
 
 
1326
    Attempting to print an unprintable character will cause a UnicodeError.
 
 
1327
    This is for commands that are intended more as scripting support, rather
 
 
1328
    than plain user review.
 
 
1329
    For exampl: ``bzr ls`` is designed to be used with shell scripting. One
 
 
1330
    use would be ``bzr ls --null --unknows | xargs -0 rm``.  If ``bzr``
 
 
1331
    printed a filename with a '?', the wrong file could be deleted. (At the
 
 
1332
    very least, the correct file would not be deleted). An error is used to
 
 
1333
    indicate that the requested action could not be performed.
 
 
1336
    Do not attempt to automatically convert Unicode strings. This is used
 
 
1337
    for commands that must handle conversion themselves.
 
 
1338
    For example: ``bzr diff`` needs to translate Unicode paths, but should
 
 
1339
    not change the exact text of the contents of the files.
 
 
1342
``bzrlib.urlutils.unescape_for_display``
 
 
1343
----------------------------------------
 
 
1345
Because Transports work in URLs (as defined earlier), printing the raw URL
 
 
1346
to the user is usually less than optimal. Characters outside the standard
 
 
1347
set are printed as escapes, rather than the real character, and local
 
 
1348
paths would be printed as ``file://`` urls. The function
 
 
1349
``unescape_for_display`` attempts to unescape a URL, such that anything
 
 
1350
that cannot be printed in the current encoding stays an escaped URL, but
 
 
1351
valid characters are generated where possible.
 
 
1357
The ``bzrlib.osutils`` module has many useful helper functions, including
 
 
1358
some more portable variants of functions in the standard library.
 
 
1360
In particular, don't use ``shutil.rmtree`` unless it's acceptable for it
 
 
1361
to fail on Windows if some files are readonly or still open elsewhere.
 
 
1362
Use ``bzrlib.osutils.rmtree`` instead.
 
 
1368
We write some extensions in C using pyrex. We design these to work in
 
 
1371
 * User with no C compiler
 
 
1372
 * User with C compiler
 
 
1375
The recommended way to install bzr is to have a C compiler so that the
 
 
1376
extensions can be built, but if no C compiler is present, the pure python
 
 
1377
versions we supply will work, though more slowly.
 
 
1379
For developers we recommend that pyrex be installed, so that the C
 
 
1380
extensions can be changed if needed.
 
 
1382
For the C extensions, the extension module should always match the
 
 
1383
original python one in all respects (modulo speed). This should be
 
 
1384
maintained over time.
 
 
1386
To create an extension, add rules to setup.py for building it with pyrex,
 
 
1387
and with distutils. Now start with an empty .pyx file. At the top add
 
 
1388
"include 'yourmodule.py'". This will import the contents of foo.py into this 
 
 
1389
file at build time - remember that only one module will be loaded at
 
 
1390
runtime. Now you can subclass classes, or replace functions, and only your
 
 
1391
changes need to be present in the .pyx file.
 
 
1393
Note that pyrex does not support all 2.4 programming idioms, so some
 
 
1394
syntax changes may be required. I.e. 
 
 
1396
 - 'from foo import (bar, gam)' needs to change to not use the brackets. 
 
 
1397
 - 'import foo.bar as bar' needs to be 'import foo.bar; bar = foo.bar' 
 
 
1399
If the changes are too dramatic, consider
 
 
1400
maintaining the python code twice - once in the .pyx, and once in the .py,
 
 
1401
and no longer including the .py file.
 
 
1404
Making Installers for OS Windows
 
 
1405
================================
 
 
1406
To build a win32 installer, see the instructions on the wiki page:
 
 
1407
http://bazaar-vcs.org/BzrWin32Installer
 
 
1410
Core Developer Tasks
 
 
1411
####################
 
 
1416
What is a Core Developer?
 
 
1417
-------------------------
 
 
1419
While everyone in the Bazaar community is welcome and encouraged to
 
 
1420
propose and submit changes, a smaller team is reponsible for pulling those
 
 
1421
changes together into a cohesive whole. In addition to the general developer
 
 
1422
stuff covered above, "core" developers have responsibility for:
 
 
1425
* reviewing blueprints
 
 
1427
* managing releases.
 
 
1430
  Removing barriers to community participation is a key reason for adopting
 
 
1431
  distributed VCS technology. While DVCS removes many technical barriers,
 
 
1432
  a small number of social barriers are often necessary instead.
 
 
1433
  By documenting how the above things are done, we hope to
 
 
1434
  encourage more people to participate in these activities, keeping the
 
 
1435
  differences between core and non-core contributors to a minimum.
 
 
1438
The Development Lifecycle
 
 
1439
-------------------------
 
 
1441
As a rule, Bazaar development follows a 4 week cycle:
 
 
1443
* 2 weeks - general changes
 
 
1444
* 1 week - feature freeze
 
 
1445
* 1 week+ - Release Candidate stabilization
 
 
1447
During the FeatureFreeze week, the trunk (bzr.dev) is open in a limited
 
 
1448
way: only low risk changes, critical and high priority fixes are accepted
 
 
1449
during this time. At the end of FeatureFreeze, a branch is created for the
 
 
1450
first Release Candidate and the trunk is reopened for general development
 
 
1451
on the *next* release. A week or so later, the final release is packaged
 
 
1452
assuming no serious problems were encountered with the one or more Release
 
 
1456
  There is a one week overlap between the start of one release and
 
 
1457
  the end of the previous one.
 
 
1460
Communicating and Coordinating
 
 
1461
------------------------------
 
 
1463
While it has many advantages, one of the challenges of distributed
 
 
1464
development is keeping everyone else aware of what you're working on.
 
 
1465
There are numerous ways to do this:
 
 
1467
#. Assign bugs to yourself in Launchpad
 
 
1468
#. Mention it on the mailing list
 
 
1469
#. Mention it on IRC
 
 
1471
As well as the email notifcations that occur when merge requests are sent
 
 
1472
and reviewed, you can keep others informed of where you're spending your
 
 
1473
energy by emailing the **bazaar-commits** list implicitly. To do this,
 
 
1474
install and configure the Email plugin. One way to do this is add these
 
 
1475
configuration settings to your central configuration file (e.g.
 
 
1476
``~/.bazaar/bazaar.conf`` on Linux)::
 
 
1479
  email = Joe Smith <joe.smith@internode.on.net>
 
 
1480
  smtp_server = mail.internode.on.net:25
 
 
1482
Then add these lines for the relevant branches in ``locations.conf``::
 
 
1484
  post_commit_to = bazaar-commits@lists.canonical.com
 
 
1485
  post_commit_mailer = smtplib
 
 
1487
While attending a sprint, RobertCollins' Dbus plugin is useful for the
 
 
1488
same reason. See the documentation within the plugin for information on
 
 
1489
how to set it up and configure it.
 
 
1495
Setting Up Your Workspace for Reviews
 
 
1496
-------------------------------------
 
 
1498
TODO: Incorporate John Arbash Meinel's detailed email to Ian C on the
 
 
1499
numerous ways of setting up integration branches.
 
 
1502
The Review Checklist
 
 
1503
--------------------
 
 
1505
See `A Closer Look at the Merge & Review Process`_
 
 
1506
for information on the gates used to decide whether code can be merged
 
 
1507
or not and details on how review results are recorded and communicated.
 
 
1510
The Importance of Timely Reviews
 
 
1511
--------------------------------
 
 
1513
Good reviews do take time. They also regularly require a solid
 
 
1514
understanding of the overall code base. In practice, this means a small
 
 
1515
number of people often have a large review burden - with knowledge comes
 
 
1516
responsibility. No one like their merge requests sitting in a queue going
 
 
1517
nowhere, so reviewing sooner rather than later is strongly encouraged.
 
 
1526
Of the many workflows supported by Bazaar, the one adopted for Bazaar
 
 
1527
development itself is known as "Decentralized with automatic gatekeeper".
 
 
1528
To repeat the explanation of this given on
 
 
1529
http://bazaar-vcs.org/Workflows:
 
 
1532
  In this workflow, each developer has their own branch or
 
 
1533
  branches, plus read-only access to the mainline. A software gatekeeper
 
 
1534
  (e.g. PQM) has commit rights to the main branch. When a developer wants
 
 
1535
  their work merged, they request the gatekeeper to merge it. The gatekeeper
 
 
1536
  does a merge, a compile, and runs the test suite. If the code passes, it
 
 
1537
  is merged into the mainline.
 
 
1539
In a nutshell, here's the overall submission process:
 
 
1541
#. get your work ready (including review except for trivial changes)
 
 
1542
#. push to a public location
 
 
1543
#. ask PQM to merge from that location
 
 
1546
  At present, PQM always takes the changes to merge from a branch
 
 
1547
  at a URL that can be read by it. For Bazaar, that means a public,
 
 
1548
  typically http, URL.
 
 
1550
As a result, the following things are needed to use PQM for submissions:
 
 
1552
#. A publicly available web server
 
 
1553
#. Your OpenPGP key registered with PQM (contact RobertCollins for this)
 
 
1554
#. The PQM plugin installed and configured (not strictly required but
 
 
1555
   highly recommended).
 
 
1558
Selecting a Public Branch Location
 
 
1559
----------------------------------
 
 
1561
If you don't have your own web server running, branches can always be
 
 
1562
pushed to Launchpad. Here's the process for doing that:
 
 
1564
Depending on your location throughout the world and the size of your
 
 
1565
repository though, it is often quicker to use an alternative public
 
 
1566
location to Launchpad, particularly if you can set up your own repo and
 
 
1567
push into that. By using an existing repo, push only needs to send the
 
 
1568
changes, instead of the complete repository every time. Note that it is
 
 
1569
easy to register branches in other locations with Launchpad so no benefits
 
 
1570
are lost by going this way.
 
 
1573
  For Canonical staff, http://people.ubuntu.com/~<user>/ is one
 
 
1574
  suggestion for public http branches. Contact your manager for information
 
 
1575
  on accessing this system if required.
 
 
1577
It should also be noted that best practice in this area is subject to
 
 
1578
change as things evolve. For example, once the Bazaar smart server on
 
 
1579
Launchpad supports server-side branching, the performance situation will
 
 
1580
be very different to what it is now (Jun 2007).
 
 
1583
Configuring the PQM Plug-In
 
 
1584
---------------------------
 
 
1586
While not strictly required, the PQM plugin automates a few things and
 
 
1587
reduces the chance of error. Before looking at the plugin, it helps to
 
 
1588
understand  a little more how PQM operates. Basically, PQM requires an
 
 
1589
email indicating what you want it to do. The email typically looks like
 
 
1592
  star-merge source-branch target-branch
 
 
1596
  star-merge http://bzr.arbash-meinel.com/branches/bzr/jam-integration http://bazaar-vcs.org/bzr/bzr.dev
 
 
1598
Note that the command needs to be on one line. The subject of the email
 
 
1599
will be used for the commit message. The email also needs to be ``gpg``
 
 
1600
signed with a key that PQM accepts.
 
 
1602
The advantages of using the PQM plugin are:
 
 
1604
#. You can use the config policies to make it easy to set up public
 
 
1605
   branches, so you don't have to ever type the full paths you want to merge
 
 
1608
#. It checks to make sure the public branch last revision matches the
 
 
1609
   local last revision so you are submitting what you think you are.
 
 
1611
#. It uses the same public_branch and smtp sending settings as bzr-email,
 
 
1612
   so if you have one set up, you have the other mostly set up.
 
 
1614
#. Thunderbird refuses to not wrap lines, and request lines are usually
 
 
1615
   pretty long (you have 2 long URLs in there).
 
 
1617
Here are sample configuration settings for the PQM plugin. Here are the
 
 
1618
lines in bazaar.conf::
 
 
1621
  email = Joe Smith <joe.smith@internode.on.net>
 
 
1622
  smtp_server=mail.internode.on.net:25
 
 
1624
And here are the lines in ``locations.conf`` (or ``branch.conf`` for
 
 
1625
dirstate-tags branches)::
 
 
1627
  [/home/joe/bzr/my-integration]
 
 
1628
  push_location = sftp://joe-smith@bazaar.launchpad.net/%7Ejoe-smith/bzr/my-integration/
 
 
1629
  push_location:policy = norecurse
 
 
1630
  public_branch = http://bazaar.launchpad.net/~joe-smith/bzr/my-integration/
 
 
1631
  public_branch:policy = appendpath
 
 
1632
  pqm_email = Bazaar PQM <pqm@bazaar-vcs.org>
 
 
1633
  pqm_branch = http://bazaar-vcs.org/bzr/bzr.dev
 
 
1635
Note that the push settings will be added by the first ``push`` on
 
 
1636
a branch. Indeed the preferred way to generate the lines above is to use
 
 
1637
``push`` with an argument, then copy-and-paste the other lines into
 
 
1644
Here is one possible recipe once the above environment is set up:
 
 
1646
#. pull bzr.dev => my-integration
 
 
1647
#. merge patch => my-integration
 
 
1648
#. fix up any final merge conflicts (NEWS being the big killer here).
 
 
1654
  The ``push`` step is not required if ``my-integration`` is a checkout of
 
 
1657
  Because of defaults, you can type a single message into commit and
 
 
1658
  pqm-commit will reuse that.
 
 
1661
Tracking Change Acceptance
 
 
1662
--------------------------
 
 
1664
The web interface to PQM is https://pqm.bazaar-vcs.org/. After submitting
 
 
1665
a change, you can visit this URL to confirm it was received and placed in
 
 
1668
When PQM completes processing a change, an email is sent to you with the
 
 
1672
Reviewing Blueprints
 
 
1673
====================
 
 
1675
Blueprint Tracking Using Launchpad
 
 
1676
----------------------------------
 
 
1678
New features typically require a fair amount of discussion, design and
 
 
1679
debate. For Bazaar, that information is often captured in a so-called
 
 
1680
"blueprint" on our Wiki. Overall tracking of blueprints and their status
 
 
1681
is done using Launchpad's relevant tracker,
 
 
1682
https://blueprints.launchpad.net/bzr/. Once a blueprint for ready for
 
 
1683
review, please announce it on the mailing list.
 
 
1685
Alternatively, send an email begining with [RFC] with the proposal to the
 
 
1686
list. In some cases, you may wish to attach proposed code  or a proposed
 
 
1687
developer document if that best communicates the idea. Debate can then
 
 
1688
proceed using the normal merge review processes.
 
 
1691
Recording Blueprint Review Feedback
 
 
1692
-----------------------------------
 
 
1694
Unlike its Bug Tracker, Launchpad's Blueprint Tracker doesn't currently
 
 
1695
(Jun 2007) support a chronological list of comment responses. Review
 
 
1696
feedback can either be recorded on the Wiki hosting the blueprints or by
 
 
1697
using Launchpad's whiteboard feature.
 
 
1706
As the two senior developers, Martin Pool and Robert Collins coordinate
 
 
1707
the overall Bazaar product development roadmap. Core developers provide
 
 
1708
input and review into this, particularly during sprints. It's totally
 
 
1709
expected that community members ought to be working on things that
 
 
1710
interest them the most. The roadmap is valuable though because it provides
 
 
1711
context for understanding where the product is going as a whole and why.
 
 
1714
Using Releases and Milestones in Launchpad
 
 
1715
------------------------------------------
 
 
1717
TODO ... (Exact policies still under discussion)
 
 
1723
Keeping on top of bugs reported is an important part of ongoing release
 
 
1724
planning. Everyone in the community is welcome and encouraged to raise
 
 
1725
bugs, confirm bugs raised by others, and nominate a priority. Practically
 
 
1726
though, a good percentage of bug triage is often done by the core
 
 
1727
developers, partially because of their depth of product knowledge.
 
 
1729
With respect to bug triage, core developers are encouraged to play an
 
 
1730
active role with particular attention to the following tasks:
 
 
1732
* keeping the number of unconfirmed bugs low
 
 
1733
* ensuring the priorities are generally right (everything as critical - or
 
 
1734
  medium - is meaningless)
 
 
1735
* looking out for regressions and turning those around sooner rather than later.
 
 
1738
  As well as prioritizing bugs and nominating them against a
 
 
1739
  target milestone, Launchpad lets core developers offer to mentor others in
 
 
1749
TODO: Things to cover:
 
 
1751
* RFI on release objectives
 
 
1752
* RFI on higher risk things that are best done early, e.g. changes to file
 
 
1754
* Communication of proposed dates
 
 
1757
Weekly Status Updates
 
 
1758
---------------------
 
 
1760
TODO: Things to cover:
 
 
1762
* Early communication to downstream teams (e.g. Launchpad) about changes in dependencies.
 
 
1763
* Reminder re lifecycle and where we're up to right now
 
 
1764
* Summary of recent successes and pending work
 
 
1765
* Reminder re release objectives
 
 
1766
* Reminder re things needing attention, e.g. bug triage, reviews, testing of certain things, etc.
 
 
1772
TODO: Get material from http://bazaar-vcs.org/FeatureFreeze.
 
 
1778
TODO: Get material from http://bazaar-vcs.org/ReleaseChecklist and clean
 
 
1779
it up to make it clearer what the RC vs final vs both tasks are.
 
 
1785
TODO: Get material from http://bazaar-vcs.org/ReleaseChecklist and clean
 
 
1786
it up to make it clearer what the RC vs final vs both tasks are.
 
 
1789
   vim: ft=rst tw=74 ai