This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
perldelta editing
[perl5.git] / pod / perlrepository.pod
1 =for comment
2 Consistent formatting of this file is achieved with:
3   perl ./Porting/podtidy pod/perlrepository.pod
4
5 =head1 NAME
6
7 perlrepository - Using the Perl source repository
8
9 =head1 SYNOPSIS
10
11 All of Perl's source code is kept centrally in a Git repository at
12 I<perl5.git.perl.org>. The repository contains many Perl revisions from
13 Perl 1 onwards and all the revisions from Perforce, the version control
14 system we were using previously. This repository is accessible in
15 different ways.
16
17 The full repository takes up about 80MB of disk space. A check out of
18 the blead branch (that is, the main development branch, which contains
19 bleadperl, the development version of perl 5) takes up about 160MB of
20 disk space (including the repository). A build of bleadperl takes up
21 about 200MB (including the repository and the check out).
22
23 =head1 GETTING ACCESS TO THE REPOSITORY
24
25 =head2 READ ACCESS VIA THE WEB
26
27 You may access the repository over the web. This allows you to browse
28 the tree, see recent commits, subscribe to RSS feeds for the changes,
29 search for particular commits and more. You may access it at:
30
31   http://perl5.git.perl.org/perl.git
32
33 A mirror of the repository is found at:
34
35   http://github.com/github/perl
36
37 =head2 READ ACCESS VIA GIT
38
39 You will need a copy of Git for your computer. You can fetch a copy of
40 the repository using the Git protocol (which uses port 9418):
41
42   git clone git://perl5.git.perl.org/perl.git perl-git
43
44 This clones the repository and makes a local copy in the F<perl-git>
45 directory.
46
47 If your local network does not allow you to use port 9418, then you can
48 fetch a copy of the repository over HTTP (this is slower):
49
50   git clone http://perl5.git.perl.org/perl.git perl-http
51
52 This clones the repository and makes a local copy in the F<perl-http>
53 directory.
54
55 =head2 WRITE ACCESS TO THE REPOSITORY
56
57 If you are a committer, then you can fetch a copy of the repository
58 that you can push back on with:
59
60   git clone ssh://perl5.git.perl.org/gitroot/perl.git perl-ssh
61
62 This clones the repository and makes a local copy in the F<perl-ssh>
63 directory.
64
65 If you cloned using the git protocol, which is faster than ssh, then
66 you will need to modify your config in order to enable pushing. Edit
67 F<.git/config> where you will see something like:
68
69   [remote "origin"]
70   url = git://perl5.git.perl.org/perl.git
71
72 change that to something like this:
73
74   [remote "origin"]
75   url = ssh://perl5.git.perl.org/gitroot/perl.git
76
77 NOTE: there are symlinks set up so that the /gitroot is optional and
78 since SSH is the default protocol you can actually shorten the "url" to
79 C<perl5.git.perl.org:/perl.git>.
80
81 You can also set up your user name and e-mail address. For example
82
83   % git config user.name "Leon Brocard"
84   % git config user.email acme@astray.com
85
86 It is also possible to keep C<origin> as a git remote, and add a new
87 remote for ssh access:
88
89   % git remote add camel perl5.git.perl.org:/perl.git
90
91 This allows you to update your local repository by pulling from
92 C<origin>, which is faster and doesn't require you to authenticate, and
93 to push your changes back with the C<camel> remote:
94
95   % git fetch camel
96   % git push camel
97
98 The C<fetch> command just updates the C<camel> refs, as the objects
99 themselves should have been fetched when pulling from C<origin>.
100
101 The committers have access to 2 servers that serve perl5.git.perl.org.
102 One is camel.booking.com, which is the 'master' repository. The
103 perl5.git.perl.org IP address also lives on this machine. The second
104 one is dromedary.booking.com, which can be used for general testing and
105 development. Dromedary syncs the git tree from camel every few minutes,
106 you should not push there. Both machines also have a full CPAN mirror.
107 To share files with the general public, dromedary serves your
108 ~/public_html/ as http://users.perl5.git.perl.org/~yourlogin/
109
110 =head1 OVERVIEW OF THE REPOSITORY
111
112 Once you have changed into the repository directory, you can inspect
113 it.
114
115 After a clone the repository will contain a single local branch, which
116 will be the current branch as well, as indicated by the asterisk.
117
118   % git branch
119   * blead
120
121 Using the -a switch to C<branch> will also show the remote tracking
122 branches in the repository:
123
124   % git branch -a
125   * blead
126     origin/HEAD
127     origin/blead
128   ...
129
130 The branches that begin with "origin" correspond to the "git remote"
131 that you cloned from (which is named "origin"). Each branch on the
132 remote will be exactly tracked by theses branches. You should NEVER do
133 work on these remote tracking branches. You only ever do work in a
134 local branch. Local branches can be configured to automerge (on pull)
135 from a designated remote tracking branch. This is the case with the
136 default branch C<blead> which will be configured to merge from the
137 remote tracking branch C<origin/blead>.
138
139 You can see recent commits:
140
141   % git log
142
143 And pull new changes from the repository, and update your local
144 repository (must be clean first)
145
146   % git pull
147
148 Assuming we are on the branch C<blead> immediately after a pull, this
149 command would be more or less equivalent to:
150
151   % git fetch
152   % git merge origin/blead
153
154 In fact if you want to update your local repository without touching
155 your working directory you do:
156
157   % git fetch
158
159 And if you want to update your remote-tracking branches for all defined
160 remotes simultaneously you can do
161
162   % git remote update
163
164 Neither of these last two commands will update your working directory,
165 however both will update the remote-tracking branches in your
166 repository.
167
168 To switch to another branch:
169
170   % git checkout origin/maint-5.8-dor
171
172 To make a local branch of a remote branch:
173
174   % git checkout -b maint-5.10 origin/maint-5.10
175
176 To switch back to blead:
177
178   % git checkout blead
179
180 =head2 FINDING OUT YOUR STATUS
181
182 The most common git command you will use will probably be
183
184   % git status
185
186 This command will produce as output a description of the current state
187 of the repository, including modified files and unignored untracked
188 files, and in addition it will show things like what files have been
189 staged for the next commit, and usually some useful information about
190 how to change things. For instance the following:
191
192   $ git status
193   # On branch blead
194   # Your branch is ahead of 'origin/blead' by 1 commit.
195   #
196   # Changes to be committed:
197   #   (use "git reset HEAD <file>..." to unstage)
198   #
199   #       modified:   pod/perlrepository.pod
200   #
201   # Changed but not updated:
202   #   (use "git add <file>..." to update what will be committed)
203   #
204   #       modified:   pod/perlrepository.pod
205   #
206   # Untracked files:
207   #   (use "git add <file>..." to include in what will be committed)
208   #
209   #       deliberate.untracked
210
211 This shows that there were changes to this document staged for commit,
212 and that there were further changes in the working directory not yet
213 staged. It also shows that there was an untracked file in the working
214 directory, and as you can see shows how to change all of this. It also
215 shows that there is one commit on the working branch C<blead> which has
216 not been pushed to the C<origin> remote yet. B<NOTE>: that this output
217 is also what you see as a template if you do not provide a message to
218 C<git commit>.
219
220 Assuming we commit all the mentioned changes above:
221
222   % git commit -a -m'explain git status and stuff about remotes'
223   Created commit daf8e63: explain git status and stuff about remotes
224    1 files changed, 83 insertions(+), 3 deletions(-)
225
226 We can re-run git status and see something like this:
227
228   % git status
229   # On branch blead
230   # Your branch is ahead of 'origin/blead' by 2 commits.
231   #
232   # Untracked files:
233   #   (use "git add <file>..." to include in what will be committed)
234   #
235   #       deliberate.untracked
236   nothing added to commit but untracked files present (use "git add" to track)
237
238
239 When in doubt, before you do anything else, check your status and read
240 it carefully, many questions are answered directly by the git status
241 output.
242
243 =head1 SUBMITTING A PATCH
244
245 If you have a patch in mind for Perl, you should first get a copy of
246 the repository:
247
248   % git clone git://perl5.git.perl.org/perl.git perl-git
249
250 Then change into the directory:
251
252   % cd perl-git
253
254 Alternatively, if you already have a Perl repository, you should ensure
255 that you're on the I<blead> branch, and your repository is up to date:
256
257   % git checkout blead
258   % git pull
259
260 It's preferable to patch against the latest blead version, since this
261 is where new development occurs for all changes other than critical bug
262 fixes.  Critical bug fix patches should be made against the relevant
263 maint branches, or should be submitted with a note indicating all the
264 branches where the fix should be applied.
265
266 Now that we have everything up to date, we need to create a temporary
267 new branch for these changes and switch into it:
268
269   % git checkout -b orange
270
271 which is the short form of
272
273   % git branch orange
274   % git checkout orange
275
276 Then make your changes. For example, if Leon Brocard changes his name
277 to Orange Brocard, we should change his name in the AUTHORS file:
278
279   % perl -pi -e 's{Leon Brocard}{Orange Brocard}' AUTHORS
280
281 You can see what files are changed:
282
283   % git status
284   # On branch orange
285   # Changes to be committed:
286   #   (use "git reset HEAD <file>..." to unstage)
287   #
288   #     modified:   AUTHORS
289   #
290
291 And you can see the changes:
292
293   % git diff
294   diff --git a/AUTHORS b/AUTHORS
295   index 293dd70..722c93e 100644
296   --- a/AUTHORS
297   +++ b/AUTHORS
298   @@ -541,7 +541,7 @@    Lars Hecking                   <lhecking@nmrc.ucc.ie>
299    Laszlo Molnar                  <laszlo.molnar@eth.ericsson.se>
300    Leif Huhn                      <leif@hale.dkstat.com>
301    Len Johnson                    <lenjay@ibm.net>
302   -Leon Brocard                   <acme@astray.com>
303   +Orange Brocard                 <acme@astray.com>
304    Les Peters                     <lpeters@aol.net>
305    Lesley Binks                   <lesley.binks@gmail.com>
306    Lincoln D. Stein               <lstein@cshl.org>
307
308 Now commit your change locally:
309
310   % git commit -a -m 'Rename Leon Brocard to Orange Brocard'
311   Created commit 6196c1d: Rename Leon Brocard to Orange Brocard
312    1 files changed, 1 insertions(+), 1 deletions(-)
313
314 You can examine your last commit with:
315
316   % git show HEAD
317
318 and if you are not happy with either the description or the patch
319 itself you can fix it up by editing the files once more and then issue:
320
321   % git commit -a --amend
322
323 Now you should create a patch file for all your local changes:
324
325   % git format-patch origin
326   0001-Rename-Leon-Brocard-to-Orange-Brocard.patch
327
328 You should now send an email to perl5-porters@perl.org with a
329 description of your changes, and include this patch file as an
330 attachment.  (See the next section for how to configure and use
331 git to send these emails for you.)
332
333 If you want to delete your temporary branch, you may do so with:
334
335   % git checkout blead
336   % git branch -d orange
337   error: The branch 'orange' is not an ancestor of your current HEAD.
338   If you are sure you want to delete it, run 'git branch -D orange'.
339   % git branch -D orange
340   Deleted branch orange.
341
342 =head2 Using git to send patch emails
343
344 In your ~/git/perl repository, set the destination email to the perl5-porters
345 mailing list.
346
347   $ git config sendemail.to perl5-porters@perl.org
348
349 Then you can use git directly to send your patch emails:
350
351   $ git send-email 0001-Rename-Leon-Brocard-to-Orange-Brocard.patch
352
353 You may need to set some configuration variables for your particular email
354 service provider. For example, to set your global git config to send email via
355 a gmail account:
356
357   $ git config --global sendemail.smtpserver smtp.gmail.com
358   $ git config --global sendemail.smtpssl 1
359   $ git config --global sendemail.smtpuser YOURUSERNAME@gmail.com
360
361 With this configuration, you will be prompted for your gmail password when you
362 run 'git send-email'.  You can also configure C<sendemail.smtppass> with your
363 password if you don't care about having your password in the .gitconfig file.
364
365 =head2 A note on derived files
366
367 Be aware that many files in the distribution are derivative--avoid
368 patching them, because git won't see the changes to them, and the build
369 process will overwrite them. Patch the originals instead.  Most
370 utilities (like perldoc) are in this category, i.e. patch
371 utils/perldoc.PL rather than utils/perldoc. Similarly, don't create
372 patches for files under $src_root/ext from their copies found in
373 $install_root/lib.  If you are unsure about the proper location of a
374 file that may have gotten copied while building the source
375 distribution, consult the C<MANIFEST>.
376
377 =for XXX
378
379 What should we recommend about binary files now? Do we need anything?
380
381 =head2 Getting your patch accepted
382
383 The first thing you should include with your patch is a description of
384 the problem that the patch corrects.  If it is a code patch (rather
385 than a documentation patch) you should also include a small test case
386 that illustrates the bug (a patch to an existing test file is
387 preferred).
388
389 If you are submitting a code patch there are several other things that
390 you need to do.
391
392 =over 4
393
394 =item Comments, Comments, Comments
395
396 Be sure to adequately comment your code.  While commenting every line
397 is unnecessary, anything that takes advantage of side effects of
398 operators, that creates changes that will be felt outside of the
399 function being patched, or that others may find confusing should be
400 documented.  If you are going to err, it is better to err on the side
401 of adding too many comments than too few.
402
403 =item Style
404
405 In general, please follow the particular style of the code you are
406 patching.
407
408 In particular, follow these general guidelines for patching Perl
409 sources:
410
411     8-wide tabs (no exceptions!)
412     4-wide indents for code, 2-wide indents for nested CPP #defines
413     try hard not to exceed 79-columns
414     ANSI C prototypes
415     uncuddled elses and "K&R" style for indenting control constructs
416     no C++ style (//) comments
417     mark places that need to be revisited with XXX (and revisit often!)
418     opening brace lines up with "if" when conditional spans multiple
419         lines; should be at end-of-line otherwise
420     in function definitions, name starts in column 0 (return value is on
421         previous line)
422     single space after keywords that are followed by parens, no space
423         between function name and following paren
424     avoid assignments in conditionals, but if they're unavoidable, use
425         extra paren, e.g. "if (a && (b = c)) ..."
426     "return foo;" rather than "return(foo);"
427     "if (!foo) ..." rather than "if (foo == FALSE) ..." etc.
428
429 =item Testsuite
430
431 When submitting a patch you should make every effort to also include an
432 addition to perl's regression tests to properly exercise your patch. 
433 Your testsuite additions should generally follow these guidelines
434 (courtesy of Gurusamy Sarathy <gsar@activestate.com>):
435
436     Know what you're testing.  Read the docs, and the source.
437     Tend to fail, not succeed.
438     Interpret results strictly.
439     Use unrelated features (this will flush out bizarre interactions).
440     Use non-standard idioms (otherwise you are not testing TIMTOWTDI).
441     Avoid using hardcoded test numbers whenever possible (the
442       EXPECTED/GOT found in t/op/tie.t is much more maintainable,
443       and gives better failure reports).
444     Give meaningful error messages when a test fails.
445     Avoid using qx// and system() unless you are testing for them.  If you
446       do use them, make sure that you cover _all_ perl platforms.
447     Unlink any temporary files you create.
448     Promote unforeseen warnings to errors with $SIG{__WARN__}.
449     Be sure to use the libraries and modules shipped with the version
450       being tested, not those that were already installed.
451     Add comments to the code explaining what you are testing for.
452     Make updating the '1..42' string unnecessary.  Or make sure that
453       you update it.
454     Test _all_ behaviors of a given operator, library, or function:
455       - All optional arguments
456       - Return values in various contexts (boolean, scalar, list, lvalue)
457       - Use both global and lexical variables
458       - Don't forget the exceptional, pathological cases.
459
460 =back
461
462 =head1 ACCEPTING A PATCH
463
464 If you have received a patch file generated using the above section,
465 you should try out the patch.
466
467 First we need to create a temporary new branch for these changes and
468 switch into it:
469
470   % git checkout -b experimental
471
472 Patches that were formatted by C<git format-patch> are applied with
473 C<git am>:
474
475   % git am 0001-Rename-Leon-Brocard-to-Orange-Brocard.patch
476   Applying Rename Leon Brocard to Orange Brocard
477
478 If just a raw diff is provided, it is also possible use this two-step
479 process:
480
481   % git apply bugfix.diff
482   % git commit -a -m "Some fixing" --author="That Guy <that.guy@internets.com>"
483
484 Now we can inspect the change:
485
486   % git show HEAD
487   commit b1b3dab48344cff6de4087efca3dbd63548ab5e2
488   Author: Leon Brocard <acme@astray.com>
489   Date:   Fri Dec 19 17:02:59 2008 +0000
490
491     Rename Leon Brocard to Orange Brocard
492
493   diff --git a/AUTHORS b/AUTHORS
494   index 293dd70..722c93e 100644
495   --- a/AUTHORS
496   +++ b/AUTHORS
497   @@ -541,7 +541,7 @@ Lars Hecking                        <lhecking@nmrc.ucc.ie>
498    Laszlo Molnar                  <laszlo.molnar@eth.ericsson.se>
499    Leif Huhn                      <leif@hale.dkstat.com>
500    Len Johnson                    <lenjay@ibm.net>
501   -Leon Brocard                   <acme@astray.com>
502   +Orange Brocard                 <acme@astray.com>
503    Les Peters                     <lpeters@aol.net>
504    Lesley Binks                   <lesley.binks@gmail.com>
505    Lincoln D. Stein               <lstein@cshl.org>
506
507 If you are a committer to Perl and you think the patch is good, you can
508 then merge it into blead then push it out to the main repository:
509
510   % git checkout blead
511   % git merge experimental
512   % git push
513
514 If you want to delete your temporary branch, you may do so with:
515
516   % git checkout blead
517   % git branch -d experimental
518   error: The branch 'experimental' is not an ancestor of your current HEAD.
519   If you are sure you want to delete it, run 'git branch -D experimental'.
520   % git branch -D experimental
521   Deleted branch experimental.
522
523 =head1 CLEANING A WORKING DIRECTORY
524
525 The command C<git clean> can with varying arguments be used as a
526 replacement for C<make clean>.
527
528 To reset your working directory to a pristine condition you can do:
529
530   git clean -dxf
531
532 However, be aware this will delete ALL untracked content. You can use
533
534   git clean -Xf
535
536 to remove all ignored untracked files, such as build and test
537 byproduct, but leave any  manually created files alone.
538
539 If you only want to cancel some uncommitted edits, you can use C<git
540 checkout> and give it a list of files to be reverted, or C<git checkout
541 -f> to revert them all.
542
543 If you want to cancel one or several commits, you can use C<git reset>.
544
545 =head1 BISECTING
546
547 C<git> provides a built-in way to determine, with a binary search in
548 the history, which commit should be blamed for introducing a given bug.
549
550 Suppose that we have a script F<~/testcase.pl> that exits with C<0>
551 when some behaviour is correct, and with C<1> when it's faulty. We need
552 an helper script that automates building C<perl> and running the
553 testcase:
554
555   % cat ~/run
556   #!/bin/sh
557   git clean -dxf
558   # If you can use ccache, add -Dcc=ccache\ gcc -Dld=gcc to the Configure line
559   sh Configure -des -Dusedevel -Doptimize="-g"
560   test -f config.sh || exit 125
561   # Correct makefile for newer GNU gcc
562   perl -ni -we 'print unless /<(?:built-in|command)/' makefile x2p/makefile
563   # if you just need miniperl, replace test_prep with miniperl
564   make -j4 test_prep
565   -x ./perl || exit 125
566   ./perl -Ilib ~/testcase.pl
567   ret=$?
568   git clean -dxf
569   exit $ret
570
571 This script may return C<125> to indicate that the corresponding commit
572 should be skipped. Otherwise, it returns the status of
573 F<~/testcase.pl>.
574
575 We first enter in bisect mode with:
576
577   % git bisect start
578
579 For example, if the bug is present on C<HEAD> but wasn't in 5.10.0,
580 C<git> will learn about this when you enter:
581
582   % git bisect bad
583   % git bisect good perl-5.10.0
584   Bisecting: 853 revisions left to test after this
585
586 This results in checking out the median commit between C<HEAD> and
587 C<perl-5.10.0>. We can then run the bisecting process with:
588
589   % git bisect run ~/run
590
591 When the first bad commit is isolated, C<git bisect> will tell you so:
592
593   ca4cfd28534303b82a216cfe83a1c80cbc3b9dc5 is first bad commit
594   commit ca4cfd28534303b82a216cfe83a1c80cbc3b9dc5
595   Author: Dave Mitchell <davem@fdisolutions.com>
596   Date:   Sat Feb 9 14:56:23 2008 +0000
597
598       [perl #49472] Attributes + Unknown Error
599       ...
600
601   bisect run success
602
603 You can peek into the bisecting process with C<git bisect log> and
604 C<git bisect visualize>. C<git bisect reset> will get you out of bisect
605 mode.
606
607 Please note that the first C<good> state must be an ancestor of the
608 first C<bad> state. If you want to search for the commit that I<solved>
609 some bug, you have to negate your test case (i.e. exit with C<1> if OK
610 and C<0> if not) and still mark the lower bound as C<good> and the
611 upper as C<bad>. The "first bad commit" has then to be understood as
612 the "first commit where the bug is solved".
613
614 C<git help bisect> has much more information on how you can tweak your
615 binary searches.
616
617 =head1 SUBMITTING A PATCH VIA GITHUB
618
619 GitHub is a website that makes it easy to fork and publish projects
620 with Git. First you should set up a GitHub account and log in.
621
622 Perl's git repository is mirrored on GitHub at this page:
623
624   http://github.com/github/perl/tree/blead
625
626 Visit the page and click the "fork" button. This clones the Perl git
627 repository for you and provides you with "Your Clone URL" from which
628 you should clone:
629
630   % git clone git@github.com:USERNAME/perl.git perl-github
631
632 We shall make the same patch as above, creating a new branch:
633
634   % cd perl-github
635   % git remote add upstream git://github.com/github/perl.git
636   % git pull upstream blead
637   % git checkout -b orange
638   % perl -pi -e 's{Leon Brocard}{Orange Brocard}' AUTHORS
639   % git commit -a -m 'Rename Leon Brocard to Orange Brocard'
640   % git push origin orange
641
642 The orange branch has been pushed to GitHub, so you should now send an
643 email to perl5-porters@perl.org with a description of your changes and
644 the following information:
645
646   http://github.com/USERNAME/perl/tree/orange
647   git@github.com:USERNAME/perl.git branch orange
648
649 =head1 MERGING FROM A BRANCH VIA GITHUB
650
651 If someone has provided a branch via GitHub and you are a committer,
652 you should use the following in your perl-ssh directory:
653
654   % git remote add dandv git://github.com/dandv/perl.git
655   % git fetch
656
657 Now you can see the differences between the branch and blead:
658
659   % git diff dandv/blead
660
661 And you can see the commits:
662
663   % git log dandv/blead
664
665 If you approve of a specific commit, you can cherry pick it:
666
667   % git cherry-pick 3adac458cb1c1d41af47fc66e67b49c8dec2323f
668
669 Or you could just merge the whole branch if you like it all:
670
671   % git merge dandv/blead
672
673 And then push back to the repository:
674
675   % git push
676
677 =head1 COMMITTING TO MAINTENANCE VERSIONS
678
679 Maintenance versions should only be altered to add critical bug fixes.
680
681 To commit to a maintenance version of perl, you need to create a local
682 tracking branch:
683
684   % git checkout --track -b maint-5.005 origin/maint-5.005
685
686 This creates a local branch named C<maint-5.005>, which tracks the
687 remote branch C<origin/maint-5.005>. Then you can pull, commit, merge
688 and push as before.
689
690 You can also cherry-pick commits from blead and another branch, by
691 using the C<git cherry-pick> command. It is recommended to use the
692 B<-x> option to C<git cherry-pick> in order to record the SHA1 of the
693 original commit in the new commit message.
694
695 =head1 GRAFTS
696
697 The perl history contains one mistake which was not caught in the
698 conversion -- a merge was recorded in the history between blead and
699 maint-5.10 where no merge actually occurred.  Due to the nature of
700 git, this is now impossible to fix in the public repository.  You can
701 remove this mis-merge locally by adding the following line to your
702 C<.git/info/grafts> file:
703
704   296f12bbbbaa06de9be9d09d3dcf8f4528898a49 434946e0cb7a32589ed92d18008aaa1d88515930
705
706 It is particularly important to have this graft line if any bisecting
707 is done in the area of the "merge" in question.
708
709 =head1 SEE ALSO
710
711 The git documentation, accessible via C<git help command>.
712