podtidy
[perl.git] / Porting / release_managers_guide.pod
1
2 =head1 NAME
3
4 release_managers_guide - Releasing a new version of perl 5.x
5
6 XXX as of Jul 2009, this file is still a work-in-progress. I think it
7 contains all the actions needed to build a release, but things may have
8 got skipped, and some things could do with polishing. Note that things
9 change each release, there may be new things not covered here, or
10 tools may need updating. DAPM
11
12 =head1 SYNOPSIS
13
14 This document describes the series of tasks required - some automatic, some
15 manual - to produce a perl release of some description, be that a snaphot,
16 release candidate, or final release.
17
18 The release process is primarily executed by the current pumpking.
19
20 This document both helps as a check-list for the pumpking and is
21 a base for ideas on how the various tasks could be automated or 
22 distributed.
23
24 The outline of a typical release cycle is as follows:
25
26     (5.10.1 is released, and post-release actions have been done)
27
28     ...time passes...
29
30     an occasional snapshot is released, that still identifies itself as
31         5.10.1
32
33     ...time passes...
34
35     a few weeks before the release, a number of steps are performed,
36         including bumping the version to 5.10.2
37
38     ...a few weeks passes...
39
40     perl-5.10.2-RC1 is released
41
42     perl-5.10.2 is released
43
44     post-release actions are performed, including creating new
45         perl5103delta.pod
46
47     ... the cycle continues ...
48
49 =head1 DETAILS
50
51
52 =head2 Building a snapshot
53
54 A snapshot is intended to encourage in-depth testing from time-to-time,
55 for example after a key point in the stabilisation of a branch. It
56 requires less steps than a full release, and the version number of perl in
57 the tarball will usually still be the old one.
58
59 =over 4
60
61 =item *
62
63 As there are no regular smokes [ XXX yet - please fix?] find out about the
64 state of VMS. If it's bad, think again.
65
66 =item *
67
68 Configure and build perl so that you have a Makefile and porting tools:
69
70     $ ./Configure -Dusedevel -des
71     $ make
72
73 =item *
74
75 Rebuild META.yml:
76
77     $ rm META.yml
78     $ make META.yml
79
80 Commit META.yml if it has changed:
81
82     $ git commit -m 'Updating META.yml in preparation for release of 5.x.y' META.yml
83
84 =item *
85
86 Check that the manifest is sorted and correct:
87
88     $ make manisort
89     $ make distclean 
90     $ perl Porting/manicheck
91
92
93 Commit MANIFEST if it has changed:
94
95     $ git commit -m 'Updating MANIFEST in preparation for release of 5.x.y' MANIFEST
96
97
98
99 =item *
100
101 If this is a release candidate or final release, add an entry to
102 F<pod/perlhist.pod> with the current date, e.g.
103
104           5.8.9-RC1     2008-Nov-10
105
106 Make sure the correct pumpking is listed, and if this is your first time,
107 append your name to C<THE KEEPERS OF THE PUMPKIN>.
108
109 =item *
110
111 Build perl, then make sure it passes its own test suite, and installs.
112
113     $ ./Configure -des -Dusedevel -Dprefix=/tmp/perl-5.x.y-pretest
114     $ make test install
115
116 =item *
117
118 Create a tarball. Use the C<-s> option to specify a suitable suffix for
119 the tarball and directory name:
120
121     $ cd root/of/perl/tree
122     $ make distclean
123     $ git clean -xdf            #  make sure perl and git agree on files
124
125     $ perl Porting/makerel -b -s `git describe` # for a snapshot
126     $ perl Porting/makerel -b -s RC1            # for a release candidate
127     $ perl Porting/makerel -b                   # for a final release
128
129 This creates the  directory F<../perl-x.y.z-RC1> or similar, copies all
130 the MANIFEST files into it, sets the correct permissions on them,
131 adds DOS line endings to some, then tars it up as
132 F<../perl-x.y.z-RC1.tar.gz>. With C<-b>, it also creates a C<tar.bz2> file.
133
134 XXX if we go for extra tags and branches stuff, then add the extra details
135 here
136
137 =item *
138
139 Copy the tarballs (.gz and possibly .bz2) to a web server somewhere you
140 have access to.
141
142 =item *
143
144 Download the tarball to some other machine. For a release candidate, 
145 you really want to test your tarball on two or more different platforms
146 and architectures. The #p5p IRC channel on irc.perl.org is a good place
147 to find willing victims.
148
149 =item *
150
151 Check that C<./Configure -des && make all test> works on each test
152 machine.
153
154 =item *
155
156 Check that C<./Configure ... && make all test_harness install> works.
157
158 =item *
159
160 Check that the output of C<perl -v> and C<perl -V> are as expected,
161 especially as regards version numbers, patch and/or RC levels, and @INC
162 paths. 
163
164 Note that the results may be different without a F<.git/> directory,
165 which is why you should test from the tarball.
166
167 =item *
168
169 Bootstrap the CPAN client on the clean install.
170
171 =item *
172
173 Install Inline.pm 
174
175   perl -MCPAN -e'install Inline'
176
177 Check that your perl can run this:
178
179   perl -lwe 'use Inline C => "int answer() { return 42;} "; print answer'
180
181 =item *
182
183 Bootstrap the CPANPLUS client.
184
185 =item *
186
187 Install an XS module.
188
189 =item *
190
191 If all is well, announce the snapshot to p5p. (For a release candidate,
192 instead follow the further steps described later.)
193
194 =back
195
196 =head2  Actions prior to the first release candidate
197
198 A week or two before the first release candidate, there are some additional
199 tasks you should perform (actually, some of these should be done regularly
200 anyway, but they definitely need doing now):
201
202 =over 4
203
204 =item *
205
206 Check F<Maintainers.pl> for consistency; both these commands should
207 produce no output:
208
209     perl Porting/Maintainers --checkmani
210     perl Porting/Maintainers --checkmani lib/ ext/
211
212 =item *
213
214 Ensure that dual-life CPAN modules are synchronised with CPAN.  Basically,
215 run the following:
216
217     ./perl -Ilib Porting/core-cpan-diff -a -o /tmp/corediffs
218
219 to see any inconsistencies between the core and CPAN versions of distros,
220 then fix the core, or cajole CPAN authors as appropriate. See also the
221 C<-d> and C<-v> options for more detail.  You'll probably want to use the
222 C<-c cachedir> option to avoid repeated CPAN downloads.
223
224 To see which core distro versions differ from the current CPAN versions:
225
226     ./perl -Ilib Porting/core-cpan-diff -x -a
227
228 if you are making a maint release, run C<core-cpan-diff> on both blead and
229 maint, then diff the two outputs. Compare this with what you expect, and if
230 necessary, fix things up. For example, you might think that both blead
231 and maint are synchronised with a particular CPAN module, but one might
232 have some extra changes. 
233
234 =item *
235
236 Ensure dual-life CPAN modules are stable, which comes down to:
237
238     for each module that fails its regression tests on $current
239         did it fail identically on $previous?
240         if yes, "SEP" (Somebody Else's Problem)
241         else work out why it failed (a bisect is useful for this)
242
243     attempt to group failure causes
244
245     for each failure cause
246         is that a regression?
247         if yes, figure out how to fix it
248             (more code? revert the code that broke it)
249         else
250             (presumably) it's relying on something un-or-under-documented
251             should the existing behaviour stay?
252                 yes - goto "regression"
253                 no - note it in perldelta as a significant bugfix
254                 (also, try to inform the module's author)
255
256 =item *
257
258 Similarly, monitor the smoking of core tests, and try to fix.
259
260 =item *
261
262 Similarly, monitor the smoking of perl for compiler warnings, and try to
263 fix.
264
265 =item *
266
267 Run F<Porting/cmpVERSION.pl> to compare the current source tree with the
268 previous version to check for for modules that have identical version
269 numbers but different contents, e.g.:
270
271      $ cd ~/some-perl-root
272      $ ./perl -Ilib Porting/cmpVERSION.pl -xd ~/my_perl-tarballs/perl-5.10.0 .
273
274 then bump the version numbers of any non-dual-life modules that have
275 changed since the previous release, but which still have the old version
276 number. If there is more than one maintenance branch (e.g. 5.8.x, 5.10.x),
277 then compare against both.
278
279 Note that some of the files listed may be generated (e.g. copied from ext/
280 to lib/, or a script like lib/lib_pm.PL is run to produce lib/lib.pm);
281 make sure you edit the correct file!
282
283 Once all version numbers have been bumped, re-run the checks.
284
285 Then run again without the -x option, to check that dual-life modules are
286 also sensible.
287
288
289 =item *
290
291 Get perldelta in a mostly finished state.
292 Peruse  F<Porting/how_to_write_a_perldelta.pod>, and try to make sure that
293 every section it lists is, if necessary, populated and complete. Copy
294 edit the whole document.
295
296 =item *
297
298 Bump the perl version number (e.g. from 5.10.0 to 5.10.1).
299
300 There is a tool to semi-automate this process. It works in two stages.
301 First, it generates a list of suggested changes, which you review and
302 edit; then you feed this list back and it applies the edits. So, first
303 scan the source dir looking for likely  candidates:
304
305     $ Porting/bump-perl-version -s 5.10.0 5.10.1 > /tmp/scan
306
307 This produces a file containing a list of suggested edits, eg:
308
309     NetWare/Makefile
310
311        89: -MODULE_DESC     = "Perl 5.10.0 for NetWare"
312            +MODULE_DESC     = "Perl 5.10.1 for NetWare"
313
314 i.e. in the file F<NetWare/Makefile>, line 89 would be changed as shown.
315 Review the file carefully, and delete any -/+ line pairs that you don't
316 want changing. Remember that this tool is largely just grepping for '5.10.0'
317 or whatever, so it will generate false positives. Be careful not change
318 text like "this was fixed in 5.10.0"! Then run:
319
320     $ Porting/bump-perl-version -u < /tmp/scan
321
322 which will update all the files shown; then commit the changes.
323
324 Be particularly careful with F<INSTALL>, which contains a mixture of
325 C<5.10.0>-type strings, some of which need bumping on every release, and
326 some of which need to be left. Also note that this tool currently only
327 performs a single change per line, so in particular, this line in
328 README.vms needs special handling:
329
330     rename perl-5^.10^.1.dir perl-5_10_1.dir
331
332
333 =item *
334
335 Review and update INSTALL to account for the change in version number;
336 in particular, the "Coexistence with earlier versions of perl 5" section.
337
338 =item *
339
340 Update the F<Changes> file to contain the git log command which would show
341 all the changes in this release. You will need assume the existence of a
342 not-yet created tag for the forthcoming release; e.g.
343
344     git log ... perl-5.10.0..perl5.12.0
345
346 Due to warts in the perforce-to-git migration, some branches require extra
347 exclusions to avoid other branches being pulled in. Make sure you have the
348 correct incantation: replace the not-yet-created tag with C<HEAD> and see
349 if git log produces roughly the right number of commits across roughly the
350 right time period.
351
352
353 =item *
354
355 Check some more build configurations, e.g.
356
357      -Duseshrplib -Dd_dosuid
358      make suidperl
359
360 Check that setuid installs works (for < 5.11.0 only).
361 XXX any other configs?
362
363 =item *
364
365 Make sure you have a PAUSE account suitable for uploading a perl release.
366 If you don't have a PAUSE account, then request one:
367
368     https://pause.perl.org/pause/query?ACTION=request_id
369
370 Check that your account is allowed to upload perl distros: goto
371 https://pause.perl.org/, login, then select 'upload file to CPAN'; there
372 should be a "For pumpkings only: Send a CC" tickbox.  If not, ask Andreas
373 to add your ID to the list of people allowed to upload something called
374 perl.
375
376 =item *
377
378 Update F<AUTHORS>, using the C<Porting/checkAUTHORS.pl> script, and if
379 necessary, update the script to include new alias mappings.
380
381 XXX This script is currently broken (7/2009). It needs updating to work
382 with git and a lack of Changes files.
383
384 =back
385
386 =head2  Building a release candidate
387
388 (At this point you should already have performed the actions described in
389 L</"Actions prior to the first release candidate">.) You should review
390 that section to ensure that everything there has done, and to see whether
391 any of those actions (such as consistency checks) need to be repeated.
392
393 =over 4
394
395 =item *
396
397 Re-read the perldelta to try to find any embarrassing typos and thinkos;
398 remove any C<TODO> or C<XXX> flags; and run through pod and spell
399 checkers, e.g.
400
401     podchecker -warnings -warnings pod/perl5101delta.pod
402     spell pod/perl5101delta.pod
403
404 =item *
405
406 Update patchlevel.h to add a C<-RC1>-or-whatever string; or, if this is a
407 final release, remove it.  [ XXX how now?? see 34813 for old way ]
408
409 =item *
410
411 Update C<Module::Corelist>.
412
413 Note that if this is a maint release, you should run the following actions
414 from the maint directory, but edit the C<Corelist.pm> in I<blead> and
415 subsequently cherry-pick it.
416
417 First, in order to update the C<%upstream> and C<%bug_tracker> hashes,
418 the C<Porting/corelist.pl> script requires you to have a local CPAN
419 mirror.  See http://www.cpan.org/misc/cpan-faq.html#How_mirror_CPAN for
420 more details, but basically:
421
422     $ mkdir ~/cpan-mirror
423     $ rsync -av --delete ftp.funet.fi::CPAN ~/cpan-mirror/
424
425 (and re-run the rsync each time you need it to be up-to-date).
426 [XXX this really needs fixing to not require a whole CPAN mirror]
427
428 If necessary, bump C<$VERSION> (there's no need to do this for
429 every RC; in RC1, bump the version to a new clean number that will
430 appear in the final release, and leave as-is for the later RCs and final).
431
432 Then do
433
434     $ cd ~/perl/root; make perl
435     $ ./perl -Ilib Porting/corelist.pl ~/cpan-mirror/ > /tmp/corelist
436
437 This creates a file that looks something like
438
439     5.010001 => {
440         'AnyDBM_File'           => '1.00',
441         ...
442     },
443
444     %upstream = (
445         'App::Prove'            => undef,
446         ...
447     );
448
449     %bug_tracker = (
450         'App::Prove'            => 'http://rt.cpan.org/...',
451         ...
452     );
453
454 Cut and paste these tables into F<lib/Module/CoreList.pm>: the module
455 version list should be appended as the last entry in the C<%version> hash
456 (or replaced, if we've already added it for an earlier release candidate),
457 while the existing C<%upstream> and C<%bug_tracker> hashes should be
458 replaced with the new versions.
459
460 Edit the version number in the new C<< 'Module::CoreList' => 'X.YZ' >>
461 entry, as that is likely to reflect the previous version number.
462
463 Then, add the current perl version to the C<CAVEATS> paragraph.
464
465 Add or update an entry to the C<%released> hash, including today's date
466 (if this is just a release candidate, set the date to '????-??-??').
467
468
469 =item *
470
471 Follow the instructions in the section L</"Building a snapshot">, then
472 carry on with the extra steps that follow here.
473
474 =item *
475
476 Disarm the patchlevel.h change [ XXX expand ]
477
478 =item *
479
480 Wait for the smoke tests to catch up with the commit which this release is
481 based on (or at least the last commit of any consequence).
482
483 Then check that the smoke tests pass (particularly on Win32). If not, go
484 back and fix things.
485
486
487 =item *
488
489 Once smoking is okay, upload it to PAUSE. This is the point of no return.
490 You may wish to create a .bz2 version of the tarball and upload that too.
491
492 =item *
493
494 create a tag [XXX and branches and stuff ????], e.g.:
495
496     $ git tag perl-5.10.1-RC1 -m'Release Candidate 1 of Perl 5.10.1'
497     $ git push origin tag perl-5.10.1-RC1
498
499 =item *
500
501 Mail p5p to announce it, with a quote you prepared earlier.
502
503 =item *
504
505 Wait 24 hours or so, then post the announcement to use.perl.org.
506 (if you don't have access rights to post news, ask someone like Rafael to
507 do it for you.)
508
509 =back
510
511
512 =head2  Making a final release
513
514 At this point you should have a working release candidate with few or no
515 changes since.
516
517 It's essentially the same procedure as for making a release candidate, but
518 with a whole bunch of extra post-release steps.
519
520 =over 4
521
522 =item *
523
524 Follow the same steps as for making a release candidate, then
525
526 =item *
527
528 Ask Jarkko to update http://www.cpan.org/src/README.html and
529 Rafael to update http://dev.perl.org/perl5/
530
531 =item *
532
533 Create a new empty perlNNNdelta.pod file for the current release + 1;
534 see F<Porting/how_to_write_a_perldelta.pod>.
535 [ XXX Perhaps we should have an empty template file we can copy in. ]
536
537 In addition, edit F<pod.lst>, adding the new entry as 'D', and unmark previous
538 entry as 'D', then run C<perl pod/buildtoc --build-all> to update the
539 following files:
540
541     MANIFEST
542     pod/perl.pod
543     win32/pod.mak
544     vms/descrip_mms.template
545
546 (F<vms/descrip_mms.template> still needs a manual edit to bump the
547 C<perldelta.pod> entry - it would be good for someone to figure out the fix.)
548
549 and change perlNNNdelta references to the new version in these files
550
551     INSTALL
552     win32/Makefile.mk
553     win32/Makefile
554     Makefile.SH
555     README
556
557 Also, edit the previous delta file to change the C<NAME> from C<perldelta>
558 to C<perlNNNdelta>.
559
560 These two lists of files probably aren't exhaustive; do a recursive grep
561 on the previous filename to look for suitable candidates.
562
563 (see 16410843ea for an example).
564
565 =item *
566
567 If this was a maintenance release, then edit F<Porting/mergelog> to change
568 all the C<d> (deferred) flags to C<.> (needs review).
569
570
571 =item *
572
573 If this was a major release, then
574
575 =over
576
577 =item *
578
579 bump the version, e.g. 5.12.0 to 5.13.0;
580
581 =item * 
582
583 [ XXX probably lots more stuff to do, including perldelta,
584 C<lib/feature.pm> ]
585
586 =item *
587
588 Create a new maint branch with an empty Porting/mergelog file
589 [ XXX and lots of other stuff too, probably ]
590
591 =back
592
593 =item *
594
595 Copy the perlNNNdelta.pod for this release into the other branches, and
596 remember to update these files on those branches too:
597
598     MANIFEST
599     pod.lst
600     pod/perl.pod
601     vms/descrip_mms.template
602     win32/pod.mak
603
604 (see fc5be80860 for an example).
605
606 =item *
607
608 Make sure any recent F<pod/perlhist.pod> entries are copied to
609 F<perlhist.pod> on other branches; typically the RC* and final entries,
610 e.g.
611
612           5.8.9-RC1     2008-Nov-10
613           5.8.9-RC2     2008-Dec-06
614           5.8.9         2008-Dec-14
615
616 =item *
617
618 Remind the current maintainer of C<Module::CoreList> to push a new release
619 to CPAN.
620
621 =back
622
623 =head1 SOURCE
624
625 Based on
626 http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/2009-05/msg00608.html,
627 plus a whole bunch of other sources, including private correspondence.
628
629 =cut
630