This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
update perldelta with module and pragma version updates
[perl5.git] / pod / perl5113delta.pod
1 =head1 NAME
2
3 [ this is a template for a new perldelta file. Any text flagged as
4 XXX needs to be processed before release. ]
5
6 perldelta - what is new for perl v5.11.3
7
8 =head1 DESCRIPTION
9
10 This document describes differences between the 5.11.2 release and
11 the 5.11.3 release.
12
13 If you are upgrading from an earlier release such as 5.11.3, first read
14 the L<perl5XXXdelta>, which describes differences between 5.11.3 and
15 5.10.0
16
17 =head1 Notice
18
19 XXX Any important notices here
20
21 =head1 Incompatible Changes
22
23 =over
24
25 =item Filehandles are blessed directly into C<IO::Handle::>, as C<FileHandle> is merely a wrapper around C<IO::Handle>.
26
27 XXX Some description of why this change was made would be nice -- e.g. what
28 the benefit that justifies the incompatibility -- dagolden, 2009-12-20
29
30 =back
31
32 =head1 Core Enhancements
33
34 XXX New core language features go here. Summarise user-visible core language
35 enhancements. Particularly prominent performance optimisations could go
36 here, but most should go in the L</Performance Enhancements> section.
37
38 =head2 Unicode version
39
40 Perl is shipped with the latest Unicode version, 5.2, October 2009.  See
41 L<http://www.unicode.org/versions/Unicode5.2.0> for details about this release
42 of Unicode.  See L<perlunicode> for instructions on installing and using
43 older versions of Unicode.
44
45 =head2 Unicode properties
46
47 Perl can now handle every Unicode character property.  A new pod,
48 L<perluniprops>, lists all available non-Unihan character properties.  By
49 default the Unihan properties and certain others (deprecated and Unicode
50 internal-only ones) are not exposed.  See below for more details on
51 these; there is also a section in the pod listing them, and why they are
52 not exposed.
53
54 Perl now fully supports the Unicode compound-style of using C<=> and C<:>
55 in writing regular expressions: C<\p{property=value}> and
56 C<\p{property:value}> (both of which mean the same thing).
57
58 Perl now fully supports the Unicode loose matching rules for text
59 between the braces in C<\p{...}> constructs.  In addition, Perl also allows
60 underscores between digits of numbers.
61
62 All the Unicode-defined synonyms for properties and property values are
63 now accepted.
64
65 C<qr/\X/>, which matches a Unicode logical character, has been expanded to work
66 better with various Asian languages.  It now is defined as an C<extended
67 grapheme cluster>.  (See L<http://www.unicode.org/reports/tr29/>).  One change
68 due to this is that C<\X> will match the whole sequence C<S<CR LF>>.  Another
69 change is that C<\X> will match an isolated mark.  Marks generally come after a
70 base character, but it is possible in Unicode to have them in isolation, and
71 C<\X> will now handle that case.  Otherwise, this change should be transparent
72 for non-affected languages.
73
74 C<\p{...}> matches using the Canonical_Combining_Class property were
75 completely broken in previous Perls.  This is now fixed.
76
77 In previous Perls, the Unicode Decomposition_Type=Compat property and a
78 Perl extension had the same name, which led to neither matching all the
79 correct values (with more than 100 mistakes in one, and several thousand
80 in the other).  The Perl extension has now been renamed to be
81 Decomposition_Type=Noncanonical (short: dt=noncanon).  It has the same
82 meaning as was previously intended, namely the union of all the
83 non-canonical Decomposition types, with Unicode Compat being just one of
84 those.
85
86 C<\p{Uppercase}> and C<\p{Lowercase}> have been brought into line with the
87 Unicode definitions.  This means they each match a few more characters
88 than previously.
89
90 C<\p{Cntrl}> now matches the same characters as C<\p{Control}>.  This means it
91 no longer will match Private Use (gc=co), Surrogates (gc=cs), nor Format
92 (gc=cf) code points.  The Format code points represent the biggest
93 possible problem.  All but 36 of them are either officially deprecated
94 or strongly discouraged from being used.  Of those 36, likely the most
95 widely used are the soft hyphen (U+00AD), and BOM, ZWSP, ZWNJ, WJ, and
96 similar, plus Bi-directional controls.
97
98 C<\p{Alpha}> now matches the same characters as C<\p{Alphabetic}>.  The Perl
99 definition included a number of things that aren't really alpha (all
100 marks), while omitting many that were.  The Unicode definition is
101 clearly better, so we are switching to it.  As a direct consequence, the
102 definitions of C<\p{Alnum}> and C<\p{Word}> which depend on Alpha also change.
103
104 C<\p{Word}> also now doesn't match certain characters it wasn't supposed
105 to, such as fractions.
106
107 C<\p{Print}> no longer matches the line control characters: tab, lf, cr,
108 ff, vt, and nel.  This brings it in line with the documentation.
109
110 C<\p{Decomposition_Type=Canonical}> now includes the Hangul syllables
111
112 The Numeric type property has been extended to include the Unihan
113 characters.
114
115 There is a new Perl extension, the 'Present_In', or simply 'In'
116 property.  This is an extension of the Unicode Age property, but
117 C<\p{In=5.0}> matches any code point whose usage has been determined as of
118 Unicode version 5.0.  The C<\p{Age=5.0}> only matches code points added in 5.0.
119
120 A number of properties did not have the correct values for unassigned
121 code points.  This is now fixed.  The affected properties are
122 Bidi_Class, East_Asian_Width, Joining_Type, Decomposition_Type,
123 Hangul_Syllable_Type, Numeric_Type, and Line_Break.
124
125 The Default_Ignorable_Code_Point, ID_Continue, and ID_Start properties
126 have been updated to their current definitions.
127
128 Certain properties that are supposed to be Unicode internal-only were
129 erroneously exposed by previous Perls.  Use of these in regular
130 expressions will now generate a deprecated warning message, if those
131 warnings are enabled.  The properties are: Other_Alphabetic,
132 Other_Default_Ignorable_Code_Point, Other_Grapheme_Extend,
133 Other_ID_Continue, Other_ID_Start, Other_Lowercase, Other_Math, and
134 Other_Uppercase.
135
136 An installation can now fairly easily change which Unicode properties
137 Perl understands.  As mentioned above, certain properties are by default
138 turned off.  These include all the Unihan properties (which should be
139 accessible via the CPAN module Unicode::Unihan) and any deprecated or
140 Unicode internal-only property that Perl has never exposed.
141
142 XXX what does "files in the To directory" mean? -- dagolden, 2009-12-20
143
144 The files in the To directory are now more clearly marked as being
145 stable, directly usable by applications.  New hash entries in them give
146 the format of the normal entries which allows for easier machine
147 parsing.  Perl can generate files in this directory for any property,
148 though most are suppressed.  An installation can choose to change which
149 get written.   Instructions are in L<perluniprops>.
150
151 =head1 New Platforms
152
153 XXX List any platforms that this version of perl compiles on, that previous
154 versions did not. These will either be enabled by new files in the F<hints/>
155 directories, or new subdirectories and F<README> files at the top level of the
156 source tree.
157
158 =head1 Modules and Pragmata
159
160 XXX All changes to installed files in F<cpan/>, F<dist/>, F<ext/> and F<lib/>
161 go here, in a list ordered by distribution name. Minimally it should be the
162 module version, but it's more useful to the end user to give a paragraph's
163 summary of the module's changes. In an ideal world, dual-life modules would
164 have a F<Changes> file that could be cribbed.
165
166 =head2 New Modules and Pragmata
167
168 =over 4
169
170 XXX
171
172 =back
173
174 =head2 Pragmata Changes
175
176 =over 4
177
178 =item C<constant>
179
180 Upgraded from version 1.19 to 1.20.
181
182 =item C<feature>
183
184 Upgraded from 1.13 to 1.14.  Added the C<unicode_strings> feature:
185
186     use feature "unicode_strings";
187
188 This pragma turns on Unicode semantics for the case-changing operations
189 (uc/lc/ucfirst/lcfirst) on strings that don't have the internal UTF-8 flag set,
190 but that contain single-byte characters between 128 and 255.
191
192 =item C<legacy>
193
194 The experimental C<legacy> pragma, introduced in 5.11.2, has been removed,
195 and its functionality replaced by the new feature pragma, C<use feature
196 "unicode_strings">.
197
198 =item C<threads>
199
200 Upgraded from version 1.74 to 1.75.
201
202 =item C<warnings>
203
204 Upgraded from 1.07 to 1.08.  Added new C<warnings::fatal_enabled()> function.
205
206 =back
207
208 =head2 Updated Modules
209
210 XXX This should be generated with Porting/corelist-perldelta.pl once
211 Module::Corelist is updated for 5.011003.
212
213 =over 4
214
215 =item C<Archive::Extract>
216
217 Upgraded from version 0.34 to 0.36.
218
219 =item C<CPAN>
220
221 Upgraded from version 1.94_51 to 1.94_53.
222
223 =item C<CPANPLUS>
224
225 Upgraded from version 0.89_09 to 0.90.
226
227 =item C<ExtUtils::MakeMaker>
228
229 Upgraded from version 6.55_02 to 6.56.
230
231 =item C<File::Path>
232
233 Upgraded from version 2.08 to 2.08_01.
234
235 =item C<Module::Build>
236
237 Upgraded from version 0.35_09 to 0.36.
238
239 =item C<Module::CoreList>
240
241 Upgraded from version 2.23 to 2.24.
242
243 =item C<Pod::Simple>
244
245 Upgraded from version 3.10 to 3.13.
246
247 =item C<Safe>
248
249 Upgraded from version 2.19 to 2.20.
250
251 =back
252
253 =head1 Utility Changes
254
255 XXX Changes to installed programs such as F<perlbug> and F<xsubpp> go
256 here. Most of these are built within the directories F<utils> and F<x2p>.
257
258 =over 4
259
260 =item F<perlbug>
261
262 No longer reports "Message sent" when it hasn't actually sent the message
263
264 =back
265
266 =head1 New Documentation
267
268 XXX Changes which create B<new> files in F<pod/> go here.
269
270 =over 4
271
272 =item L<XXX>
273
274 XXX
275
276 =back
277
278 =head1 Changes to Existing Documentation
279
280 XXX Changes which significantly change existing files in F<pod/> go here.
281 Any changes to F<pod/perldiag.pod> should go in L</New or Changed Diagnostics>.
282
283
284 The Pod specification (L<perlpodspec>) has been updated to bring the
285 specification in line with modern usage already supported by most Pod systems.
286 A parameter string may now follow the format name in a "begin/end" region.
287 Links to URIs with a text description are now allowed.  The usage of
288 C<LE<lt>"section"E<gt>> has been marked as deprecated.
289
290 L<if.pm|if> has been documented in L<perlfunc/use> as a means to get
291 conditional loading of modules despite the implicit BEGIN block around C<use>.
292
293
294
295 =head1 Performance Enhancements
296
297 XXX Changes which enhance performance without changing behaviour go here. There
298 may well be none in a stable release.
299
300 =over 4
301
302 =item *
303
304 XXX
305
306 =back
307
308 =head1 Installation and Configuration Improvements
309
310 XXX Changes to F<Configure>, F<installperl>, F<installman>, and analogous tools
311 go here.
312
313 =head2 Configuration improvements
314
315 XXX
316
317 =head2 Compilation improvements
318
319     Make distclean work again
320 XXX
321
322 =head2 Testing improvements
323
324 =over 4
325
326 =item It's now possible to override C<PERL5OPT> and friends in F<t/TEST>
327
328 =back
329
330 =head2 Platform Specific Changes
331
332 =over 4
333
334 =item Win32
335
336 =over 4
337
338 =item *
339
340 Always add a manifest resource to C<perl.exe> to specify the <trustInfo>
341 settings for Windows Vista and later.  Without this setting Windows
342 will treat C<perl.exe> as a legacy application and apply various
343 heuristics like redirecting access to protected file system areas
344 (like the "Program Files" folder) to the users "VirtualStore"
345 instead of generating a proper "permission denied" error.
346
347 For VC8 and VC9 this manifest setting is automatically generated by
348 the compiler/linker (together with the binding information for their
349 respective runtime libraries); for all other compilers we need to
350 embed the manifest resource explicitly in the external resource file.
351
352 This change also requests the Microsoft Common-Controls version 6.0
353 (themed controls introduced in Windows XP) via the dependency list
354 in the assembly manifest.  For VC8 and VC9 this is specified using the
355 C</manifestdependency> linker commandline option instead.
356
357 =back
358
359 =item cygwin
360
361 =over 4
362
363 =item Enable IPv6 support on cygwin 1.7 and newer
364
365 =back
366
367 =item OpenVMS
368
369 =over 4
370
371 =item Make -UDEBUGGING the default on VMS for 5.12.0.
372
373 Like it has been everywhere else for ages and ages.  Also make
374 command-line selection of -UDEBUGGING and -DDEBUGGING work in
375 configure.com; before the only way to turn it off was by saying
376 no in answer to the interactive question.
377
378 =back
379
380 =back
381
382 =head1 Selected Bug Fixes
383
384 XXX Important bug fixes in the core language are summarised here.
385 Bug fixes in files in F<ext/> and F<lib/> are best summarised in
386 L</Modules and Pragmata>.
387
388 =over 4
389
390 =item *
391
392 Ensure that pp_qr returns a new regexp SV each time. Resolves RT #69852.
393
394 Instead of returning a(nother) reference to the (pre-compiled) regexp in the
395 optree, use reg_temp_copy() to create a copy of it, and return a reference to
396 that. This resolves issues about Regexp::DESTROY not being called in a timely
397 fashion (the original bug tracked by RT #69852), as well as bugs related to
398 blessing regexps, and of assigning to regexps, as described in correspondence
399 added to the ticket.
400
401 It transpires that we also need to undo the SvPVX() sharing when ithreads
402 cloning a Regexp SV, because mother_re is set to NULL, instead of a cloned
403 copy of the mother_re. This change might fix bugs with regexps and threads in
404 certain other situations, but as yet neither tests nor bug reports have
405 indicated any problems, so it might not actually be an edge case that it's
406 possible to reach.
407
408 =item  *
409
410 Several compilation errors and segfaults when perl was built with C<-Dmad> were fixed.
411
412 =item *
413
414 Fixes for lexer API changes in 5.11.2 which broke NYTProf's savesrc option.
415
416 =back
417
418 =head1 New or Changed Diagnostics
419
420 XXX New or changed warnings emitted by the core's C<C> code go here.
421
422 =over 4
423
424 =item C<XXX>
425
426     Make split warn in void context
427 XXX
428
429 =back
430
431 =head1 Changed Internals
432
433 XXX Changes which affect the interface available to C<XS> code go here.
434
435 =over 4
436
437 =item *
438
439 XXX
440
441 =back
442
443 =head1 New Tests
444
445 Many modules updated from CPAN incorporate new tests.
446
447 =over 4
448
449 =item t/comp/final_line_num.t
450
451 See if line numbers are correct at EOF
452
453 =item t/comp/form_scope.t
454
455 See if format scoping works
456
457 =item t/comp/line_debug.t
458
459 See if @{"_<$file"} works
460
461 =item t/op/filetest_t.t
462
463 See if -t file test works
464
465 =item t/op/qr.t
466
467 See if qr works
468
469 =item t/op/utf8cache.t
470
471 Tests malfunctions of utf8 cache
472
473 =item t/re/uniprops.t
474
475 Test unicode \p{} regex constructs
476
477 =back
478
479 =head1 Known Problems
480
481 XXX Descriptions of platform agnostic bugs we know we can't fix go here. Any
482 tests that had to be C<TODO>ed for the release would be noted here, unless
483 they were specific to a particular platform (see below).
484
485 This is a list of some significant unfixed bugs, which are regressions
486 from either 5.11.3 or 5.11.3.
487
488 =over 4
489
490 =item *
491
492 XXX
493
494 =back
495
496 =head1 Deprecations
497
498 XXX Add any new known deprecations here.
499
500 The following items are now deprecated.
501
502 =over 4
503
504 =item Use of "goto" to jump into a construct is deprecated
505
506 Using C<goto> to jump from an outer scope into an inner
507 scope is now deprecated. This rare use case was causing
508 problems in the implementation of scopes.
509
510 =back
511
512 =head1 Platform Specific Notes
513
514 XXX Any changes specific to a particular platform. VMS and Win32 are the usual
515 stars here. It's probably best to group changes under the same section layout
516 as the main perldelta
517
518 =head1 Obituary
519
520 XXX If any significant core contributor has died, we've added a short obituary
521 here.
522
523 =head1 Acknowledgements
524
525 XXX The list of people to thank goes here.
526
527
528 =head1 Reporting Bugs
529
530 If you find what you think is a bug, you might check the articles
531 recently posted to the comp.lang.perl.misc newsgroup and the perl
532 bug database at http://rt.perl.org/perlbug/ .  There may also be
533 information at http://www.perl.org/ , the Perl Home Page.
534
535 If you believe you have an unreported bug, please run the B<perlbug>
536 program included with your release.  Be sure to trim your bug down
537 to a tiny but sufficient test case.  Your bug report, along with the
538 output of C<perl -V>, will be sent off to perlbug@perl.org to be
539 analysed by the Perl porting team.
540
541 If the bug you are reporting has security implications, which make it
542 inappropriate to send to a publicly archived mailing list, then please send
543 it to perl5-security-report@perl.org. This points to a closed subscription
544 unarchived mailing list, which includes all the core committers, who be able
545 to help assess the impact of issues, figure out a resolution, and help
546 co-ordinate the release of patches to mitigate or fix the problem across all
547 platforms on which Perl is supported. Please only use this address for
548 security issues in the Perl core, not for modules independently
549 distributed on CPAN.
550
551 =head1 SEE ALSO
552
553 The F<Changes> file for an explanation of how to view exhaustive details
554 on what changed.
555
556 The F<INSTALL> file for how to build Perl.
557
558 The F<README> file for general stuff.
559
560 The F<Artistic> and F<Copying> files for copyright information.
561
562 =cut
563
564
565
566
567 All changes through commit b4178430270dbe109e7609d0b50d6d54bf9e95d8
568 One "triage" pass done.
569
570 A second triage pass is still needed to remove unimportant changes
571
572 commit 9307c420fad2f6f5bd314f9ed66dd53288703e09
573 Author: Jan Dubois <jand@activestate.com>
574 Date:   Thu Dec 17 18:28:16 2009 -0800
575
576     Export PL_curinterp symbol for MULTIPLICITY without USE_ITHREADS
577
578     This is necessary for XS extensions that define PERL_CORE.  In that
579     situation PERL_GET_CONTEXT will resolve to PL_curinterp, which is
580     normally not exported (extensions call Perl_Gcurinterp_ptr() to get a
581     pointer to PL_curinterp instead). With USE_ITHREADS defined
582     PERL_GET_CONTEXT will expand to Perl_get_context() even inside the
583     core because the context needs to be fetched from threadlocal storage.
584
585 commit 8703a9a4fd75723318bc4ba1afc42a215806f2d1
586
587     Correct some #ifdef USE_ITHREADS / USE_MULTI
588
589 Author: Jan Dubois <jand@activestate.com>
590 Date:   Wed Dec 16 15:42:19 2009 -0800
591
592     -t should only return TRUE for file handles connected to a TTY
593
594     The Microsoft C version of isatty() returns TRUE for all
595     character mode devices, including the /dev/null style "nul"
596     device and printers like "lpt1".
597
598     The included test has only been tested on Windows and Linux;
599     the device names for OS/2 and VMS are just best guesses...
600
601 commit 0f907b96d618c97cd2e020841a70ae037954a616
602
603     [perl #70171] 5.10.0 -> 5.10.1 Regression in fafafbaf70 (Big slowdown in 5.10 @_ parameter passing)
604
605 commit 2ab54efd6265713df5cd4bd0927024245675c1c2
606
607     fix bug 67156: overload: nomethod(..., '!') return value inverted
608
609 commit 412147f664b7f5805591ad996d7e5a9e70b3d80f
610
611     [perl #71204] diagnostics.pm suppresses 'Use of uninitialized value in range (or flip)' warning
612
613
614 commit 69dc4b30f4725ad5f212d45d3c856ac1caaacf17
615 Author: Father Chrysostomos <sprout@cpan.org>
616 Date:   Mon Dec 14 12:19:35 2009 +0100
617
618     [perl #70764] $' fails to initialized for pre-compiled regular expression matches
619
620     The match vars are associated with the regexp that last matched
621     successfully. In the case of $str =~ $qr or /$qr/, since the $qr could
622     be used in multiple scopes that need their own sets of match vars, the
623     $qr is cloned by Perl_reg_temp_copy as of change 30677/28d8d7f. This
624     happens in pp_regcomp before pp_match has stringified the LHS, hence the
625     bug. In short, /$gror/ is not equivalent to
626     ($which = !$which) ? /$gror/ : /$gror/, which is weird.
627
628 Author: Reini Urban <rurban@x-ray.at>
629 Date:   Sun Dec 13 08:06:43 2009 +0100
630
631     Eliminate OP_SETSTATE from cop.h header
632
633     It had been added with change 3728 to track linenumbers in
634     optimized else, disabled by change 4309,
635     and removed with change 33072.
636
637     Bump copyright, latest change was "Fix MULTICALL in List-Util" 2009-03-07
638     with commit 1bbbfc50
639
640
641     Fix for [perl #70910] wrong line number in syntax error message
642
643     Document config_args limitations reported in [perl #70912]
644
645     proper error on "grep $x (1,2,3)". Solves [perl #37314]
646
647 commit 8a27a13e89107aaf68c0748b68ee71fbd86d774b
648
649     [perl #71076] sort with active sub (5.10 regression)
650
651     One of the tests in sort.t causes a bus error (or sometimes Ã¢\80\98Undefined
652     subroutine calledâ\80\99) if run multiple times. This is because sort
653     decreases the refcount of an active sub used as a comparison routine.
654
655 commit 69c3dccf5322a59cb855347c04712ba11b65328f
656
657     Fix [perl #71078] Smart match against @_ gives false negatives
658
659     @_ can contain NULLs for undefined elements
660
661     [perl #71000] Wrong variable name in warning ; Add a new warning "Missing argument in %s"
662
663
664     preserve readonly flag when saving and restoring magic flags
665
666 commit c9930541bfa04399c3b648e83c9b750cee1154fb
667
668     [perl #70802] -i'*' refuses to work
669
670 commit adab996997d7ef1b54d382f5ab4304f438cd1dd0
671
672     Cleanup all scopes before exiting a pseudo-forked process.
673
674     perl_destruct() contains an assertion that the scope stack
675     is empty.  The remaining scopes are due to fork() being
676     called from within a BEGIN block.
677
678 commit 576b33a19ccaf98d4dfe201d529c55c3747f0cb6
679
680     [rt.cpan.org #51574] Safe.pm sort {} bug accessing $a and $b with -Dusethreads
681
682 commit ee6ba15dedda3e88eb66891eaf387c00a4c0a2fb
683
684     Fix -DPERL_NO_UTF16_FILTER
685
686 commit dfd167e94af611f6248e804cb228b35ca4123bd6
687
688     Handle $@ being assigned a read-only value (without error or busting the stack).
689
690     Discovered whilst investigating RT #70862.
691
692 commit f5fa9033b8c1fdcbd7710850b3b0380d6b937853
693
694     Fix RT #70862 by converting ERRSV to GvSVn() to ensure a non-NULL GvSV().
695
696 commit ff868e665bf85a829dc47bfa1243b26d4367cacd
697
698     Add error codes for getaddrinfo() and getnameinfo()
699
700 commit 61fc5122f0d8a509834282b8ecb3252d2e4c9f5d
701
702     Make unicode semantics the default
703
704     *****************
705
706 commit 021f53de09926928546378b3552f9240c9241dde
707 Author: Gerard Goossen <gerard@ggoossen.net>
708 Date:   Mon Nov 16 13:58:24 2009 +0100
709
710     Force OP_REQUIRE to scalar context at the end of ck_require and don't let it become void context. Fixes problem with require not always being in scalar context.
711
712 commit 6a0e50422a84b53e998825128c56791913cd03aa
713 Author: Craig A. Berry <craigberry@mac.com>
714 Date:   Sat Nov 21 11:17:38 2009 -0600
715