Create perldelta for 5.14.3
[perl.git] / pod / perl5139delta.pod
1 =encoding utf8
2
3 =head1 NAME
4
5 perl5139delta - what is new for perl v5.13.9
6
7 =head1 DESCRIPTION
8
9 This document describes differences between the 5.13.8 release and
10 the 5.13.9 release.
11
12 If you are upgrading from an earlier release such as 5.13.7, first read
13 L<perl5138delta>, which describes differences between 5.13.7 and
14 5.13.8.
15
16 =head1 Core Enhancements
17
18 =head2 New regular expression modifier C</a>
19
20 The C</a> regular expression modifier restricts C<\s> to match precisely
21 the five characters C<[ \f\n\r\t]>, C<\d> to match precisely the 10
22 characters C<[0-9]>, C<\w> to match precisely the 63 characters
23 C<[A-Za-z0-9_]>, and the Posix (C<[[:posix:]]>) character classes to
24 match only the appropriate ASCII characters.  The complements, of
25 course, match everything but; and C<\b> and C<\B> are correspondingly
26 affected.  Otherwise, C</a> behaves like the C</u> modifier, in that
27 case-insensitive matching uses Unicode semantics; for example, "k" will
28 match the Unicode C<\N{KELVIN SIGN}> under C</i> matching, and code
29 points in the Latin1 range, above ASCII will have Unicode semantics when
30 it comes to case-insensitive matching.  Like its cousins (C</u>, C</l>,
31 and C</d>), and in spite of the terminology, C</a> in 5.14 will not
32 actually be able to be used as a suffix at the end of a regular
33 expression (this restriction is planned to be lifted in 5.16).  It must
34 occur either as an infix modifier, such as C<(?a:...)> or (C<(?a)...>,
35 or it can be turned on within the lexical scope of C<use re '/a'>.
36 Turning on C</a> turns off the other "character set" modifiers.
37
38 =head2 Any unsigned value can be encoded as a character
39
40 With this release, Perl is adopting a model that any unsigned value can
41 be treated as a code point and encoded internally (as utf8) without
42 warnings -- not just the code points that are legal in Unicode.
43 However, unless utf8 warnings have been
44 explicitly lexically turned off, outputting or performing a
45 Unicode-defined operation (such as upper-casing) on such a code point
46 will generate a warning.  Attempting to input these using strict rules
47 (such as with the C<:encoding('UTF-8')> layer) will continue to fail.
48 Prior to this release the handling was very inconsistent, and incorrect
49 in places.  Also, the Unicode non-characters, some of which previously were
50 erroneously considered illegal in places by Perl, contrary to the Unicode
51 standard, are now always legal internally.  But inputting or outputting
52 them will work the same as for the non-legal Unicode code points, as the
53 Unicode standard says they are illegal for "open interchange".
54
55 =head2 Regular expression debugging output improvement
56
57 Regular expression debugging output (turned on by C<use re 'debug';>) now
58 uses hexadecimal when escaping non-ASCII characters, instead of octal.
59
60 =head1 Security
61
62 =head2 Restrict \p{IsUserDefined} to In\w+ and Is\w+
63
64 In L<perlunicode/"User-Defined Character Properties">, it says you can
65 create custom properties by defining subroutines whose names begin with
66 "In" or "Is". However, perl doesn't actually enforce that naming
67 restriction, so \p{foo::bar} will call foo::Bar() if it exists.
68
69 This commit finally enforces this convention. Note that this broke a
70 number of existing tests for properties, since they didn't always use an
71 Is/In prefix.
72
73 =head1 Incompatible Changes
74
75 =head2 All objects are destroyed
76
77 It used to be possible to prevent a destructor from being called during
78 global destruction by artificially increasing the reference count of an
79 object.
80
81 Now such objects I<will> will be destroyed, as a result of a bug fix
82 L<[perl #81230]|http://rt.perl.org/rt3/Public/Bug/Display.html?id=81230>.
83
84 This has the potential to break some XS modules. (In fact, it break some.
85 See L</Known Problems>, below.)
86
87 =head1 Modules and Pragmata
88
89 =head2 New Modules and Pragmata
90
91 =over 4
92
93 =item *
94
95 C<CPAN::Meta::YAML> 0.003 has been added as a dual-life module.  It supports a
96 subset of YAML sufficient for reading and writing META.yml and MYMETA.yml files
97 included with CPAN distributions or generated by the module installation
98 toolchain. It should not be used for any other general YAML parsing or
99 generation task.
100
101 =item *
102
103 C<HTTP::Tiny> 0.009 has been added as a dual-life module.  It is a very
104 small, simple HTTP/1.1 client designed for simple GET requests and file
105 mirroring.  It has has been added to enable CPAN.pm and CPANPLUS to
106 "bootstrap" HTTP access to CPAN using pure Perl without relying on external
107 binaries like F<curl> or F<wget>.
108
109 =item *
110
111 C<JSON::PP> 2.27103 has been added as a dual-life module, for the sake of
112 reading F<META.json> files in CPAN distributions.
113
114 =item *
115
116 C<Module::Metadata> 1.000003 has been added as a dual-life module.  It gathers
117 package and POD information from Perl module files.  It is a standalone module
118 based on Module::Build::ModuleInfo for use by other module installation
119 toolchain components.  Module::Build::ModuleInfo has been deprecated in
120 favor of this module instead.
121
122 =item *
123
124 C<Perl::OSType> 1.002 has been added as a dual-life module.  It maps Perl
125 operating system names (e.g. 'dragonfly' or 'MSWin32') to more generic types
126 with standardized names (e.g.  "Unix" or "Windows").  It has been refactored
127 out of Module::Build and ExtUtils::CBuilder and consolidates such mappings into
128 a single location for easier maintenance.
129
130 =back
131
132 =head2 Updated Modules and Pragmata
133
134 =over 4
135
136 =item *
137
138 C<Archive::Extract> has been upgraded from version 0.46 to 0.48
139
140 =item *
141
142 C<Archive::Tar> has been upgraded from version 1.74 to 1.76
143
144 =item *
145
146 C<CGI> has been upgraded from version 3.50 to 3.51
147
148 Further improvements have been made to guard against newline injections
149 in headers.
150
151 =item *
152
153 C<Compress::Raw::Bzip2> has been upgraded from version 2.031 to 2.033
154
155 =item *
156
157 C<Compress::Raw::Zlib> has been upgraded from version 2.030 to 2.033
158
159 =item *
160
161 C<CPAN> has been upgraded from version 1.94_62 to 1.94_63
162
163 =item *
164
165 C<CPANPLUS> has been upgraded from version 0.9010 to 0.9011
166
167 =item *
168
169 C<CPANPLUS::Dist::Build> has been upgraded from version 0.50 to 0.52
170
171 =item *
172
173 C<DB_File> has been upgraded from version 1.820 to 1.821
174
175 =item *
176
177 C<Encode> has been upgraded from version 2.40 to 2.42.
178 Now, all 66 Unicode non-characters are treated the same way U+FFFF has
179 always been treated; if it was disallowed, all 66 are disallowed; if it
180 warned, all 66 warn.
181
182 =item *
183
184 C<File::Fetch> has been upgraded from version 0.28 to 0.32
185
186 =item *
187
188 C<IO::Compress> has been upgraded from version 2.030 to 2.033
189
190 =item *
191
192 C<IPC::Cmd> has been upgraded from version 0.66 to 0.68
193
194 =item *
195
196 C<Log::Message> has been upgraded from version 0.02 to 0.04
197
198 =item *
199
200 C<Log::Message::Simple> has been upgraded from version 0.06 to 0.08
201
202 =item *
203
204 C<Module::Load::Conditional> has been upgraded from version 0.38 to 0.40
205
206 =item *
207
208 C<Object::Accessor> has been upgraded from version 0.36 to 0.38
209
210 =item *
211
212 C<Params::Check> has been upgraded from version 0.26 to 0.28
213
214 =item *
215
216 C<Pod::LaTeX> has been upgraded from version 0.58 to 0.59
217
218 =item *
219
220 C<Socket> has been updated with new affordances for IPv6,
221 including implementations of the C<Socket::getaddrinfo()> and
222 C<Socket::getnameinfo()> functions, along with related constants.
223
224 =item *
225
226 C<Term::UI> has been upgraded from version 0.20 to 0.24
227
228 =item *
229
230 C<Thread::Queue> has been upgraded from version 2.11 to 2.12.
231
232 =item *
233
234 C<Thread::Semaphore> has been upgraded from version 2.11 to 2.12.
235
236 =item *
237
238 C<threads> has been upgraded from version 1.81_03 to 1.82
239
240 =item *
241
242 C<threads::shared> has been upgraded from version 1.35 to 1.36
243
244 =item *
245
246 C<Time::Local> has been upgraded from version 1.1901_01 to 1.2000.
247
248 =item *
249
250 C<Unicode::Normalize> has been upgraded from version 1.07 to 1.10
251
252 =item *
253
254 C<version> has been upgraded from 0.86 to 0.88.
255
256 =item *
257
258 C<Win32> has been upgraded from version 0.41 to 0.44.
259
260 =back
261
262 =head1 Documentation
263
264 =head2 Changes to Existing Documentation
265
266 =head3 All documentation
267
268 =over
269
270 =item *
271
272 Numerous POD warnings were fixed.
273
274 =item *
275
276 Many, many spelling errors and typographical mistakes were corrected throughout Perl's core.
277
278 =back
279
280 =head3 C<perlhack>
281
282 =over 4
283
284 =item *
285
286 C<perlhack> was extensively reorganized.
287
288 =back
289
290 =head3 C<perlfunc>
291
292 =over 4
293
294 =item *
295
296 It has now been documented that C<ord> returns 0 for an empty string.
297
298 =back
299
300 =head1 Diagnostics
301
302 The following additions or changes have been made to diagnostic output,
303 including warnings and fatal error messages.  For the complete list of
304 diagnostic messages, see L<perldiag>.
305
306 =head2 New Diagnostics
307
308 =over 4
309
310 =item *
311
312 Performing an operation requiring Unicode semantics (such as case-folding)
313 on a Unicode surrogate or a non-Unicode character now triggers a warning:
314 'Operation "%s" returns its argument for ...'.
315
316 =back
317
318 =head2 Changes to Existing Diagnostics
319
320 =over 4
321
322 =item *
323
324 Previously, if none of the C<gethostbyaddr>, C<gethostbyname> and
325 C<gethostent> functions were implemented on a given platform, they would
326 all die with the message 'Unsupported socket function "gethostent" called',
327 with analogous messages for C<getnet*> and C<getserv*>. This has been
328 corrected.
329
330 =back
331
332 =head1 Utility Changes
333
334 =head3 C<perlbug>
335
336 =over 4
337
338 =item *
339
340 C<perlbug> did not previously generate a From: header, potentially
341 resulting in dropped mail. Now it does include that header.
342
343 =back
344
345 =head3 C<buildtoc>
346
347 =over 4
348
349 =item *
350
351 F<pod/buildtoc> has been modernized and can now be used to test the
352 well-formedness of F<pod/perltoc.pod> automatically.
353
354 =back
355
356 =head1 Testing
357
358 =over 4
359
360 =item *
361
362 C<lib/File/DosGlob.t> has been modernized and now uses C<Test::More>.
363
364 =item *
365
366 A new test script, C<t/porting/filenames.t>, makes sure that filenames and
367 paths are reasonably portable.
368
369 =item *
370
371 C<t/porting/diag.t> is now several orders of magnitude faster.
372
373 =item *
374
375 C<t/porting/buildtoc.t> now tests that the documentation TOC file is current and well-formed.
376
377 =item *
378
379 C<t/base/while.t> now tests the basics of a while loop with minimal dependencies.
380
381 =item *
382
383 C<t/cmd/while.t> now uses F<test.pl> for better maintainability.
384
385 =item *
386
387 C<t/op/split.t> now tests calls to C<split> without any pattern specified.
388
389 =back
390
391
392
393 =head1 Platform Support
394
395 =head2 Discontinued Platforms
396
397 =over 4
398
399 =item Apollo DomainOS
400
401 The last vestiges of support for this platform have been excised from the
402 Perl distribution. It was officially discontinued in version 5.12.0. It had
403 not worked for years before that.
404
405 =item MacOS Classic
406
407 The last vestiges of support for this platform have been excised from the
408 Perl distribution. It was officially discontinued in an earlier version.
409
410 =back
411
412 =head2 Platform-Specific Notes
413
414 =over 4
415
416
417 =item Cygwin
418
419 =over
420
421 =item *
422
423 Updated MakeMaker to build man pages on cygwin.
424
425 =item *
426
427 Improved rebase behaviour
428
429 If a dll is updated on cygwin reuse the old imagebase address.
430 This solves most rebase errors, esp when updating on core dll's.
431 See L<http://www.tishler.net/jason/software/rebase/rebase-2.4.2.README> for more information.
432
433 =item *
434
435 Support the standard cyg dll prefix, which is e.g. needed for FFI's.
436
437 =item *
438
439 Updated build hints file
440
441 =back
442
443
444 =item Solaris
445
446 DTrace is now supported on Solaris. There used to be build failures, but
447 these have been fixed
448 L<[perl #73630]|http://rt.perl.org/rt3/Public/Bug/Display.html?id=73630>.
449
450 =back
451
452 =head1 Internal Changes
453
454 =over 4
455
456 =item *
457
458 The opcode bodies for C<chop> and C<chomp> and for C<schop> and C<schomp> have
459 been merged. The implementation functions C<Perl_do_chop()> and
460 C<Perl_do_chomp()>, never part of the public API, have been merged and moved to
461 a static function in F<pp.c>. This shrinks the perl binary slightly, and should
462 not affect any code outside the core (unless it is relying on the order of side
463 effects when C<chomp> is passed a I<list> of values).
464
465 =item *
466
467 Some of the flags parameters to the uvuni_to_utf8_flags() and
468 utf8n_to_uvuni() have changed.  This is a result of Perl now allowing
469 internal storage and manipulation of code points that are problematic
470 in some situations.  Hence, the default actions for these functions has
471 been complemented to allow these code points.  The new flags are
472 documented in L<perlapi>.  Code that requires the problematic code
473 points to be rejected needs to change to use these flags.  Some flag
474 names are retained for backward source compatibility, though they do
475 nothing, as they are now the default.  However the flags
476 C<UNICODE_ALLOW_FDD0>, C<UNICODE_ALLOW_FFFF>, C<UNICODE_ILLEGAL>, and
477 C<UNICODE_IS_ILLEGAL> have been removed, as they stem from a
478 fundamentally broken model of how the Unicode non-character code points
479 should be handled, which is now described in
480 L<perlunicode/Non-character code points>.  See also L</Selected Bug Fixes>.
481
482 =item *
483
484 Certain shared flags in the C<pmop.op_pmflags> and C<regexp.extflags>
485 structures have been removed.  These are: C<Rxf_Pmf_LOCALE>,
486 C<Rxf_Pmf_UNICODE>, and C<PMf_LOCALE>.  Instead there are encodes and
487 three static in-line functions for accessing the information:
488 C<get_regex_charset()>, C<set_regex_charset()>, and C<get_regex_charset_name()>,
489 which are defined in the places where the original flags were.
490
491 =item *
492
493 A new option has been added to C<pv_escape> to dump all characters above
494 ASCII in hexadecimal. Before, one could get all characters as hexadecimal
495 or the Latin1 non-ASCII as octal
496
497
498 =item *
499
500 Generate pp_* prototypes in pp_proto.h, and remove pp.sym
501
502 Eliminate the #define pp_foo Perl_pp_foo(pTHX) macros, and update the 13
503 locations that relied on them.
504
505 regen/opcode.pl now generates prototypes for the PP functions directly, into
506 pp_proto.h. It no longer writes pp.sym, and regen/embed.pl no longer reads
507 this, removing the only ordering dependency in the regen scripts. opcode.pl
508 is now responsible for prototypes for pp_* functions. (embed.pl remains
509 responsible for ck_* functions, reading from regen/opcodes)
510
511 =back
512
513 =head1 Selected Bug Fixes
514
515 =over 4
516
517 =item *
518
519 The handling of Unicode non-characters has changed.
520 Previously they were mostly considered illegal, except that only one of
521 the 66 of them was known about in places.  The Unicode standard
522 considers them legal, but forbids the "open interchange" of them.
523 This is part of the change to allow the internal use of any code point
524 (see L</Core Enhancements>).  Together, these changes resolve
525 L<# 38722|https://rt.perl.org/rt3/Ticket/Display.html?id=38722>,
526 L<# 51918|http://rt.perl.org/rt3/Ticket/Display.html?id=51918>,
527 L<# 51936|http://rt.perl.org/rt3/Ticket/Display.html?id=51936>,
528 L<# 63446|http://rt.perl.org/rt3/Ticket/Display.html?id=63446>
529
530 =item *
531
532 Sometimes magic (ties, tainted, etc.) attached to variables could cause an
533 object to last longer than it should, or cause a crash if a tied variable
534 were freed from within a tie method. These have been fixed
535 L<[perl #81230]|http://rt.perl.org/rt3/Public/Bug/Display.html?id=81230>.
536
537 =item *
538
539 Most I/O functions were not warning for unopened handles unless the
540 'closed' and 'unopened' warnings categories were both enabled. Now only
541 C<use warnings 'unopened'> is necessary to trigger these warnings (as was
542 always meant to be the case.
543
544 =item *
545
546 C<< E<lt>exprE<gt> >> always respects overloading now if the expression is
547 overloaded.
548
549 Due to the way that 'E<lt>E<gt> as glob' was parsed differently from
550 'E<lt>E<gt> as filehandle' from 5.6 onwards, something like C<< E<lt>$foo[0]E<gt> >> did
551 not handle overloading, even if C<$foo[0]> was an overloaded object. This
552 was contrary to the documentation for overload, and meant that C<< E<lt>E<gt> >>
553 could not be used as a general overloaded iterator operator.
554
555 =item *
556
557 Destructors on objects were not called during global destruction on objects
558 that were not referenced by any scalars. This could happen if an array
559 element were blessed (e.g., C<bless \$a[0]>) or if a closure referenced a
560 blessed variable (C<bless \my @a; sub foo { @a }>).
561
562 Now there is an extra pass during global destruction to fire destructors on
563 any objects that might be left after the usual passes that check for
564 objects referenced by scalars
565 L<[perl #36347]|http://rt.perl.org/rt3/Public/Bug/Display.html?id=36347>.
566
567 =item *
568
569 A long standing bug has now been fully fixed (partial fixes came in
570 earlier releases), in which some Latin-1 non-ASCII characters on
571 ASCII-platforms would match both a character class and its complement,
572 such as U+00E2 being both in C<\w> and C<\W>, depending on the
573 UTF-8-ness of the regular expression pattern and target string.
574 Fixing this did expose some bugs in various modules and tests that
575 relied on the previous behavior of C<[[:alpha:]]> not ever matching
576 U+00FF, "LATIN SMALL LETTER Y WITH DIAERESIS", even when it should, in
577 Unicode mode; now it does match when appropriate.
578 L<[perl #60156]|http://rt.perl.org/rt3/Ticket/Display.html?id=60156>.
579
580 =back
581
582 =head1 Known Problems
583
584 =over 4
585
586 =item *
587
588 The fix for [perl #81230] causes test failures for C<Tk> version 804.029.
589 This is still being investigated.
590
591 =back
592
593 =head1 Acknowledgements
594
595 Perl 5.13.9 represents approximately one month of development since
596 Perl 5.13.8 and contains approximately 48000 lines of changes across
597 809 files from 35 authors and committers:
598
599 Abigail, Ævar Arnfjörð Bjarmason, brian d foy, Chris 'BinGOs' Williams,
600 Craig A. Berry, David Golden, David Leadbeater, David Mitchell, Father
601 Chrysostomos, Florian Ragwitz, Gerard Goossen, H.Merijn Brand, Jan
602 Dubois, Jerry D. Hedden, Jesse Vincent, John Peacock, Karl Williamson,
603 Leon Timmermans, Michael Parker, Michael Stevens, Nicholas Clark,
604 Nuno Carvalho, Paul "LeoNerd" Evans, Peter J. Acklam, Peter Martini,
605 Rainer Tammer, Reini Urban, Renee Baecker, Ricardo Signes, Robin Barker,
606 Tony Cook, Vadim Konovalov, Vincent Pit, Zefram, and Zsbán Ambrus.
607
608 Many of the changes included in this version originated in the CPAN
609 modules included in Perl's core. We're grateful to the entire CPAN
610 community for helping Perl to flourish.
611
612 =head1 Reporting Bugs
613
614 If you find what you think is a bug, you might check the articles
615 recently posted to the comp.lang.perl.misc newsgroup and the perl
616 bug database at http://rt.perl.org/perlbug/ .  There may also be
617 information at http://www.perl.org/ , the Perl Home Page.
618
619 If you believe you have an unreported bug, please run the L<perlbug>
620 program included with your release.  Be sure to trim your bug down
621 to a tiny but sufficient test case.  Your bug report, along with the
622 output of C<perl -V>, will be sent off to perlbug@perl.org to be
623 analysed by the Perl porting team.
624
625 If the bug you are reporting has security implications, which make it
626 inappropriate to send to a publicly archived mailing list, then please send
627 it to perl5-security-report@perl.org. This points to a closed subscription
628 unarchived mailing list, which includes all the core committers, who be able
629 to help assess the impact of issues, figure out a resolution, and help
630 co-ordinate the release of patches to mitigate or fix the problem across all
631 platforms on which Perl is supported. Please only use this address for
632 security issues in the Perl core, not for modules independently
633 distributed on CPAN.
634
635 =head1 SEE ALSO
636
637 The F<Changes> file for an explanation of how to view exhaustive details
638 on what changed.
639
640 The F<INSTALL> file for how to build Perl.
641
642 The F<README> file for general stuff.
643
644 The F<Artistic> and F<Copying> files for copyright information.
645
646 =cut