This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
8afaadf20ba4011d4c7ce7245f4495175be3211e
[perl5.git] / pod / perldelta.pod
1 =encoding utf8
2
3 =head1 NAME
4
5 perldelta - what is new for perl v5.13.9
6
7 =head1 DESCRIPTION
8
9 This document describes differences between the 5.13.8 release and
10 the 5.13.9 release.
11
12 If you are upgrading from an earlier release such as 5.13.7, first read
13 L<perl5138delta>, which describes differences between 5.13.7 and
14 5.13.8.
15
16 =head1 Notice
17
18 XXX Any important notices here
19
20 =head1 Core Enhancements
21
22 =head2 New regular expression modifier C</a>
23
24 The C</a> regular expression modifier restricts C<\s> to match precisely
25 the five characters C<[ \f\n\r\t]>, C<\d> to match precisely the 10
26 characters C<[0-9]>, C<\w> to match precisely the 63 characters
27 C<[A-Za-z0-9_]>, and the Posix (C<[[:posix:]]>) character classes to
28 match only the appropriate ASCII characters.  The complements, of
29 course, match everything but; and C<\b> and C<\B> are correspondingly
30 affected.  Otherwise, C</a> behaves like the C</u> modifier, in that
31 case-insensitive matching uses Unicode semantics; for example, "k" will
32 match the Unicode C<\N{KELVIN SIGN}> under C</i> matching, and code
33 points in the Latin1 range, above ASCII will have Unicode semantics when
34 it comes to case-insensitive matching.  Like its cousins (C</u>, C</l>,
35 and C</d>), and in spite of the terminology, C</a> in 5.14 will not
36 actually be able to be used as a suffix at the end of a regular
37 expression (this restriction is planned to be lifted in 5.16).  It must
38 occur either as an infix modifier, such as C<(?a:...)> or (C<(?a)...>,
39 or it can be turned on within the lexical scope of C<use re '/a'>.
40 Turning on C</a> turns off the other "character set" modifiers.
41
42 =head2 Any unsigned value can be encoded as a character
43
44 With this release, Perl is adopting a model that any unsigned value can
45 be treated as a code point and encoded internally (as utf8) without
46 warnings -- not just the code points that are legal in Unicode.
47 However, unless utf8 warnings have been
48 explicitly lexically turned off, outputting or performing a
49 Unicode-defined operation (such as upper-casing) on such a code point
50 will generate a warning.  Attempting to input these using strict rules
51 (such as with the C<:encoding('UTF-8')> layer) will continue to fail.
52 Prior to this release the handling was very inconsistent, and incorrect
53 in places.  Also, the Unicode non-characters, some of which previously were
54 erroneously considered illegal in places by Perl, contrary to the Unicode
55 standard, are now always legal internally.  But inputting or outputting
56 them will work the same as for the non-legal Unicode code points, as the
57 Unicode standard says they are illegal for "open interchange".
58
59 =head2 Regular expression debugging output improvement
60
61 Regular expression debugging output (turned on by C<use re 'debug';>) now
62 uses hexadecimal when escaping non-ASCII characters, instead of octal.
63
64 =head1 Security
65
66 =head2 Restrict \p{IsUserDefined} to In\w+ and In\w+
67
68 In L<perlunicode/"User-Defined Character Properties">, it says you can
69 create custom properties by defining subroutines whose names begin with
70 "In" or "Is". However, perl doesn't actually enforce that naming
71 restriction, so \p{foo::bar} will call foo::Bar() if it exists.
72
73 This commit finally enforces this convention. Note that this broke a
74 number of existing tests for properties, since they didn't always use an
75 Is/In prefix.
76
77 =head1 Incompatible Changes
78
79 =head2 All objects are destroyed
80
81 It used to be possible to prevent a destructor from being called during
82 global destruction by artificially increasing the reference count of an
83 object.
84
85 Now such objects I<will> will be destroyed, as a result of a bug fix
86 L<[perl #81230]|http://rt.perl.org/rt3/Public/Bug/Display.html?id=81230>.
87
88 This has the potential to break some XS modules. (In fact, it break some.
89 See L</Known Problems>, below.)
90
91 =head1 Modules and Pragmata
92
93 =head2 New Modules and Pragmata
94
95 =over 4
96
97 =item *
98
99 L<CPAN::Meta::YAML> 0.003 has been added as a dual-life module.  It supports a
100 subset of YAML sufficient for reading and writing META.yml and MYMETA.yml files
101 included with CPAN distributions or generated by the module installation
102 toolchain. It should not be used for any other general YAML parsing or
103 generation task.
104
105 =item *
106
107 L<HTTP::Tiny> 0.009 has been added as a dual-life module.  It is a very
108 small, simple HTTP/1.1 client designed for simple GET requests and file
109 mirroring.  It has has been added to enable CPAN.pm and CPANPLUS to
110 "bootstrap" HTTP access to CPAN using pure Perl without relying on external
111 binaries like F<curl> or F<wget>.
112
113 =item *
114
115 L<JSON::PP> 2.27103 has been added as a dual-life module, for the sake of
116 reading F<META.json> files in CPAN distributions.
117
118 =item *
119
120 L<Module::Metadata> 1.000003 has been added as a dual-life module.  It gathers
121 package and POD information from Perl module files.  It is a standalone module
122 based on Module::Build::ModuleInfo for use by other module installation
123 toolchain components.  Module::Build::ModuleInfo has been deprecated in
124 favor of this module instead.
125
126 =item *
127
128 L<Perl::OSType> 1.002 has been added as a dual-life module.  It maps Perl
129 operating system names (e.g. 'dragonfly' or 'MSWin32') to more generic types
130 with standardized names (e.g.  "Unix" or "Windows").  It has been refactored
131 out of Module::Build and ExtUtils::CBuilder and consolidates such mappings into
132 a single location for easier maintenance.
133
134 =back
135
136 =head2 Updated Modules and Pragmata
137
138 =over 4
139
140 =item *
141
142 C<Archive::Extract> has been upgraded from version 0.46 to 0.48
143
144 =item *
145
146 C<Archive::Tar> has been upgraded from version 1.74 to 1.76
147
148 =item *
149
150 C<CGI> has been upgraded from version 3.50 to 3.51
151
152 Further improvements have been made to guard against newline injections
153 in headers.
154
155 =item *
156
157 C<Compress::Raw::Bzip2> has been upgraded from version 2.031 to 2.033
158
159 =item *
160
161 C<Compress::Raw::Zlib> has been upgraded from version 2.030 to 2.033
162
163 =item *
164
165 C<CPAN> has been upgraded from version 1.94_62 to 1.94_63
166
167 =item *
168
169 C<CPANPLUS> has been upgraded from version 0.9010 to 0.9011
170
171 =item *
172
173 C<CPANPLUS::Dist::Build> has been upgraded from version 0.50 to 0.52
174
175 =item *
176
177 C<DB_File> has been upgraded from version 1.820 to 1.821
178
179 =item *
180
181 C<Encode> has been upgraded from version 2.40 to 2.42.
182 Now, all 66 Unicode non-characters are treated the same way U+FFFF has
183 always been treated; if it was disallowed, all 66 are disallowed; if it
184 warned, all 66 warn.
185
186 =item *
187
188 C<File::Fetch> has been upgraded from version 0.28 to 0.32
189
190 =item *
191
192 C<IO::Compress> has been upgraded from version 2.030 to 2.033
193
194 =item *
195
196 C<IPC::Cmd> has been upgraded from version 0.66 to 0.68
197
198 =item *
199
200 C<Log::Message> has been upgraded from version 0.02 to 0.04
201
202 =item *
203
204 C<Log::Message::Simple> has been upgraded from version 0.06 to 0.08
205
206 =item *
207
208 C<Module::Load::Conditional> has been upgraded from version 0.38 to 0.40
209
210 =item *
211
212 C<Object::Accessor> has been upgraded from version 0.36 to 0.38
213
214 =item *
215
216 C<Params::Check> has been upgraded from version 0.26 to 0.28
217
218 =item *
219
220 C<Pod::LaTeX> has been upgraded from version 0.58 to 0.59
221
222 =item *
223
224 C<Socket> has been updated with new affordances for IPv6,
225 including implementations of the C<Socket::getaddrinfo()> and
226 C<Socket::getnameinfo()> functions, along with related constants.
227
228 =item *
229
230 C<Term::UI> has been upgraded from version 0.20 to 0.24
231
232 =item *
233
234 C<Thread::Queue> has been upgraded from version 2.11 to 2.12.
235
236 =item *
237
238 C<Thread::Semaphore> has been upgraded from version 2.11 to 2.12.
239
240 =item *
241
242 C<threads> has been upgraded from version 1.81_03 to 1.82
243
244 =item *
245
246 C<threads::shared> has been upgraded from version 1.35 to 1.36
247
248 =item *
249
250 C<Time::Local> has been upgraded from version 1.1901_01 to 1.2000.
251
252 =item *
253
254 C<Unicode::Normalize> has been upgraded from version 1.07 to 1.10
255
256 =item *
257
258 C<version> has been upgraded from 0.86 to 0.88.
259
260 =item *
261
262 C<Win32> has been upgraded from version 0.41 to 0.44.
263
264 =back
265
266 =head1 Documentation
267
268 =head2 Changes to Existing Documentation
269
270 =head3 All documentation
271
272 =over
273
274 =item *
275
276 Numerous POD warnings were fixed.
277
278 =item *
279
280 Many, many spelling errors and typographical mistakes were corrected throughout Perl's core.
281
282 =back
283
284 =head3 L<Porting/epigraphs.pod> and L<pod/perlhist.pod>
285
286 This patch makes multiple changes to Porting/epigraphs.pod and pod/perlhist.pod.
287
288 =head3 L<perlhack>
289
290 =over 4
291
292 =item *
293
294 L<perlhack> was extensively reorganized.
295
296 =back
297
298 =head3 L<perlfunc>
299
300 =over 4
301
302 =item *
303
304 It has now been documented that C<ord> returns 0 for an empty string.
305
306 =back
307
308 =head1 Diagnostics
309
310 The following additions or changes have been made to diagnostic output,
311 including warnings and fatal error messages.  For the complete list of
312 diagnostic messages, see L<perldiag>.
313
314 =head2 New Diagnostics
315
316 =over 4
317
318 =item *
319
320 Performing an operation requiring Unicode semantics (such as case-folding)
321 on a Unicode surrogate or a non-Unicode character now triggers a warning:
322 'Operation "%s" returns its argument for ...'.
323
324 =back
325
326 =head2 Changes to Existing Diagnostics
327
328 =over 4
329
330 =item *
331
332 Previously, if none of the C<gethostbyaddr>, C<gethostbyname> and
333 C<gethostent> functions were implemented on a given platform, they would
334 all die with the message 'Unsupported socket function "gethostent" called',
335 with analogous messages for C<getnet*> and C<getserv*>. This has been
336 corrected.
337
338 =back
339
340 =head1 Utility Changes
341
342 =head3 L<perlbug>
343
344 =over 4
345
346 =item *
347
348 C<perlbug> did not previously generate a From: header, potentially
349 resulting in dropped mail. Now it does include that header.
350
351 =back
352
353 =head3 L<buildtoc>
354
355 =over 4
356
357 =item *
358
359 F<pod/buildtoc> has been modernized and can now be used to test the
360 well-formedness of F<pod/perltoc.pod> automatically.
361
362 =back
363
364 =head1 Testing
365
366 =over 4
367
368 =item *
369
370 C<lib/File/DosGlob.t> has been modernized and now uses L<Test::More>.
371
372 =item *
373
374 A new test script, C<t/porting/filenames.t>, makes sure that filenames and
375 paths are reasonably portable.
376
377 =item *
378
379 C<t/porting/diag.t> is now several orders of magnitude faster.
380
381 =item *
382
383 C<t/porting/buildtoc.t> now tests that the documentation TOC file is current and well-formed.
384
385 =item *
386
387 C<t/base/while.t> now tests the basics of a while loop with minimal dependencies.
388
389 =item *
390
391 C<t/cmd/while.t> now uses F<test.pl> for better maintainability.
392
393 =item *
394
395 C<t/op/split.t> now tests calls to C<split> without any pattern specified.
396
397 =back
398
399
400
401 =head1 Platform Support
402
403 =head2 Discontinued Platforms
404
405 =over 4
406
407 =item Apollo DomainOS
408
409 The last vestiges of support for this platform have been excised from the
410 Perl distribution. It was officially discontinued in version 5.12.0. It had
411 not worked for years before that.
412
413 =item MacOS Classic
414
415 The last vestiges of support for this platform have been excised from the
416 Perl distribution. It was officially discontinued in an earlier version.
417
418 =back
419
420 =head2 Platform-Specific Notes
421
422 =over 4
423
424
425 =item Cygwin
426
427 =over
428
429 =item Update MakeMaker to build man pages on cygwin.
430
431 =item Improve rebase behaviour
432
433 If a dll is updated on cygwin reuse the old imagebase address.
434 This solves most rebase errors, esp when updating on core dll's.
435 See L<http://www.tishler.net/jason/software/rebase/rebase-2.4.2.README> for more information.
436
437 =item CYG14 Dynaloader without USEIMPORTLIB, and search cyg prefix
438
439 Support the standard cyg dll prefix, which is e.g. needed for FFI's.
440 Ctypes and C::DynaLib use DynaLoader to find dlls.
441
442 With -DUSEIMPORTLIB DynaLoader symbols link against the prefixed
443 symbol names for the .dll.a importlib, but we need to link against the
444 symbols directly. We don't link Dynaloader against libperl.dll.a.
445
446 =item Updated build hints file
447
448 =back
449
450
451 =item Solaris
452
453 DTrace is now supported on Solaris. There used to be build failures, but
454 these have been fixed
455 L<[perl #73630]|http://rt.perl.org/rt3/Public/Bug/Display.html?id=73630>.
456
457 =back
458
459 =head1 Internal Changes
460
461 =over 4
462
463 =item *
464
465 The opcode bodies for C<chop> and C<chomp> and for C<schop> and C<schomp> have
466 been merged. The implementation functions C<Perl_do_chop()> and
467 C<Perl_do_chomp()>, never part of the public API, have been merged and moved to
468 a static function in F<pp.c>. This shrinks the perl binary slightly, and should
469 not affect any code outside the core (unless it is relying on the order of side
470 effects when C<chomp> is passed a I<list> of values).
471
472 =item *
473
474 Some of the flags parameters to the uvuni_to_utf8_flags() and
475 utf8n_to_uvuni() have changed.  This is a result of Perl now allowing
476 internal storage and manipulation of code points that are problematic
477 in some situations.  Hence, the default actions for these functions has
478 been complemented to allow these code points.  The new flags are
479 documented in L<perlapi>.  Code that requires the problematic code
480 points to be rejected needs to change to use these flags.  Some flag
481 names are retained for backward source compatibility, though they do
482 nothing, as they are now the default.  However the flags
483 C<UNICODE_ALLOW_FDD0>, C<UNICODE_ALLOW_FFFF>, C<UNICODE_ILLEGAL>, and
484 C<UNICODE_IS_ILLEGAL> have been removed, as they stem from a
485 fundamentally broken model of how the Unicode non-character code points
486 should be handled, which is now described in
487 L<perlunicode/Non-character code points>.  See also L</Selected Bug Fixes>.
488
489 =item *
490
491 Certain shared flags in the C<pmop.op_pmflags> and C<regexp.extflags>
492 structures have been removed.  These are: C<Rxf_Pmf_LOCALE>,
493 C<Rxf_Pmf_UNICODE>, and C<PMf_LOCALE>.  Instead there are encodes and
494 three static in-line functions for accessing the information:
495 C<get_regex_charset()>, C<set_regex_charset()>, and C<get_regex_charset_name()>,
496 which are defined in the places where the orginal flags were.
497
498 =item *
499
500 A new option has been added to C<pv_escape> to dump all characters above
501 ASCII in hexadecimal. Before, one could get all characters as hexadecimal
502 or the Latin1 non-ASCII as octal
503
504
505 =item *
506
507 Generate pp_* prototypes in pp_proto.h, and remove pp.sym
508
509 Eliminate the #define pp_foo Perl_pp_foo(pTHX) macros, and update the 13
510 locations that relied on them.
511
512 regen/opcode.pl now generates prototypes for the PP functions directly, into
513 pp_proto.h. It no longer writes pp.sym, and regen/embed.pl no longer reads
514 this, removing the only ordering dependency in the regen scripts. opcode.pl
515 is now responsible for prototypes for pp_* functions. (embed.pl remains
516 responsible for ck_* functions, reading from regen/opcodes)
517
518 =back
519
520 =head1 Selected Bug Fixes
521
522 =over 4
523
524 =item *
525
526 The handling of Unicode non-characters has changed.
527 Previously they were mostly considered illegal, except that only one of
528 the 66 of them was known about in places.  The Unicode standard
529 considers them legal, but forbids the "open interchange" of them.
530 This is part of the change to allow the internal use of any code point
531 (see L</Core Enhancements>).  Together, these changes resolve
532 L<# 38722|https://rt.perl.org/rt3/Ticket/Display.html?id=38722>,
533 L<# 51918|http://rt.perl.org/rt3/Ticket/Display.html?id=51918>,
534 L<# 51936|http://rt.perl.org/rt3/Ticket/Display.html?id=51936>,
535 L<# 63446|http://rt.perl.org/rt3/Ticket/Display.html?id=63446>
536
537 =item *
538
539 Sometimes magic (ties, tainted, etc.) attached to variables could cause an
540 object to last longer than it should, or cause a crash if a tied variable
541 were freed from within a tie method. These have been fixed
542 L<[perl #81230]|http://rt.perl.org/rt3/Public/Bug/Display.html?id=81230>.
543
544 =item *
545
546 Most I/O functions were not warning for unopened handles unless the
547 'closed' and 'unopened' warnings categories were both enabled. Now only
548 C<use warnings 'unopened'> is necessary to trigger these warnings (as was
549 always meant to be the case.
550
551 =item *
552
553 C<< <expr> >> always respects overloading now if the expression is
554 overloaded.
555
556 Due to the way that '<> as glob' was parsed differently from
557 '<> as filehandle' from 5.6 onwards, something like C<< <$foo[0]> >> did
558 not handle overloading, even if C<$foo[0]> was an overloaded object. This
559 was contrary to the documentation for overload, and meant that C<< <> >>
560 could not be used as a general overloaded iterator operator.
561
562 =item *
563
564 Destructors on objects were not called during global destruction on objects
565 that were not referenced by any scalars. This could happen if an array
566 element were blessed (e.g., C<bless \$a[0]>) or if a closure referenced a
567 blessed variable (C<bless \my @a; sub foo { @a }>).
568
569 Now there is an extra pass during global destruction to fire destructors on
570 any objects that might be left after the usual passes that check for
571 objects referenced by scalars
572 L<[perl #36347]|http://rt.perl.org/rt3/Public/Bug/Display.html?id=36347>.
573
574 =item *
575
576 A long standing bug has now been fully fixed (partial fixes came in
577 earlier releases), in which some Latin-1 non-ASCII characters on
578 ASCII-platforms would match both a character class and its complement,
579 such as U+00E2 being both in C<\w> and C<\W>, depending on the
580 UTF-8-ness of the regular expression pattern and target string.
581 Fixing this did expose some bugs in various modules and tests that
582 relied on the previous behavior of C<[[:alpha:]]> not ever matching
583 U+00FF, "LATIN SMALL LETTER Y WITH DIAERESIS", even when it should, in
584 Unicode mode; now it does match when appropriate.
585 L<[perl #60156]|http://rt.perl.org/rt3/Ticket/Display.html?id=60156>.
586
587 =back
588
589 =head1 Known Problems
590
591 =over 4
592
593 =item *
594
595 The fix for [perl #81230] causes test failures for C<Tk> version 804.029.
596 This is still being investigated.
597
598 =back
599
600 =head1 Acknowledgements
601
602 XXX The list of people to thank goes here.
603
604 =head1 Reporting Bugs
605
606 If you find what you think is a bug, you might check the articles
607 recently posted to the comp.lang.perl.misc newsgroup and the perl
608 bug database at http://rt.perl.org/perlbug/ .  There may also be
609 information at http://www.perl.org/ , the Perl Home Page.
610
611 If you believe you have an unreported bug, please run the L<perlbug>
612 program included with your release.  Be sure to trim your bug down
613 to a tiny but sufficient test case.  Your bug report, along with the
614 output of C<perl -V>, will be sent off to perlbug@perl.org to be
615 analysed by the Perl porting team.
616
617 If the bug you are reporting has security implications, which make it
618 inappropriate to send to a publicly archived mailing list, then please send
619 it to perl5-security-report@perl.org. This points to a closed subscription
620 unarchived mailing list, which includes all the core committers, who be able
621 to help assess the impact of issues, figure out a resolution, and help
622 co-ordinate the release of patches to mitigate or fix the problem across all
623 platforms on which Perl is supported. Please only use this address for
624 security issues in the Perl core, not for modules independently
625 distributed on CPAN.
626
627 =head1 SEE ALSO
628
629 The F<Changes> file for an explanation of how to view exhaustive details
630 on what changed.
631
632 The F<INSTALL> file for how to build Perl.
633
634 The F<README> file for general stuff.
635
636 The F<Artistic> and F<Copying> files for copyright information.
637
638 =cut
639
640 =for later
641
642 Below, you'll find a cut-down version of the git log from 5.13.8 to 1b9043bb.
643
644 =cut