This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Deprecate wide chars in logical string ops
[perl5.git] / pod / perldelta.pod
1 =encoding utf8
2
3 =head1 NAME
4
5 [ this is a template for a new perldelta file.  Any text flagged as XXX needs
6 to be processed before release. ]
7
8 perldelta - what is new for perl v5.23.6
9
10 =head1 DESCRIPTION
11
12 This document describes differences between the 5.23.5 release and the 5.23.6
13 release.
14
15 If you are upgrading from an earlier release such as 5.23.4, first read
16 L<perl5235delta>, which describes differences between 5.23.4 and 5.23.5.
17
18 =head1 Notice
19
20 XXX Any important notices here
21
22 =head1 Core Enhancements
23
24 XXX New core language features go here.  Summarize user-visible core language
25 enhancements.  Particularly prominent performance optimisations could go
26 here, but most should go in the L</Performance Enhancements> section.
27
28 [ List each enhancement as a =head2 entry ]
29
30 =head1 Security
31
32 XXX Any security-related notices go here.  In particular, any security
33 vulnerabilities closed should be noted here rather than in the
34 L</Selected Bug Fixes> section.
35
36 [ List each security issue as a =head2 entry ]
37
38 =head1 Incompatible Changes
39
40 =head2 Some regular expression patterns that had runtime errors now
41 don't compile at all
42
43 This should have been in the perldelta for 5.23.4, but was omitted.
44
45 Almost all Unicode properties using the C<\p{}> and C<\P{}> regular
46 expression pattern constructs are now checked for validity at pattern
47 compilation time, and invalid ones will cause the program to not
48 compile.  In earlier releases, this check was often deferred until run
49 time.  Whenever an error check is moved from run- to compile time,
50 erroneous code is caught 100% of the time, whereas before it would only
51 get caught if and when the offending portion actually gets executed,
52 which for unreachable code might be never.
53
54 =head1 Deprecations
55
56 XXX Any deprecated features, syntax, modules etc. should be listed here.
57
58 =head2 Module removals
59
60 XXX Remove this section if inapplicable.
61
62 The following modules will be removed from the core distribution in a
63 future release, and will at that time need to be installed from CPAN.
64 Distributions on CPAN which require these modules will need to list them as
65 prerequisites.
66
67 The core versions of these modules will now issue C<"deprecated">-category
68 warnings to alert you to this fact.  To silence these deprecation warnings,
69 install the modules in question from CPAN.
70
71 Note that these are (with rare exceptions) fine modules that you are encouraged
72 to continue to use.  Their disinclusion from core primarily hinges on their
73 necessity to bootstrapping a fully functional, CPAN-capable Perl installation,
74 not usually on concerns over their design.
75
76 =over
77
78 =item XXX
79
80 XXX Note that deprecated modules should be listed here even if they are listed
81 as an updated module in the L</Modules and Pragmata> section.
82
83 =back
84
85 [ List each other deprecation as a =head2 entry ]
86
87 =head2 Using code points above the platform's C<IV_MAX> is now
88 deprecated
89
90 Unicode defines code points in the range C<0..0x10FFFF>.  Some standards
91 at one time defined them up to 2**31 - 1, but Perl has allowed them to
92 be as high as anything that will fit in a word on the platform being
93 used.  However, use of those above the platform's C<IV_MAX> is broken in
94 some constructs, notably C<tr///>, regular expression patterns involving
95 quantifiers, and in some arithmetic and comparison operations, such as
96 being the upper limit of a loop.  Now the use of such code points raises
97 a deprecation warning, unless that warning category is turned off.
98 C<IV_MAX> is typically 2**31 -1 on 32-bit platforms, and 2**63-1 on
99 64-bit ones.
100
101 =head2 Doing bitwise operations on strings containing code points above
102 0xFF is deprecated
103
104 The string bitwise operators treat their operands as strings of bytes,
105 and values beyond 0xFF are nonsensical in this context.  To operate on
106 encoded bytes, first encode the strings.  To operate on code points'
107 numeric values, use C<split> and C<map ord>.  In the future, this
108 warning will be replaced by an exception.
109
110 =head1 Performance Enhancements
111
112 XXX Changes which enhance performance without changing behaviour go here.
113 There may well be none in a stable release.
114
115 [ List each enhancement as a =item entry ]
116
117 =over 4
118
119 =item *
120
121 XXX
122
123 =back
124
125 =head1 Modules and Pragmata
126
127 XXX All changes to installed files in F<cpan/>, F<dist/>, F<ext/> and F<lib/>
128 go here.  If Module::CoreList is updated, generate an initial draft of the
129 following sections using F<Porting/corelist-perldelta.pl>.  A paragraph summary
130 for important changes should then be added by hand.  In an ideal world,
131 dual-life modules would have a F<Changes> file that could be cribbed.
132
133 [ Within each section, list entries as a =item entry ]
134
135 =head2 New Modules and Pragmata
136
137 =over 4
138
139 =item *
140
141 XXX
142
143 =back
144
145 =head2 Updated Modules and Pragmata
146
147 =over 4
148
149 =item *
150
151 L<Data::Dumper> has been upgraded from version 2.158 to 2.159.
152
153 This adds a "Trailingcomma" option, which when enabled adds a trailing comma
154 after the last element of dumped arrays and hashes that would otherwise be
155 followed immediately by a line break.  [perl #126813]
156
157 =item *
158
159 L<DynaLoader> has been upgraded from version 1.36 to 1.37.
160
161 Fixed an else nesting issue in dynamic loading support for OS/390 (and
162 similar systems) that was introduced in 1.36.
163
164 =item *
165
166 L<utf8> has been upgraded from 1.17 to 1.18.
167
168 Partly reverted a micro-optimization to F<lib/utf_heavy.pl> that
169 caused self-recursion when it was loaded with C<${^ENCODING}> set.
170 [perl #126593]
171
172 =item *
173
174 The modules L<sigtrap>, L<DB>, and the perl debugger could have under
175 rare circumstances, without you expecting it, output containing raw
176 control characters.  This has been fixed.
177
178 =back
179
180 =head2 Removed Modules and Pragmata
181
182 =over 4
183
184 =item *
185
186 XXX
187
188 =back
189
190 =head1 Documentation
191
192 XXX Changes to files in F<pod/> go here.  Consider grouping entries by
193 file and be sure to link to the appropriate page, e.g. L<perlfunc>.
194
195 =head2 New Documentation
196
197 XXX Changes which create B<new> files in F<pod/> go here.
198
199 =head3 L<XXX>
200
201 XXX Description of the purpose of the new file here
202
203 =head2 Changes to Existing Documentation
204
205 XXX Changes which significantly change existing files in F<pod/> go here.
206 However, any changes to F<pod/perldiag.pod> should go in the L</Diagnostics>
207 section.
208
209 =head3 L<XXX>
210
211 =over 4
212
213 =item *
214
215 XXX Description of the change here
216
217 =back
218
219 =head1 Diagnostics
220
221 The following additions or changes have been made to diagnostic output,
222 including warnings and fatal error messages.  For the complete list of
223 diagnostic messages, see L<perldiag>.
224
225 XXX New or changed warnings emitted by the core's C<C> code go here.  Also
226 include any changes in L<perldiag> that reconcile it to the C<C> code.
227
228 =head2 New Diagnostics
229
230 XXX Newly added diagnostic messages go under here, separated into New Errors
231 and New Warnings
232
233 =head3 New Errors
234
235 =over 4
236
237 =item *
238
239 L<message|perldiag/"Invalid number '%s' for -C option.">
240
241 (F) You supplied a number to the -C option that either has extra leading
242 zeroes or overflows perl's unsigned integer representation.
243
244
245 =back
246
247 =head3 New Warnings
248
249 =over 4
250
251 =item *
252
253 XXX L<message|perldiag/"message">
254
255 =back
256
257 =head2 Changes to Existing Diagnostics
258
259 XXX Changes (i.e. rewording) of diagnostic messages go here
260
261 =over 4
262
263 =item *
264
265 XXX Describe change here
266
267 =back
268
269 =head1 Utility Changes
270
271 XXX Changes to installed programs such as F<perlbug> and F<xsubpp> go here.
272 Most of these are built within the directory F<utils>.
273
274 [ List utility changes as a =head2 entry for each utility and =item
275 entries for each change
276 Use L<XXX> with program names to get proper documentation linking. ]
277
278 =head2 L<XXX>
279
280 =over 4
281
282 =item *
283
284 XXX
285
286 =back
287
288 =head1 Configuration and Compilation
289
290 XXX Changes to F<Configure>, F<installperl>, F<installman>, and analogous tools
291 go here.  Any other changes to the Perl build process should be listed here.
292 However, any platform-specific changes should be listed in the
293 L</Platform Support> section, instead.
294
295 [ List changes as a =item entry ].
296
297 =over 4
298
299 =item *
300
301 F<make_ext.pl> is no longer inappropriately silent.  This was caused
302 by an operator precedence error introduced in 5.23.4.
303
304 =back
305
306 =head1 Testing
307
308 XXX Any significant changes to the testing of a freshly built perl should be
309 listed here.  Changes which create B<new> files in F<t/> go here as do any
310 large changes to the testing harness (e.g. when parallel testing was added).
311 Changes to existing files in F<t/> aren't worth summarizing, although the bugs
312 that they represent may be covered elsewhere.
313
314 [ List each test improvement as a =item entry ]
315
316 =over 4
317
318 =item *
319
320 XXX
321
322 =back
323
324 =head1 Platform Support
325
326 XXX Any changes to platform support should be listed in the sections below.
327
328 [ Within the sections, list each platform as a =item entry with specific
329 changes as paragraphs below it. ]
330
331 =head2 New Platforms
332
333 XXX List any platforms that this version of perl compiles on, that previous
334 versions did not.  These will either be enabled by new files in the F<hints/>
335 directories, or new subdirectories and F<README> files at the top level of the
336 source tree.
337
338 =over 4
339
340 =item XXX-some-platform
341
342 XXX
343
344 =back
345
346 =head2 Discontinued Platforms
347
348 XXX List any platforms that this version of perl no longer compiles on.
349
350 =over 4
351
352 =item XXX-some-platform
353
354 XXX
355
356 =back
357
358 =head2 Platform-Specific Notes
359
360 XXX List any changes for specific platforms.  This could include configuration
361 and compilation changes or changes in portability/compatibility.  However,
362 changes within modules for platforms should generally be listed in the
363 L</Modules and Pragmata> section.
364
365 =over 4
366
367 =item EBCDIC platforms, such as z/OS
368
369 UTF-EBCDIC is like UTF-8, but for EBCDIC platforms.  It now has been
370 extended so that it can represent code points up to 2 ** 64 - 1 on
371 platforms with 64-bit words.  This brings it into parity with UTF-8.
372 This enhancement requires an incompatible change to the representation
373 of code points in the range 2 ** 30 to 2 ** 31 -1 (the latter was the
374 previous maximum representable code point).  This means that a file that
375 contains one of these code points, written out with previous versions of
376 perl cannot be read in, without conversion, by a perl containing this
377 change.  We do not believe any such files are in existence, but if you
378 do have one, submit a ticket at L<mailto:perlbug@perl.org>, and we will
379 write a conversion script for you.
380
381 =back
382
383 =head1 Internal Changes
384
385 XXX Changes which affect the interface available to C<XS> code go here.  Other
386 significant internal changes for future core maintainers should be noted as
387 well.
388
389 [ List each change as a =item entry ]
390
391 =over 4
392
393 =item *
394
395 Perl core code and the threads extension have been annotated so that
396 if Perl is configured to use threads, during compile-time clang (3.6
397 or later) will warn about suspicious uses of mutexes.
398 See L<http://clang.llvm.org/docs/ThreadSafetyAnalysis.html> for more
399 information.
400
401 =back
402
403 =head1 Selected Bug Fixes
404
405 XXX Important bug fixes in the core language are summarized here.  Bug fixes in
406 files in F<ext/> and F<lib/> are best summarized in L</Modules and Pragmata>.
407
408 [ List each fix as a =item entry ]
409
410 =over 4
411
412 =item *
413
414 C</...\G/> no longer crashes on utf8 strings. When C<\G> is a fixed number
415 of characters from the start of the regex, perl needs to count back that
416 many characters from the current C<pos()> position and start matching from
417 there. However, it was counting back bytes rather than characters, which
418 could lead to panics on utf8 strings.
419
420 =item *
421
422 In some cases operators that return integers would return negative
423 integers as large positive integers.  [perl #126635]
424
425 =item *
426
427 The pipe() operator would assert for DEBUGGING builds instead of
428 producing the correct error message.  The condition asserted on is
429 detected and reported on correctly without the assertions, so the
430 assertions were removed.  [perl #126480]
431
432 =item *
433
434 In some cases, failing to parse a here-doc would attempt to use freed
435 memory.  This was caused by a pointer not being restored correctly.
436 [perl #126443]
437
438 =back
439
440 =head1 Known Problems
441
442 XXX Descriptions of platform agnostic bugs we know we can't fix go here.  Any
443 tests that had to be C<TODO>ed for the release would be noted here.  Unfixed
444 platform specific bugs also go here.
445
446 [ List each fix as a =item entry ]
447
448 =over 4
449
450 =item *
451
452 XXX
453
454 =back
455
456 =head1 Errata From Previous Releases
457
458 =over 4
459
460 =item *
461
462 XXX Add anything here that we forgot to add, or were mistaken about, in
463 the perldelta of a previous release.
464
465 =back
466
467 =head1 Obituary
468
469 XXX If any significant core contributor has died, we've added a short obituary
470 here.
471
472 =head1 Acknowledgements
473
474 XXX Generate this with:
475
476   perl Porting/acknowledgements.pl v5.23.5..HEAD
477
478 =head1 Reporting Bugs
479
480 If you find what you think is a bug, you might check the articles recently
481 posted to the comp.lang.perl.misc newsgroup and the perl bug database at
482 L<https://rt.perl.org/> .  There may also be information at
483 L<http://www.perl.org/> , the Perl Home Page.
484
485 If you believe you have an unreported bug, please run the L<perlbug> program
486 included with your release.  Be sure to trim your bug down to a tiny but
487 sufficient test case.  Your bug report, along with the output of C<perl -V>,
488 will be sent off to perlbug@perl.org to be analysed by the Perl porting team.
489
490 If the bug you are reporting has security implications, which make it
491 inappropriate to send to a publicly archived mailing list, then please send it
492 to perl5-security-report@perl.org.  This points to a closed subscription
493 unarchived mailing list, which includes all the core committers, who will be
494 able to help assess the impact of issues, figure out a resolution, and help
495 co-ordinate the release of patches to mitigate or fix the problem across all
496 platforms on which Perl is supported.  Please only use this address for
497 security issues in the Perl core, not for modules independently distributed on
498 CPAN.
499
500 =head1 SEE ALSO
501
502 The F<Changes> file for an explanation of how to view exhaustive details on
503 what changed.
504
505 The F<INSTALL> file for how to build Perl.
506
507 The F<README> file for general stuff.
508
509 The F<Artistic> and F<Copying> files for copyright information.
510
511 =cut