pod/perl592delta.pod

   1 =head1 NAME
   2
   3 perl592delta - what is new for perl v5.9.2
   4
   5 =head1 DESCRIPTION
   6
   7 This document describes differences between the 5.9.1 and the 5.9.2
   8 development releases. See L<perl590delta> and L<perl591delta> for the
   9 differences between 5.8.0 and 5.9.1.
  10
  11 =head1 Incompatible Changes
  12
  13 =head2 Packing and UTF-8 strings
  14
  15 The semantics of pack() and unpack() regarding UTF-8-encoded data has been
  16 changed. Processing is now by default character per character instead of
  17 byte per byte on the underlying encoding. Notably, code that used things
  18 like C<pack("a*", $string)> to see through the encoding of string will now
  19 simply get back the original $string. Packed strings can also get upgraded
  20 during processing when you store upgraded characters. You can get the old
  21 behaviour by using C<use bytes>.
  22
  23 To be consistent with pack(), the C<C0> in unpack() templates indicates
  24 that the data is to be processed in character mode, i.e. character by
  25 character; on the contrary, C<U0> in unpack() indicates UTF-8 mode, where
  26 the packed string is processed in its UTF-8-encoded Unicode form on a byte
  27 by byte basis. This is reversed with regard to perl 5.8.X.
  28
  29 Moreover, C<C0> and C<U0> can also be used in pack() templates to specify
  30 respectively character and byte modes.
  31
  32 C<C0> and C<U0> in the middle of a pack or unpack format now switch to the
  33 specified encoding mode, honoring parens grouping. Previously, parens were
  34 ignored.
  35
  36 Also, there is a new pack() character format, C<W>, which is intended to
  37 replace the old C<C>. C<C> is kept for unsigned chars coded as bytes in
  38 the strings internal representation. C<W> represents unsigned (logical)
  39 character values, which can be greater than 255. It is therefore more
  40 robust when dealing with potentially UTF-8-encoded data (as C<C> will wrap
  41 values outside the range 0..255, and not respect the string encoding).
  42
  43 In practice, that means that pack formats are now encoding-neutral, except
  44 C<C>.
  45
  46 For consistency, C<A> in unpack() format now trims all Unicode whitespace
  47 from the end of the string. Before perl 5.9.2, it used to strip only the
  48 classical ASCII space characters.
  49
  50 =head2 Miscellaneous
  51
  52 The internal dump output has been improved, so that non-printable characters
  53 such as newline and backspace are output in C<\x> notation, rather than
  54 octal.
  55
  56 The B<-C> option can no longer be used on the C<#!> line. It wasn't
  57 working there anyway.
  58
  59 =head1 Core Enhancements
  60
  61 =head2 Malloc wrapping
  62
  63 Perl can now be built to detect attempts to assign pathologically large chunks
  64 of memory.  Previously such assignments would suffer from integer wrap-around
  65 during size calculations causing a misallocation, which would crash perl, and
  66 could theoretically be used for "stack smashing" attacks.  The wrapping
  67 defaults to enabled on platforms where we know it works (most AIX
  68 configurations, BSDi, Darwin, DEC OSF/1, FreeBSD, HP-UX, GNU Linux, OpenBSD,
  69 Solaris, VMS and most Win32 compilers) and defaults to disabled on other
  70 platforms.
  71
  72 =head2 Unicode Character Database 4.0.1
  73
  74 The copy of the Unicode Character Database included in Perl 5.9 has
  75 been updated to 4.0.1 from 4.0.0.
  76
  77 =head2 suidperl less insecure
  78
  79 Paul Szabo has analysed and patched C<suidperl> to remove existing known
  80 insecurities. Currently there are no known holes in C<suidperl>, but previous
  81 experience shows that we cannot be confident that these were the last. You may
  82 no longer invoke the set uid perl directly, so to preserve backwards
  83 compatibility with scripts that invoke #!/usr/bin/suidperl the only set uid
  84 binary is now C<sperl5.9.>I<n> (C<sperl5.9.2> for this release). C<suidperl>
  85 is installed as a hard link to C<perl>; both C<suidperl> and C<perl> will
  86 invoke C<sperl5.9.2> automatically the set uid binary, so this change should
  87 be completely transparent.
  88
  89 For new projects the core perl team would strongly recommend that you use
  90 dedicated, single purpose security tools such as C<sudo> in preference to
  91 C<suidperl>.
  92
  93 =head2 PERLIO_DEBUG
  94
  95 The C<PERLIO_DEBUG> environment variable has no longer any effect for
  96 setuid scripts and for scripts run with B<-T>.
  97
  98 Moreover, with a thread-enabled perl, using C<PERLIO_DEBUG> could lead to
  99 an internal buffer overflow. This has been fixed.
 100
 101 =head2 Formats
 102
 103 In addition to bug fixes, C<format>'s features have been enhanced. See
 104 L<perlform>.
 105
 106 =head2 Unicode Character Classes
 107
 108 Perl's regular expression engine now contains support for matching on the
 109 intersection of two Unicode character classes. You can also now refer to
 110 user-defined character classes from within other user defined character
 111 classes.
 112
 113 =head2 Byte-order modifiers for pack() and unpack()
 114
 115 There are two new byte-order modifiers, C<E<gt>> (big-endian) and C<E<lt>>
 116 (little-endian), that can be appended to most pack() and unpack() template
 117 characters and groups to force a certain byte-order for that type or group.
 118 See L<perlfunc/pack> and L<perlpacktut> for details.
 119
 120 =head2 Byte count feature in pack()
 121
 122 A new pack() template character, C<".">, returns the number of characters
 123 read so far.
 124
 125 =head2 New variables
 126
 127 A new variable, ${^RE_DEBUG_FLAGS}, controls what debug flags are in
 128 effect for the regular expression engine when running under C<use re
 129 "debug">. See L<re> for details.
 130
 131 A new variable ${^UTF8LOCALE} indicates where a UTF-8 locale was detected
 132 by perl at startup.
 133
 134 =head1 Modules and Pragmata
 135
 136 =head2 New modules
 137
 138 =over 4
 139
 140 =item *
 141
 142 C<encoding::warnings>, by Audrey Tang, is a module to emit warnings
 143 whenever an ASCII character string containing high-bit bytes is implicitly
 144 converted into UTF-8.
 145
 146 =item *
 147
 148 C<Module::CoreList>, by Richard Clamp, is a small handy module that tells
 149 you what versions of core modules ship with any versions of Perl 5. It
 150 comes with a command-line frontend, C<corelist>.
 151
 152 =back
 153
 154 =head2 Updated And Improved Modules and Pragmata
 155
 156 Dual-lived modules have been updated to be kept up-to-date with respect to
 157 CPAN.
 158
 159 The dual-lived modules which contain an C<_> in their version number are
 160 actually I<ahead> of the corresponding CPAN release.
 161
 162 =over 4
 163
 164 =item B::Concise
 165
 166 C<B::Concise> was significantly improved.
 167
 168 =item Socket
 169
 170 There is experimental support for Linux abstract Unix domain sockets.
 171
 172 =item Sys::Syslog
 173
 174 C<syslog()> can now use numeric constants for facility names and priorities,
 175 in addition to strings.
 176
 177 =item threads
 178
 179 Detached threads are now also supported on Windows.
 180
 181 =back
 182
 183 =head1 Utility Changes
 184
 185 =over 4
 186
 187 =item *
 188
 189 The C<corelist> utility is now installed with perl (see L</"New modules">
 190 above).
 191
 192 =item *
 193
 194 C<h2ph> and C<h2xs> have been made a bit more robust with regard to
 195 "modern" C code.
 196
 197 =item *
 198
 199 Several bugs have been fixed in C<find2perl>, regarding C<-exec> and
 200 C<-eval>. Also the options C<-path>, C<-ipath> and C<-iname> have been
 201 added.
 202
 203 =item *
 204
 205 The Perl debugger can now save all debugger commands for sourcing later;
 206 notably, it can now emulate stepping backwards, by restarting and
 207 rerunning all bar the last command from a saved command history.
 208
 209 It can also display the parent inheritance tree of a given class.
 210
 211 Perl has a new -dt command-line flag, which enables threads support in the
 212 debugger.
 213
 214 =back
 215
 216 =head1 Performance Enhancements
 217
 218 =over 4
 219
 220 =item *
 221
 222 Unicode case mappings (C</i>, C<lc>, C<uc>, etc) are faster.
 223
 224 =item *
 225
 226 C<@a = sort @a> was optimized to do in-place sort. Likewise, C<reverse
 227 sort ...> is now optimized to sort in reverse, avoiding the generation of
 228 a temporary intermediate list.
 229
 230 =item *
 231
 232 Unnecessary assignments are optimised away in
 233
 234   my $s = undef;
 235   my @a = ();
 236   my %h = ();
 237
 238 =item *
 239
 240 C<map> in scalar context is now optimized.
 241
 242 =item *
 243
 244 The regexp engine now implements the trie optimization : it's able to
 245 factorize common prefixes and suffixes in regular expressions. A new
 246 special variable, ${^RE_TRIE_MAXBUF}, has been added to fine-tune this
 247 optimization.
 248
 249 =back
 250
 251 =head1 Installation and Configuration Improvements
 252
 253 Run-time customization of @INC can be enabled by passing the
 254 C<-Dusesitecustomize> flag to configure. When enabled, this will make perl
 255 run F<$sitelibexp/sitecustomize.pl> before anything else.  This script can
 256 then be set up to add additional entries to @INC.
 257
 258 There is alpha support for relocatable @INC entries.
 259
 260 Perl should build on Interix and on GNU/kFreeBSD.
 261
 262 =head1 Selected Bug Fixes
 263
 264 Most of those bugs were reported in the perl 5.8.x maintenance track.
 265 Notably, quite a few utf8 bugs were fixed, and several memory leaks were
 266 suppressed. The perl58Xdelta manpages have more details on them.
 267
 268 Development-only bug fixes include :
 269
 270 C<$Foo::_> was wrongly forced as C<$main::_>.
 271
 272 =head1 New or Changed Diagnostics
 273
 274 A new warning, C<!=~ should be !~>, is emitted to prevent this misspelling
 275 of the non-matching operator.
 276
 277 The warning I<Newline in left-justified string> has been removed.
 278
 279 The error I<Too late for "-T" option> has been reformulated to be more
 280 descriptive.
 281
 282 There is a new compilation error, I<Illegal declaration of subroutine>,
 283 for an obscure case of syntax errors.
 284
 285 The diagnostic output of Carp has been changed slightly, to add a space after
 286 the comma between arguments. This makes it much easier for tools such as
 287 web browsers to wrap it, but might confuse any automatic tools which perform
 288 detailed parsing of Carp output.
 289
 290 C<perl -V> has several improvements, making it more useable from shell
 291 scripts to get the value of configuration variables. See L<perlrun> for
 292 details.
 293
 294 =head1 Changed Internals
 295
 296 The perl core has been refactored and reorganised in several places.
 297 In short, this release will not be binary compatible with any previous
 298 perl release.
 299
 300 =head1 Known Problems
 301
 302 For threaded builds, F<ext/threads/shared/t/wait.t> has been reported to
 303 fail some tests on HP-UX 10.20.
 304
 305 Net::Ping might fail some tests on HP-UX 11.00 with the latest OS
 306 upgrades.
 307
 308 F<t/io/dup.t>, F<t/io/open.t> and F<lib/ExtUtils/t/Constant.t> fail some
 309 tests on some BSD flavours.
 310
 311 =head1 Plans for the next release
 312
 313 The current plan for perl 5.9.3 is to add CPANPLUS as a core module.
 314 More regular expression optimizations are also in the works.
 315
 316 It is planned to release a development version of perl more frequently,
 317 i.e. each time something major changes.
 318
 319 =head1 Reporting Bugs
 320
 321 If you find what you think is a bug, you might check the articles
 322 recently posted to the comp.lang.perl.misc newsgroup and the perl
 323 bug database at http://bugs.perl.org/ .  There may also be
 324 information at http://www.perl.org/ , the Perl Home Page.
 325
 326 If you believe you have an unreported bug, please run the B<perlbug>
 327 program included with your release.  Be sure to trim your bug down
 328 to a tiny but sufficient test case.  Your bug report, along with the
 329 output of C<perl -V>, will be sent off to perlbug@perl.org to be
 330 analysed by the Perl porting team.
 331
 332 =head1 SEE ALSO
 333
 334 The F<Changes> file for exhaustive details on what changed.
 335
 336 The F<INSTALL> file for how to build Perl.
 337
 338 The F<README> file for general stuff.
 339
 340 The F<Artistic> and F<Copying> files for copyright information.
 341
 342 =cut