sv.c: Use raw cmp if error in locale collation
authorKarl Williamson <khw@cpan.org>
Mon, 1 Aug 2016 21:32:33 +0000 (15:32 -0600)
committerKarl Williamson <khw@cpan.org>
Wed, 3 Aug 2016 01:31:07 +0000 (19:31 -0600)
Prior to this commit, if there is an error in the generation of locale
collation information for a string, the string would always sort before
any string that had no such error.  That's suboptimal, as it throws away
information.  It would be better to fall back to using a raw compare
between the operands, as is already done for other errors in the
comparison process.  And that is what this commit does.

Normally this doesn't come up, but it can if there is a buggy locale
implementation of the libc function strxfrm(), or if memory was at the
edge and got exhausted by this operation.

This was discovered on an HP machine which doesn't work properly for
UTF-8 locales in its current configuration.  I've added the output of
perl -V of it in case someone ever wants to look at it, and I lazily
used the whole thing so as to not omit something crucial.

Summary of my perl5 (revision 5 version 25 subversion 4) configuration:
  Derived from: 863ca36a1db803bdd82e88ef0e862696379ba681
  Platform:
    osname=hpux
    osvers=11.23
    archname=PA-RISC2.0-thread-multi-64int-ld
    uname='hp-ux p5p-hpux b.11.23 u 9000800 701987621 unlimited-user license '
    config_args='-des -Uversiononly -Dprefix=/home/khw/devel -Dusedevel -D'optimize=-ggdb3' -A'optimize=-ggdb3' -A'optimize=-O0' -Accflags='-DPERL_BOOL_AS_CHAR' -Accflags='-DPERL_EXTERNAL_GLOB' -Dman1dir=none -Dman3dir=none -DDEBUGGING -Dusemorebits -Dusethreads -Accflags='-Werror=declaration-after-statement' -Accflags='-DNO_MATHOMS''
    hint=recommended
    useposix=true
    d_sigaction=define
    useithreads=define
    usemultiplicity=define
    use64bitint=define
    use64bitall=undef
    uselongdouble=undef
    usemymalloc=n
    bincompat5005=undef
  Compiler:
    cc='cc'
    ccflags =' -D_POSIX_C_SOURCE=199506L -D_REENTRANT -Ae -D_HPUX_SOURCE -Wl,+vnocompatwarnings -DPERL_BOOL_AS_CHAR -DPERL_EXTERNAL_GLOB -Werror=declaration-after-statement -DNO_MATHOMS -DDEBUGGING -I/usr/local/include -D_LARGEFILE_SOURCE -D_FILE_OFFSET_BITS=64 '
    optimize=' -ggdb3 '
    cppflags='-Aa -D__STDC_EXT__ -D_HPUX_SOURCE -D_POSIX_C_SOURCE=199506L -D_REENTRANT -Ae -D_HPUX_SOURCE -Wl,+vnocompatwarnings -DPERL_BOOL_AS_CHAR -DPERL_EXTERNAL_GLOB -Werror=declaration-after-statement -DNO_MATHOMS -DDEBUGGING -I/usr/local/include'
    ccversion='B.11.11.22'
    gccversion=''
    gccosandvers=''
    intsize=4
    longsize=4
    ptrsize=4
    doublesize=8
    byteorder=87654321
    doublekind=4
    d_longlong=define
    longlongsize=8
    d_longdbl=define
    longdblsize=16
    longdblkind=2
    ivtype='long long'
    ivsize=8
    nvtype='double'
    nvsize=8
    Off_t='off_t'
    lseeksize=8
    alignbytes=8
    prototype=define
  Linker and Libraries:
    ld='/usr/bin/ld'
    ldflags =' -L/usr/local/lib'
    libpth=/usr/local/lib /lib /usr/lib /usr/ccs/lib
    libs=-lcl -lpthread -lnsl -lndbm -ldb -lmalloc -lm -lcrypt -lsec -lc
    perllibs=-lcl -lpthread -lnsl -lmalloc -lm -lcrypt -lsec -lc
    libc=/lib/libc.sl
    so=sl
    useshrplib=false
    libperl=libperl.a
    gnulibc_version=''
  Dynamic Linking:
    dlsrc=dl_hpux.xs
    dlext=sl
    d_dlsymun=undef
    ccdlflags='-Wl,-E -Wl,-B,deferred '
    cccdlflags='+Z'
    lddlflags='-b +vnocompatwarnings -L/usr/local/lib'

Characteristics of this binary (from libperl):
  Compile-time options:
    DEBUGGING
    HAS_TIMES
    MULTIPLICITY
    NO_MATHOMS
    PERLIO_LAYERS
    PERL_BOOL_AS_CHAR
    PERL_COPY_ON_WRITE
    PERL_DONT_CREATE_GVSV
    PERL_EXTERNAL_GLOB
    PERL_HASH_FUNC_ONE_AT_A_TIME_HARD
    PERL_IMPLICIT_CONTEXT
    PERL_MALLOC_WRAP
    PERL_OP_PARENT
    PERL_PRESERVE_IVUV
    PERL_TRACK_MEMPOOL
    PERL_USE_DEVEL
    USE_64_BIT_INT
    USE_ITHREADS
    USE_LARGE_FILES
    USE_LOCALE
    USE_LOCALE_COLLATE
    USE_LOCALE_CTYPE
    USE_LOCALE_NUMERIC
    USE_LOCALE_TIME
    USE_PERLIO
    USE_PERL_ATOF
    USE_REENTRANT_API
  Locally applied patches:
    uncommitted-changes
  Built under hpux
  Compiled at Aug  1 2016 22:44:23
  %ENV:
    PERL5OPT="-w"
    PERL_POD_PEDANTIC="1"
  @INC:
    /perl/usr/khw/perl/cc_working/lib
    /home/khw/devel/lib/perl5/site_perl/5.25.4/PA-RISC2.0-thread-multi-LP64-ld
    /home/khw/devel/lib/perl5/site_perl/5.25.4
    /home/khw/devel/lib/perl5/5.25.4/PA-RISC2.0-thread-multi-LP64-ld
    /home/khw/devel/lib/perl5/5.25.4
    .

sv.c

diff --git a/sv.c b/sv.c
index 9e67c76..a0d5d7b 100644 (file)
--- a/sv.c
+++ b/sv.c
@@ -8038,10 +8038,24 @@ Perl_sv_cmp_locale_flags(pTHX_ SV *const sv1, SV *const sv2,
     if (PL_collation_standard)
        goto raw_compare;
 
-    len1 = 0;
-    pv1 = sv1 ? sv_collxfrm_flags(sv1, &len1, flags) : (char *) NULL;
-    len2 = 0;
-    pv2 = sv2 ? sv_collxfrm_flags(sv2, &len2, flags) : (char *) NULL;
+    len1 = len2 = 0;
+
+    /* Revert to using raw compare if both operands exist, but either one
+     * doesn't transform properly for collation */
+    if (sv1 && sv2) {
+        pv1 = sv_collxfrm_flags(sv1, &len1, flags);
+        if (! pv1) {
+            goto raw_compare;
+        }
+        pv2 = sv_collxfrm_flags(sv2, &len2, flags);
+        if (! pv2) {
+            goto raw_compare;
+        }
+    }
+    else {
+        pv1 = sv1 ? sv_collxfrm_flags(sv1, &len1, flags) : (char *) NULL;
+        pv2 = sv2 ? sv_collxfrm_flags(sv2, &len2, flags) : (char *) NULL;
+    }
 
     if (!pv1 || !len1) {
        if (pv2 && len2)