This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Revert "Upgrade Digest::SHA from version 5.88 to 5.91"
[perl5.git] / locale.c
index aaa2c07..56cac85 100644 (file)
--- a/locale.c
+++ b/locale.c
@@ -348,6 +348,9 @@ Perl_my_setlocale(pTHX_ int category, const char* locale)
      * otherwise to use the particular category's variable if set; otherwise to
      * use the LANG variable. */
 
+    bool override_LC_ALL = 0;
+    char * result;
+
     if (locale && strEQ(locale, "")) {
 #   ifdef LC_ALL
         locale = PerlEnv_getenv("LC_ALL");
@@ -356,6 +359,7 @@ Perl_my_setlocale(pTHX_ int category, const char* locale)
             switch (category) {
 #   ifdef LC_ALL
                 case LC_ALL:
+                    override_LC_ALL = TRUE;
                     break;  /* We already know its variable isn't set */
 #   endif
 #   ifdef USE_LOCALE_TIME
@@ -404,7 +408,56 @@ Perl_my_setlocale(pTHX_ int category, const char* locale)
 #   endif
     }
 
-    return setlocale(category, locale);
+    result = setlocale(category, locale);
+
+    if (! override_LC_ALL)  {
+        return result;
+    }
+
+    /* Here the input locale was LC_ALL, and we have set it to what is in the
+     * LANG variable or the system default if there is no LANG.  But these have
+     * lower priority than the other LC_foo variables, so override it for each
+     * one that is set.  (If they are set to "", it means to use the same thing
+     * we just set LC_ALL to, so can skip) */
+#   ifdef USE_LOCALE_TIME
+    result = PerlEnv_getenv("LC_TIME");
+    if (result && strNE(result, "")) {
+        setlocale(LC_TIME, result);
+    }
+#   endif
+#   ifdef USE_LOCALE_CTYPE
+    result = PerlEnv_getenv("LC_CTYPE");
+    if (result && strNE(result, "")) {
+        setlocale(LC_CTYPE, result);
+    }
+#   endif
+#   ifdef USE_LOCALE_COLLATE
+    result = PerlEnv_getenv("LC_COLLATE");
+    if (result && strNE(result, "")) {
+        setlocale(LC_COLLATE, result);
+    }
+#   endif
+#   ifdef USE_LOCALE_MONETARY
+    result = PerlEnv_getenv("LC_MONETARY");
+    if (result && strNE(result, "")) {
+        setlocale(LC_MONETARY, result);
+    }
+#   endif
+#   ifdef USE_LOCALE_NUMERIC
+    result = PerlEnv_getenv("LC_NUMERIC");
+    if (result && strNE(result, "")) {
+        setlocale(LC_NUMERIC, result);
+    }
+#   endif
+#   ifdef USE_LOCALE_MESSAGES
+    result = PerlEnv_getenv("LC_MESSAGES");
+    if (result && strNE(result, "")) {
+        setlocale(LC_MESSAGES, result);
+    }
+#   endif
+
+    return setlocale(LC_ALL, NULL);
+
 }
 
 #endif
@@ -444,18 +497,14 @@ Perl_init_i18nl10n(pTHX_ int printwarn)
 #endif /* USE_LOCALE_NUMERIC */
 #ifdef __GLIBC__
     char * const language   = PerlEnv_getenv("LANGUAGE");
-#else
-    const char * const language   = NULL;
 #endif
 
     /* NULL uses the existing already set up locale */
     const char * const setlocale_init = (PerlEnv_getenv("PERL_SKIP_LOCALE_INIT"))
                                         ? NULL
                                         : "";
-    const char* trial_locales[5] = { setlocale_init }; /* 5 = 1 each for "",
-                                                          LC_ALL, LANG, "", C
-                                                        */
-    unsigned int trial_locales_count = 1;
+    const char* trial_locales[5];   /* 5 = 1 each for "", LC_ALL, LANG, "", C */
+    unsigned int trial_locales_count;
     char * const lc_all     = PerlEnv_getenv("LC_ALL");
     char * const lang       = PerlEnv_getenv("LANG");
     bool setlocale_failure = FALSE;
@@ -465,7 +514,6 @@ Perl_init_i18nl10n(pTHX_ int printwarn)
                     (printwarn &&
                      (!(p = PerlEnv_getenv("PERL_BADLANG")) || atoi(p))));
     bool done = FALSE;
-    const char *description;
     const char *system_default_locale = NULL;
 
 
@@ -516,6 +564,22 @@ Perl_init_i18nl10n(pTHX_ int printwarn)
        else
            curnum = savepv(curnum);
 #       endif /* USE_LOCALE_NUMERIC */
+#       ifdef USE_LOCALE_MESSAGES
+       if (! my_setlocale(LC_MESSAGES,
+                        (!done && (lang || PerlEnv_getenv("LC_MESSAGES")))
+                                 ? setlocale_init : NULL))
+        {
+           setlocale_failure = TRUE;
+        }
+#       endif /* USE_LOCALE_MESSAGES */
+#       ifdef USE_LOCALE_MONETARY
+       if (! my_setlocale(LC_MONETARY,
+                        (!done && (lang || PerlEnv_getenv("LC_MONETARY")))
+                                 ? setlocale_init : NULL))
+        {
+           setlocale_failure = TRUE;
+        }
+#       endif /* USE_LOCALE_MONETARY */
     }
 
 #   endif /* LC_ALL */
@@ -524,6 +588,8 @@ Perl_init_i18nl10n(pTHX_ int printwarn)
 
     /* We try each locale in the list until we get one that works, or exhaust
      * the list */
+    trial_locales[0] = setlocale_init;
+    trial_locales_count = 1;
     for (i= 0; i < trial_locales_count; i++) {
         const char * trial_locale = trial_locales[i];
 
@@ -562,112 +628,131 @@ Perl_init_i18nl10n(pTHX_ int printwarn)
         }
 
 #ifdef LC_ALL
-    if (! my_setlocale(LC_ALL, trial_locale))
-       setlocale_failure = TRUE;
+        if (! my_setlocale(LC_ALL, trial_locale)) {
+            setlocale_failure = TRUE;
+        }
+        else {
+            /* Since LC_ALL succeeded, it should have changed all the other
+             * categories it can to its value; so we massage things so that the
+             * setlocales below just return their category's current values.
+             * This adequately handles the case in NetBSD where LC_COLLATE may
+             * not be defined for a locale, and setting it individually will
+             * fail, whereas setting LC_ALL suceeds, leaving LC_COLLATE set to
+             * the POSIX locale. */
+            trial_locale = NULL;
+        }
 #endif /* LC_ALL */
 
-    if (!setlocale_failure) {
+        if (!setlocale_failure) {
 #ifdef USE_LOCALE_CTYPE
-       Safefree(curctype);
-       if (! (curctype = my_setlocale(LC_CTYPE, trial_locale)))
-           setlocale_failure = TRUE;
-       else
-           curctype = savepv(curctype);
+            Safefree(curctype);
+            if (! (curctype = my_setlocale(LC_CTYPE, trial_locale)))
+                setlocale_failure = TRUE;
+            else
+                curctype = savepv(curctype);
 #endif /* USE_LOCALE_CTYPE */
 #ifdef USE_LOCALE_COLLATE
-       Safefree(curcoll);
-       if (! (curcoll = my_setlocale(LC_COLLATE, trial_locale)))
-           setlocale_failure = TRUE;
-       else
-           curcoll = savepv(curcoll);
+            Safefree(curcoll);
+            if (! (curcoll = my_setlocale(LC_COLLATE, trial_locale)))
+                setlocale_failure = TRUE;
+            else
+                curcoll = savepv(curcoll);
 #endif /* USE_LOCALE_COLLATE */
 #ifdef USE_LOCALE_NUMERIC
-       Safefree(curnum);
-       if (! (curnum = my_setlocale(LC_NUMERIC, trial_locale)))
-           setlocale_failure = TRUE;
-       else
-           curnum = savepv(curnum);
+            Safefree(curnum);
+            if (! (curnum = my_setlocale(LC_NUMERIC, trial_locale)))
+                setlocale_failure = TRUE;
+            else
+                curnum = savepv(curnum);
 #endif /* USE_LOCALE_NUMERIC */
-
-        if (! setlocale_failure) {  /* Success */
-            break;
+#ifdef USE_LOCALE_MESSAGES
+            if (! (my_setlocale(LC_MESSAGES, trial_locale)))
+                setlocale_failure = TRUE;
+#endif /* USE_LOCALE_MESSAGES */
+#ifdef USE_LOCALE_MONETARY
+            if (! (my_setlocale(LC_MONETARY, trial_locale)))
+                setlocale_failure = TRUE;
+#endif /* USE_LOCALE_MONETARY */
+
+            if (! setlocale_failure) {  /* Success */
+                break;
+            }
         }
-    }
 
-            /* Here, something failed; will need to try a fallback. */
-            ok = 0;
+        /* Here, something failed; will need to try a fallback. */
+        ok = 0;
 
-            if (i == 0) {
-                unsigned int j;
+        if (i == 0) {
+            unsigned int j;
 
             if (locwarn) { /* Output failure info only on the first one */
 #ifdef LC_ALL
 
-           PerlIO_printf(Perl_error_log,
-              "perl: warning: Setting locale failed.\n");
+                PerlIO_printf(Perl_error_log,
+                "perl: warning: Setting locale failed.\n");
 
 #else /* !LC_ALL */
 
-           PerlIO_printf(Perl_error_log,
-              "perl: warning: Setting locale failed for the categories:\n\t");
+                PerlIO_printf(Perl_error_log,
+                "perl: warning: Setting locale failed for the categories:\n\t");
 #ifdef USE_LOCALE_CTYPE
-           if (! curctype)
-               PerlIO_printf(Perl_error_log, "LC_CTYPE ");
+                if (! curctype)
+                    PerlIO_printf(Perl_error_log, "LC_CTYPE ");
 #endif /* USE_LOCALE_CTYPE */
 #ifdef USE_LOCALE_COLLATE
-           if (! curcoll)
-               PerlIO_printf(Perl_error_log, "LC_COLLATE ");
+                if (! curcoll)
+                    PerlIO_printf(Perl_error_log, "LC_COLLATE ");
 #endif /* USE_LOCALE_COLLATE */
 #ifdef USE_LOCALE_NUMERIC
-           if (! curnum)
-               PerlIO_printf(Perl_error_log, "LC_NUMERIC ");
+                if (! curnum)
+                    PerlIO_printf(Perl_error_log, "LC_NUMERIC ");
 #endif /* USE_LOCALE_NUMERIC */
-           PerlIO_printf(Perl_error_log, "\n");
+                PerlIO_printf(Perl_error_log, "and possibly others\n");
 
 #endif /* LC_ALL */
 
-           PerlIO_printf(Perl_error_log,
-               "perl: warning: Please check that your locale settings:\n");
+                PerlIO_printf(Perl_error_log,
+                    "perl: warning: Please check that your locale settings:\n");
 
 #ifdef __GLIBC__
-           PerlIO_printf(Perl_error_log,
-                         "\tLANGUAGE = %c%s%c,\n",
-                         language ? '"' : '(',
-                         language ? language : "unset",
-                         language ? '"' : ')');
+                PerlIO_printf(Perl_error_log,
+                            "\tLANGUAGE = %c%s%c,\n",
+                            language ? '"' : '(',
+                            language ? language : "unset",
+                            language ? '"' : ')');
 #endif
 
-           PerlIO_printf(Perl_error_log,
-                         "\tLC_ALL = %c%s%c,\n",
-                         lc_all ? '"' : '(',
-                         lc_all ? lc_all : "unset",
-                         lc_all ? '"' : ')');
+                PerlIO_printf(Perl_error_log,
+                            "\tLC_ALL = %c%s%c,\n",
+                            lc_all ? '"' : '(',
+                            lc_all ? lc_all : "unset",
+                            lc_all ? '"' : ')');
 
 #if defined(USE_ENVIRON_ARRAY)
-           {
-             char **e;
-             for (e = environ; *e; e++) {
-                 if (strnEQ(*e, "LC_", 3)
-                       && strnNE(*e, "LC_ALL=", 7)
-                       && (p = strchr(*e, '=')))
-                     PerlIO_printf(Perl_error_log, "\t%.*s = \"%s\",\n",
-                                   (int)(p - *e), *e, p + 1);
-             }
-           }
+                {
+                char **e;
+                for (e = environ; *e; e++) {
+                    if (strnEQ(*e, "LC_", 3)
+                            && strnNE(*e, "LC_ALL=", 7)
+                            && (p = strchr(*e, '=')))
+                        PerlIO_printf(Perl_error_log, "\t%.*s = \"%s\",\n",
+                                        (int)(p - *e), *e, p + 1);
+                }
+                }
 #else
-           PerlIO_printf(Perl_error_log,
-                         "\t(possibly more locale environment variables)\n");
+                PerlIO_printf(Perl_error_log,
+                            "\t(possibly more locale environment variables)\n");
 #endif
 
-           PerlIO_printf(Perl_error_log,
-                         "\tLANG = %c%s%c\n",
-                         lang ? '"' : '(',
-                         lang ? lang : "unset",
-                         lang ? '"' : ')');
+                PerlIO_printf(Perl_error_log,
+                            "\tLANG = %c%s%c\n",
+                            lang ? '"' : '(',
+                            lang ? lang : "unset",
+                            lang ? '"' : ')');
 
-           PerlIO_printf(Perl_error_log,
-                         "    are supported and installed on your system.\n");
-       }
+                PerlIO_printf(Perl_error_log,
+                            "    are supported and installed on your system.\n");
+            }
 
             /* Calculate what fallback locales to try.  We have avoided this
              * until we have to, becuase failure is quite unlikely.  This will
@@ -741,16 +826,16 @@ Perl_init_i18nl10n(pTHX_ int printwarn)
 
             /* To continue, we should use whatever values we've got */
 #ifdef USE_LOCALE_CTYPE
-       Safefree(curctype);
-       curctype = savepv(setlocale(LC_CTYPE, NULL));
+            Safefree(curctype);
+            curctype = savepv(setlocale(LC_CTYPE, NULL));
 #endif /* USE_LOCALE_CTYPE */
 #ifdef USE_LOCALE_COLLATE
-       Safefree(curcoll);
-       curcoll = savepv(setlocale(LC_COLLATE, NULL));
+            Safefree(curcoll);
+            curcoll = savepv(setlocale(LC_COLLATE, NULL));
 #endif /* USE_LOCALE_COLLATE */
 #ifdef USE_LOCALE_NUMERIC
-       Safefree(curnum);
-       curnum = savepv(setlocale(LC_NUMERIC, NULL));
+            Safefree(curnum);
+            curnum = savepv(setlocale(LC_NUMERIC, NULL));
 #endif /* USE_LOCALE_NUMERIC */
         }
 
@@ -795,15 +880,13 @@ Perl_init_i18nl10n(pTHX_ int printwarn)
 #endif /* USE_LOCALE_NUMERIC */
 
 #if defined(USE_PERLIO) && defined(USE_LOCALE_CTYPE)
-    {
-      /* Set PL_utf8locale to TRUE if using PerlIO _and_
-         the current LC_CTYPE locale is UTF-8.
-        If PL_utf8locale and PL_unicode (set by -C or by $ENV{PERL_UNICODE})
-         are true, perl.c:S_parse_body() will turn on the PerlIO :utf8 layer
-        on STDIN, STDOUT, STDERR, _and_ the default open discipline.
-      */
-        PL_utf8locale = is_cur_LC_category_utf8(LC_CTYPE);
-    }
+    /* Set PL_utf8locale to TRUE if using PerlIO _and_ the current LC_CTYPE
+     * locale is UTF-8.  If PL_utf8locale and PL_unicode (set by -C or by
+     * $ENV{PERL_UNICODE}) are true, perl.c:S_parse_body() will turn on the
+     * PerlIO :utf8 layer on STDIN, STDOUT, STDERR, _and_ the default open
+     * discipline.  */
+    PL_utf8locale = is_cur_LC_category_utf8(LC_CTYPE);
+
     /* Set PL_unicode to $ENV{PERL_UNICODE} if using PerlIO.
        This is an alternative to using the -C command line switch
        (the -C if present will override this). */
@@ -830,6 +913,7 @@ Perl_init_i18nl10n(pTHX_ int printwarn)
     return ok;
 }
 
+
 #ifdef USE_LOCALE_COLLATE
 
 /*
@@ -993,6 +1077,7 @@ S_is_cur_LC_category_utf8(pTHX_ int category)
                 Safefree(save_input_locale);
                 return is_utf8;
             }
+            Safefree(codeset);
         }
 
 #   endif
@@ -1025,7 +1110,7 @@ S_is_cur_LC_category_utf8(pTHX_ int category)
             (void) mbtowc(&wc, NULL, 0);    /* Reset any shift state */
             GCC_DIAG_RESTORE;
             errno = 0;
-            if (mbtowc(&wc, HYPHEN_UTF8, strlen(HYPHEN_UTF8))
+            if ((size_t)mbtowc(&wc, HYPHEN_UTF8, strlen(HYPHEN_UTF8))
                                                         != strlen(HYPHEN_UTF8)
                 || wc != (wchar_t) 0x2010)
             {
@@ -1097,20 +1182,20 @@ S_is_cur_LC_category_utf8(pTHX_ int category)
         && *(save_input_locale + final_pos - 3) == '5'
         && *(save_input_locale + final_pos - 4) == '6')
     {
-        Safefree(save_input_locale);
         DEBUG_L(PerlIO_printf(Perl_debug_log,
                         "Locale %s ends with 10056 in name, is UTF-8 locale\n",
                         save_input_locale));
+        Safefree(save_input_locale);
         return TRUE;
     }
 #endif
 
     /* Other common encodings are the ISO 8859 series, which aren't UTF-8 */
     if (instr(save_input_locale, "8859")) {
-        Safefree(save_input_locale);
         DEBUG_L(PerlIO_printf(Perl_debug_log,
                              "Locale %s has 8859 in name, not UTF-8 locale\n",
                              save_input_locale));
+        Safefree(save_input_locale);
         return FALSE;
     }