Fix #357: Save mark-and-keyword connections
[geeqie.git] / src / filedata.c
index e0d70f0..ccabe3f 100644 (file)
@@ -1,16 +1,24 @@
 /*
- * Geeqie
- * (C) 2006 John Ellis
- * Copyright (C) 2008 - 2012 The Geeqie Team
+ * Copyright (C) 2006 John Ellis
+ * Copyright (C) 2008 - 2016 The Geeqie Team
  *
  * Author: John Ellis
  *
- * This software is released under the GNU General Public License (GNU GPL).
- * Please read the included file COPYING for more information.
- * This software comes with no warranty of any kind, use at your own risk!
+ * This program is free software; you can redistribute it and/or modify
+ * it under the terms of the GNU General Public License as published by
+ * the Free Software Foundation; either version 2 of the License, or
+ * (at your option) any later version.
+ *
+ * This program is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+ * GNU General Public License for more details.
+ *
+ * You should have received a copy of the GNU General Public License along
+ * with this program; if not, write to the Free Software Foundation, Inc.,
+ * 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA.
  */
 
-
 #include "main.h"
 #include "filedata.h"
 
 
 #include <errno.h>
 
+#ifdef DEBUG_FILEDATA
+gint global_file_data_count = 0;
+#endif
+
 static GHashTable *file_data_pool = NULL;
 static GHashTable *file_data_planned_change_hash = NULL;
 
@@ -52,7 +64,7 @@ gchar *text_from_size(gint64 size)
        /* what I would like to use is printf("%'d", size)
         * BUT: not supported on every libc :(
         */
-       if (size > G_MAXUINT)
+       if (size > G_MAXINT)
                {
                /* the %lld conversion is not valid in all libcs, so use a simple work-around */
                a = g_strdup_printf("%d%09d", (guint)(size / 1000000000), (guint)(size % 1000000000));
@@ -161,6 +173,7 @@ static gboolean file_data_check_changed_single_file(FileData *fd, struct stat *s
                {
                fd->size = st->st_size;
                fd->date = st->st_mtime;
+               fd->cdate = st->st_ctime;
                fd->mode = st->st_mode;
                if (fd->thumb_pixbuf) g_object_unref(fd->thumb_pixbuf);
                fd->thumb_pixbuf = NULL;
@@ -266,8 +279,21 @@ static void file_data_set_collate_keys(FileData *fd)
        g_free(fd->collate_key_name);
        g_free(fd->collate_key_name_nocase);
 
+#if GTK_CHECK_VERSION(2, 8, 0)
+       if (options->file_sort.natural)
+               {
+               fd->collate_key_name = g_utf8_collate_key_for_filename(fd->name, -1);
+               fd->collate_key_name_nocase = g_utf8_collate_key_for_filename(caseless_name, -1);
+               }
+       else
+               {
+               fd->collate_key_name = g_utf8_collate_key(valid_name, -1);
+               fd->collate_key_name_nocase = g_utf8_collate_key(caseless_name, -1);
+               }
+#else
        fd->collate_key_name = g_utf8_collate_key(valid_name, -1);
        fd->collate_key_name_nocase = g_utf8_collate_key(caseless_name, -1);
+#endif
 
        g_free(valid_name);
        g_free(caseless_name);
@@ -363,8 +389,15 @@ static FileData *file_data_new(const gchar *path_utf8, struct stat *st, gboolean
                if (fd)
                        {
                        DEBUG_1("planned change: using %s -> %s", path_utf8, fd->path);
-                       file_data_ref(fd);
-                       file_data_apply_ci(fd);
+                       if (!isfile(fd->path))
+                               {
+                               file_data_ref(fd);
+                               file_data_apply_ci(fd);
+                               }
+                       else
+                               {
+                               fd = NULL;
+                               }
                        }
                }
 
@@ -383,12 +416,18 @@ static FileData *file_data_new(const gchar *path_utf8, struct stat *st, gboolean
                }
 
        fd = g_new0(FileData, 1);
+#ifdef DEBUG_FILEDATA
+       global_file_data_count++;
+       DEBUG_2("file data count++: %d", global_file_data_count);
+#endif
 
        fd->size = st->st_size;
        fd->date = st->st_mtime;
+       fd->cdate = st->st_ctime;
        fd->mode = st->st_mode;
        fd->ref = 1;
        fd->magick = FD_MAGICK;
+       fd->exifdate = 0;
 
        if (disable_sidecars) fd->disable_grouping = TRUE;
 
@@ -406,19 +445,25 @@ static FileData *file_data_new_local(const gchar *path, struct stat *st, gboolea
        return ret;
 }
 
-void init_exif_time_data(GList *files)
+FileData *file_data_new_simple(const gchar *path_utf8)
 {
-       FileData *file;
-       DEBUG_1("%s init_exif_time_data: ...", get_exec_time());
-       while (files)
-               {
-               file = files->data;
+       struct stat st;
+       FileData *fd;
 
-               if (file)
-                       file->exifdate = 0;
+       if (!stat_utf8(path_utf8, &st))
+               {
+               st.st_size = 0;
+               st.st_mtime = 0;
+               }
 
-               files = files->next;
+       fd = g_hash_table_lookup(file_data_pool, path_utf8);
+       if (!fd) fd = file_data_new(path_utf8, &st, TRUE);
+       if (fd)
+               {
+               file_data_ref(fd);
                }
+
+       return fd;
 }
 
 void read_exif_time_data(FileData *file)
@@ -532,6 +577,12 @@ static void file_data_free(FileData *fd)
 {
        g_assert(fd->magick == FD_MAGICK);
        g_assert(fd->ref == 0);
+       g_assert(!fd->locked);
+
+#ifdef DEBUG_FILEDATA
+       global_file_data_count--;
+       DEBUG_2("file data count--: %d", global_file_data_count);
+#endif
 
        metadata_cache_free(fd);
        g_hash_table_remove(file_data_pool, fd->original_path);
@@ -540,6 +591,7 @@ static void file_data_free(FileData *fd)
        g_free(fd->original_path);
        g_free(fd->collate_key_name);
        g_free(fd->collate_key_name_nocase);
+       g_free(fd->extended_extension);
        if (fd->thumb_pixbuf) g_object_unref(fd->thumb_pixbuf);
        histmap_free(fd->histmap);
 
@@ -549,6 +601,57 @@ static void file_data_free(FileData *fd)
        g_free(fd);
 }
 
+/**
+ * \brief Checks if the FileData is referenced
+ *
+ * Checks the refcount and whether the FileData is locked.
+ */
+static gboolean file_data_check_has_ref(FileData *fd)
+{
+       return fd->ref > 0 || fd->locked;
+}
+
+/**
+ * \brief Consider freeing a FileData.
+ *
+ * This function will free a FileData and its children provided that neither its parent nor it has
+ * a positive refcount, and provided that neither is locked.
+ */
+static void file_data_consider_free(FileData *fd)
+{
+       GList *work;
+       FileData *parent = fd->parent ? fd->parent : fd;
+
+       g_assert(fd->magick == FD_MAGICK);
+       if (file_data_check_has_ref(fd)) return;
+       if (file_data_check_has_ref(parent)) return;
+
+       work = parent->sidecar_files;
+       while (work)
+               {
+               FileData *sfd = work->data;
+               if (file_data_check_has_ref(sfd)) return;
+               work = work->next;
+               }
+
+       /* Neither the parent nor the siblings are referenced, so we can free everything */
+       DEBUG_2("file_data_consider_free: deleting '%s', parent '%s'",
+               fd->path, fd->parent ? parent->path : "-");
+
+       work = parent->sidecar_files;
+       while (work)
+               {
+               FileData *sfd = work->data;
+               file_data_free(sfd);
+               work = work->next;
+               }
+
+       g_list_free(parent->sidecar_files);
+       parent->sidecar_files = NULL;
+
+       file_data_free(parent);
+}
+
 #ifdef DEBUG_FILEDATA
 void file_data_unref_debug(const gchar *file, gint line, FileData *fd)
 #else
@@ -566,45 +669,92 @@ void file_data_unref(FileData *fd)
 
        fd->ref--;
 #ifdef DEBUG_FILEDATA
-       DEBUG_2("file_data_unref fd=%p (%d): '%s' @ %s:%d", fd, fd->ref, fd->path, file, line);
+       DEBUG_2("file_data_unref fd=%p (%d:%d): '%s' @ %s:%d", fd, fd->ref, fd->locked, fd->path,
+               file, line);
 #else
-       DEBUG_2("file_data_unref fd=%p (%d): '%s'", fd, fd->ref, fd->path);
+       DEBUG_2("file_data_unref fd=%p (%d:%d): '%s'", fd, fd->ref, fd->locked, fd->path);
 #endif
-       if (fd->ref == 0)
-               {
-               GList *work;
-               FileData *parent = fd->parent ? fd->parent : fd;
 
-               if (parent->ref > 0) return;
+       // Free FileData if it's no longer ref'd
+       file_data_consider_free(fd);
+}
 
-               work = parent->sidecar_files;
-               while (work)
-                       {
-                       FileData *sfd = work->data;
-                       if (sfd->ref > 0) return;
-                       work = work->next;
-                       }
+/**
+ * \brief Lock the FileData in memory.
+ *
+ * This allows the caller to prevent a FileData from being freed, even after its refcount is zero.
+ * This is intended to be used in cases where a FileData _should_ stay in memory as an optimization,
+ * even if the code would continue to function properly even if the FileData were freed.  Code that
+ * _requires_ the FileData to remain in memory should continue to use file_data_(un)ref.
+ * <p />
+ * Note: This differs from file_data_ref in that the behavior is reentrant -- after N calls to
+ * file_data_lock, a single call to file_data_unlock will unlock the FileData.
+ */
+void file_data_lock(FileData *fd)
+{
+       if (fd == NULL) return;
+       if (fd->magick != FD_MAGICK) DEBUG_0("fd magick mismatch fd=%p", fd);
 
-               /* none of parent/children is referenced, we can free everything */
+       g_assert(fd->magick == FD_MAGICK);
+       fd->locked = TRUE;
 
-               DEBUG_2("file_data_unref: deleting '%s', parent '%s'", fd->path, fd->parent ? parent->path : "-");
+       DEBUG_2("file_data_ref fd=%p (%d): '%s'", fd, fd->ref, fd->path);
+}
 
-               work = parent->sidecar_files;
-               while (work)
-                       {
-                       FileData *sfd = work->data;
-                       file_data_free(sfd);
-                       work = work->next;
-                       }
+/**
+ * \brief Reset the maintain-FileData-in-memory lock
+ *
+ * This again allows the FileData to be freed when its refcount drops to zero.  Automatically frees
+ * the FileData if its refcount is already zero (which will happen if the lock is the only thing
+ * keeping it from being freed.
+ */
+void file_data_unlock(FileData *fd)
+{
+       if (fd == NULL) return;
+       if (fd->magick != FD_MAGICK) DEBUG_0("fd magick mismatch fd=%p", fd);
+
+       g_assert(fd->magick == FD_MAGICK);
+       fd->locked = FALSE;
 
-               g_list_free(parent->sidecar_files);
-               parent->sidecar_files = NULL;
+       // Free FileData if it's no longer ref'd
+       file_data_consider_free(fd);
+}
+
+/**
+ * \brief Lock all of the FileDatas in the provided list
+ *
+ * \see file_data_lock(FileData)
+ */
+void file_data_lock_list(GList *list)
+{
+       GList *work;
 
-               file_data_free(parent);
+       work = list;
+       while (work)
+               {
+               FileData *fd = work->data;
+               work = work->next;
+               file_data_lock(fd);
                }
 }
 
+/**
+ * \brief Unlock all of the FileDatas in the provided list
+ *
+ * \see file_data_unlock(FileData)
+ */
+void file_data_unlock_list(GList *list)
+{
+       GList *work;
 
+       work = list;
+       while (work)
+               {
+               FileData *fd = work->data;
+               work = work->next;
+               file_data_unlock(fd);
+               }
+}
 
 /*
  *-----------------------------------------------------------------------------
@@ -769,6 +919,8 @@ static void file_data_disconnect_sidecar_file(FileData *target, FileData *sfd)
 
        target->sidecar_files = g_list_remove(target->sidecar_files, sfd);
        sfd->parent = NULL;
+       g_free(sfd->extended_extension);
+       sfd->extended_extension = NULL;
 
        file_data_unref(target);
        file_data_unref(sfd);
@@ -864,6 +1016,11 @@ gint filelist_sort_compare_filedata(FileData *fa, FileData *fb)
                        if (fa->date > fb->date) return 1;
                        /* fall back to name */
                        break;
+               case SORT_CTIME:
+                       if (fa->cdate < fb->cdate) return -1;
+                       if (fa->cdate > fb->cdate) return 1;
+                       /* fall back to name */
+                       break;
                case SORT_EXIFTIME:
                        if (fa->exifdate < fb->exifdate) return -1;
                        if (fa->exifdate > fb->exifdate) return 1;
@@ -951,6 +1108,37 @@ static GList * file_data_basename_hash_insert(GHashTable *basename_hash, FileDat
 
        list = g_hash_table_lookup(basename_hash, basename);
 
+       if (!list)
+               {
+               DEBUG_1("TG: basename_hash not found for %s",fd->path);
+               const gchar *parent_extension = registered_extension_from_path(basename);
+
+               if (parent_extension)
+                       {
+                       DEBUG_1("TG: parent extension %s",parent_extension);
+                       gchar *parent_basename = g_strndup(basename, parent_extension - basename);
+                       DEBUG_1("TG: parent basename %s",parent_basename);
+                       FileData *parent_fd = g_hash_table_lookup(file_data_pool, basename);
+                       if (parent_fd)
+                               {
+                               DEBUG_1("TG: parent fd found");
+                               list = g_hash_table_lookup(basename_hash, parent_basename);
+                               if (!g_list_find(list, parent_fd))
+                                       {
+                                       DEBUG_1("TG: parent fd doesn't fit");
+                                       g_free(parent_basename);
+                                       list = NULL;
+                                       }
+                               else
+                                       {
+                                       g_free(basename);
+                                       basename = parent_basename;
+                                       fd->extended_extension = g_strconcat(parent_extension, fd->extension, NULL);
+                                       }
+                               }
+                       }
+               }
+
        if (!g_list_find(list, fd))
                {
                list = g_list_insert_sorted(list, file_data_ref(fd), file_data_sort_by_ext);
@@ -963,6 +1151,11 @@ static GList * file_data_basename_hash_insert(GHashTable *basename_hash, FileDat
        return list;
 }
 
+static void file_data_basename_hash_insert_cb(gpointer fd, gpointer basename_hash)
+{
+       file_data_basename_hash_insert((GHashTable *)basename_hash, (FileData *)fd);
+}
+
 static void file_data_basename_hash_remove_list(gpointer key, gpointer value, gpointer data)
 {
        filelist_free((GList *)value);
@@ -1027,6 +1220,7 @@ static gboolean filelist_read_real(const gchar *dir_path, GList **files, GList *
        gchar *pathl;
        GList *dlist = NULL;
        GList *flist = NULL;
+       GList *xmp_files = NULL;
        gint (*stat_func)(const gchar *path, struct stat *buf);
        GHashTable *basename_hash = NULL;
 
@@ -1084,7 +1278,10 @@ static gboolean filelist_read_real(const gchar *dir_path, GList **files, GList *
                                        flist = g_list_prepend(flist, fd);
                                        if (fd->sidecar_priority && !fd->disable_grouping)
                                                {
-                                               file_data_basename_hash_insert(basename_hash, fd);
+                                               if (strcmp(fd->extension, ".xmp") != 0)
+                                                       file_data_basename_hash_insert(basename_hash, fd);
+                                               else
+                                                       xmp_files = g_list_append(xmp_files, fd);
                                                }
                                        }
                                }
@@ -1103,6 +1300,12 @@ static gboolean filelist_read_real(const gchar *dir_path, GList **files, GList *
 
        g_free(pathl);
 
+       if (xmp_files)
+               {
+               g_list_foreach(xmp_files,file_data_basename_hash_insert_cb,basename_hash);
+               g_list_free(xmp_files);
+               }
+
        if (dirs) *dirs = dlist;
 
        if (files)
@@ -1113,9 +1316,6 @@ static gboolean filelist_read_real(const gchar *dir_path, GList **files, GList *
                }
        if (basename_hash) file_data_basename_hash_free(basename_hash);
 
-       // Call a separate function to initialize the exif datestamps for the found files..
-       if (files) init_exif_time_data(*files);
-
        return TRUE;
 }
 
@@ -1150,8 +1350,11 @@ FileData *file_data_new_group(const gchar *path_utf8)
        filelist_read_real(dir, &files, NULL, TRUE);
 
        fd = g_hash_table_lookup(file_data_pool, path_utf8);
-       g_assert(fd);
-       file_data_ref(fd);
+       if (!fd) fd = file_data_new(path_utf8, &st, TRUE);
+       if (fd)
+               {
+               file_data_ref(fd);
+               }
 
        filelist_free(files);
        g_free(dir);
@@ -1360,22 +1563,29 @@ gchar *file_data_get_sidecar_path(FileData *fd, gboolean existing_only)
        if (!file_data_can_write_sidecar(fd)) return NULL;
 
        work = fd->parent ? fd->parent->sidecar_files : fd->sidecar_files;
+       gchar *extended_extension = g_strconcat(fd->parent ? fd->parent->extension : fd->extension, ".xmp", NULL);
        while (work)
                {
                FileData *sfd = work->data;
                work = work->next;
-               if (g_ascii_strcasecmp(sfd->extension, ".xmp") == 0)
+               if (g_ascii_strcasecmp(sfd->extension, ".xmp") == 0 || g_ascii_strcasecmp(sfd->extension, extended_extension) == 0)
                        {
                        sidecar_path = g_strdup(sfd->path);
                        break;
                        }
                }
+       g_free(extended_extension);
 
        if (!existing_only && !sidecar_path)
                {
-               gchar *base = g_strndup(fd->path, fd->extension - fd->path);
-               sidecar_path = g_strconcat(base, ".xmp", NULL);
-               g_free(base);
+               if (options->metadata.sidecar_extended_name)
+                       sidecar_path = g_strconcat(fd->path, ".xmp", NULL);
+               else
+                       {
+                       gchar *base = g_strndup(fd->path, fd->extension - fd->path);
+                       sidecar_path = g_strconcat(base, ".xmp", NULL);
+                       g_free(base);
+                       }
                }
 
        return sidecar_path;
@@ -1499,7 +1709,7 @@ gboolean file_data_register_mark_func(gint n, FileDataGetMarkFunc get_mark_func,
         file_data_mark_func_data[n] = data;
         file_data_destroy_mark_func[n] = notify;
 
-        if (get_mark_func)
+       if (get_mark_func && file_data_pool)
                {
                /* this effectively changes all known files */
                g_hash_table_foreach(file_data_pool, file_data_notify_mark_func, NULL);
@@ -1924,11 +2134,11 @@ static void file_data_update_ci_dest(FileData *fd, const gchar *dest_path)
 
 static void file_data_update_ci_dest_preserve_ext(FileData *fd, const gchar *dest_path)
 {
-       const gchar *extension = extension_from_path(fd->change->source);
+       const gchar *extension = registered_extension_from_path(fd->change->source);
        gchar *base = remove_extension_from_path(dest_path);
        gchar *old_path = fd->change->dest;
 
-       fd->change->dest = g_strconcat(base, extension, NULL);
+       fd->change->dest = g_strconcat(base, fd->extended_extension ? fd->extended_extension : extension, NULL);
        file_data_update_planned_change_hash(fd, old_path, fd->change->dest);
 
        g_free(old_path);
@@ -2041,10 +2251,12 @@ gboolean file_data_sc_update_ci_unspecified_list(GList *fd_list, const gchar *de
  * it should detect all possible problems with the planned operation
  */
 
-gint file_data_verify_ci(FileData *fd)
+gint file_data_verify_ci(FileData *fd, GList *list)
 {
        gint ret = CHANGE_OK;
        gchar *dir;
+       GList *work = NULL;
+       FileData *fd1 = NULL;
 
        if (!fd->change)
                {
@@ -2199,13 +2411,15 @@ gint file_data_verify_ci(FileData *fd)
 
                if (!same)
                        {
-                       const gchar *dest_ext = extension_from_path(fd->change->dest);
+                       const gchar *dest_ext = registered_extension_from_path(fd->change->dest);
                        if (!dest_ext) dest_ext = "";
-
-                       if (g_ascii_strcasecmp(fd->extension, dest_ext) != 0)
+                       if (!options->file_filter.disable_file_extension_checks)
                                {
-                               ret |= CHANGE_WARN_CHANGED_EXT;
-                               DEBUG_1("Change checked: source and destination have different extensions: %s -> %s", fd->path, fd->change->dest);
+                               if (g_ascii_strcasecmp(fd->extension, dest_ext) != 0)
+                                       {
+                                       ret |= CHANGE_WARN_CHANGED_EXT;
+                                       DEBUG_1("Change checked: source and destination have different extensions: %s -> %s", fd->path, fd->change->dest);
+                                       }
                                }
                        }
                else
@@ -2254,6 +2468,28 @@ gint file_data_verify_ci(FileData *fd)
                g_free(dest_dir);
                }
 
+       /* During a rename operation, check if another planned destination file has
+        * the same filename
+        */
+       if(fd->change->type == FILEDATA_CHANGE_RENAME ||
+                               fd->change->type == FILEDATA_CHANGE_COPY ||
+                               fd->change->type == FILEDATA_CHANGE_MOVE)
+               {
+               work = list;
+               while (work)
+                       {
+                       fd1 = work->data;
+                       work = work->next;
+                       if (fd1 != NULL && fd != fd1 )
+                               {
+                               if (!strcmp(fd->change->dest, fd1->change->dest))
+                                       {
+                                       ret |= CHANGE_DUPLICATE_DEST;
+                                       }
+                               }
+                       }
+               }
+
        fd->change->error = ret;
        if (ret == 0) DEBUG_1("Change checked: OK: %s", fd->path);
 
@@ -2262,19 +2498,19 @@ gint file_data_verify_ci(FileData *fd)
 }
 
 
-gint file_data_sc_verify_ci(FileData *fd)
+gint file_data_sc_verify_ci(FileData *fd, GList *list)
 {
        GList *work;
        gint ret;
 
-       ret = file_data_verify_ci(fd);
+       ret = file_data_verify_ci(fd, list);
 
        work = fd->sidecar_files;
        while (work)
                {
                FileData *sfd = work->data;
 
-               ret |= file_data_verify_ci(sfd);
+               ret |= file_data_verify_ci(sfd, list);
                work = work->next;
                }
 
@@ -2357,6 +2593,12 @@ gchar *file_data_get_error_string(gint error)
                g_string_append(result, _("there are unsaved metadata changes for the file"));
                }
 
+       if (error & CHANGE_DUPLICATE_DEST)
+               {
+               if (result->len > 0) g_string_append(result, ", ");
+               g_string_append(result, _("another destination file has the same filename"));
+               }
+
        return g_string_free(result, FALSE);
 }
 
@@ -2383,7 +2625,7 @@ gint file_data_verify_ci_list(GList *list, gchar **desc, gboolean with_sidecars)
                fd = work->data;
                work = work->next;
 
-               error = with_sidecars ? file_data_sc_verify_ci(fd) : file_data_verify_ci(fd);
+               error = with_sidecars ? file_data_sc_verify_ci(fd, list) : file_data_verify_ci(fd, list);
                all_errors |= error;
                common_errors &= error;
 
@@ -2736,10 +2978,21 @@ gboolean file_data_send_notification_idle_cb(gpointer data)
 
 void file_data_send_notification(FileData *fd, NotifyType type)
 {
+       GList *work = notify_func_list;
+
+       while (work)
+               {
+               NotifyData *nd = (NotifyData *)work->data;
+
+               nd->func(fd, type, nd->data);
+               work = work->next;
+               }
+    /*
        NotifyIdleData *nid = g_new0(NotifyIdleData, 1);
        nid->fd = file_data_ref(fd);
        nid->type = type;
        g_idle_add_full(G_PRIORITY_HIGH, file_data_send_notification_idle_cb, nid, NULL);
+    */
 }
 
 static GHashTable *file_data_monitor_pool = NULL;