巧用Dictionary实现日志数据批量插入

本文转载自微信公众号「UP技术控」，巧用作者conan5566 。实现数据转载本文请联系UP技术控公众号。日志   

背景

最近再做一个需求，批量就是插入对站点的一些事件进行埋点，说白了就是巧用记录用户的访问行为。那么这些数据怎么保存呢，实现数据人家点一下保存一下?日志显然不合适，肯定是批量需要批量保存，提高效率。插入

问题窥探

首先，巧用我想到的实现数据是Dictionary，对于C#中的日志Dictionary类相信大家都不陌生，云南idc服务商这是批量一个Collection(集合)类型，可以通过Key/Value(键值对的插入形式来存放数据;该类最大的优点就是它查找元素的时间复杂度接近O(1)，实际项目中常被用来做一些数据的本地缓存，提升整体效率。Dictionary是非线程安全的类型，可以实现先添加到内存当中，在批量保存进去数据库。

主要代码实现

1、定义一个Dictionary。

private readonly Dictionary<string, Tuple<ObjectInfo, object>> _storage = new Dictionary<string, Tuple<ObjectInfo, object>>(StringComparer.OrdinalIgnoreCase); 

2、添加元素，操作的b2b信息网时候需要对其进行线程安全处理，最简单的方式就是加锁(lock)。

public bool SaveObject<T>(string path, T value) where T : class {             if (String.IsNullOrWhiteSpace(path))                 throw new ArgumentNullException("path");             lock (_lock) {                 _storage[path] = Tuple.Create(new ObjectInfo {                     Created = DateTime.Now,                     Modified = DateTime.Now,                     Path = path                 }, (object)value);                 if (_storage.Count > MaxObjects)                     _storage.Remove(_storage.OrderByDescending(kvp => kvp.Value.Item1.Created).First().Key);             }             return true;         } 

3、定义一个队列，定时消费日志。

public DefaultEventQueue(ExceptionlessConfiguration config, IExceptionlessLog log, ISubmissionClient client, IObjectStorage objectStorage, IJsonSerializer serializer, TimeSpan? processQueueInterval, TimeSpan? queueStartDelay) {             _log = log;             _config = config;             _client = client;             _storage = objectStorage;             _serializer = serializer;             if (processQueueInterval.HasValue)                 _processQueueInterval = processQueueInterval.Value;             _queueTimer = new Timer(OnProcessQueue, null, queueStartDelay ?? TimeSpan.FromSeconds(2), _processQueueInterval);         } 

这里删除的时候也需要lock 操作。

public bool DeleteObject(string path) {             if (String.IsNullOrWhiteSpace(path))                 throw new ArgumentNullException("path");             lock (_lock) {                 if (!_storage.ContainsKey(path))                     return false;                 _storage.Remove(path);             }             return true;         }  public IEnumerable<ObjectInfo> GetObjectList(string searchPattern = null, int? limit = null, DateTime? maxCreatedDate = null) {             if (searchPattern == null)                 searchPattern = "*";             if (!maxCreatedDate.HasValue)                 maxCreatedDate = DateTime.MaxValue;             var regex = new Regex("^" + Regex.Escape(searchPattern).Replace("*", ".*?") + "$");             lock (_lock)                 return _storage.Keys.Where(k => regex.IsMatch(k)).Select(k => _storage[k].Item1).Where(f => f.Created <= maxCreatedDate).Take(limit ?? Int32.MaxValue).ToList();         } 

总结

1、利用Dictionary。多线程添加数据到内存;

2、达到一定量的时候，批量保存数据。

3、使用lock ，保证Dictionary操作安全。