update time_parser and idiom_solitarie

Author: dongrixinyu

README.md

@@ -11,7 +11,7 @@
     <a alt="Downloads">
         <img src="https://img.shields.io/badge/downloads-5k-yellow" /></a>
     <a alt="Version">
-        <img src="https://img.shields.io/badge/version-1.3.34-green" /></a>
+        <img src="https://img.shields.io/badge/version-1.3.35-green" /></a>
     <a href="https://github.com/dongrixinyu/JioNLP/pulse" alt="Activity">
         <img src="https://img.shields.io/github/commit-activity/m/dongrixinyu/JioNLP?color=blue" /></a>
 </p>
@@ -29,7 +29,7 @@
 #### 功能主要包括：文本清洗，删除HTML标签、删除异常字符、删除冗余字符，转换全角字母、数字、空格为半角，抽取及删除E-mail及域名、抽取及删除（手机号、座机号）电话号码、抽取及删除QQ号、抽取及删除括号内容、抽取及删除身份证号、抽取及删除IP地址、抽取及删除URL超链接、抽取及删除货币金额与单位，金额数字转大写汉字，时间语义解析，解析身份证号信息、解析手机号码归属地、解析座机区号归属地、解析手机号码运营商，按行快速读写文件，（多功能）停用词过滤，（优化的）分句，地址解析，新闻地域识别，繁简体转换，汉字转拼音，汉字偏旁、字形、四角编码、五笔编码拆解，基于词典的情感分析，色情数据过滤，反动数据过滤，关键短语抽取，抽取式文本摘要，成语接龙，成语词典、歇后语词典、新华字典、新华词典、停用词典、中国地名词典、中国县级地名变更词典、世界地名词典，时间实体抽取，基于词典的NER，NER的字、词级别转换，NER的entity和tag格式转换，NER模型的预测阶段加速并行工具集，NER标注和模型预测的结果差异对比，NER标注数据集分割与统计，NER实体收集、文本分类标注数据集的分割与统计、回译数据增强、相邻近汉字换位数据增强、同音词替换数据增强、随机增删字符数据增强、实体替换数据增强、公历转农历日期、农历转公历日期
 
 
-#### Update 2021-09-09
+#### Update 2021-09-20
 ## 新增 [时间实体抽取](../../wiki/NER-说明文档#user-content-时间实体抽取)
 
 #### jio.ner.extract_time 从文本中抽取时间实体（不依赖模型，纯规则）。
@@ -47,7 +47,7 @@ print(res)
 
 ```
 
-#### Update 2021-07-26
+#### Update 2021-09-20
 ## 新增 [时间语义解析](../../wiki/时间语义解析-说明文档#user-content-时间语义解析)
 
 #### jio.parse_time 给定时间字符串，解析其为时间戳、时长等。
@@ -75,7 +75,7 @@ print(res)
 ```
 
 - 目前支持年月日、时分秒、星期、季节、季度、节日、农历、时间范围、时间段、时间周期、模糊时间代词等解析。
-- TODO: 细节与参数仍有待完善。
+- 支持对未来时间优先选择，参数为`ret_future(bool)`。
 - [关于**时间语义解析**](../../wiki/时间语义解析-说明文档)
 - 目前支持的所有 [测试用例](../../blob/master/test/test_time_parser.py)
 

image/qr_code_for_collection.png

@@ -8,7 +8,7 @@
 # description: Preprocessing tool for Chinese NLP
 """
 
-__version__ = '1.3.34'
+__version__ = '1.3.35'
 
 import os
 

jionlp/__init__.py

@@ -65,6 +65,10 @@ def __call__(self, cur_idiom, same_pinyin=True, check_idiom=False,
         if self.idiom_list is None:
             self._prepare()
 
+        if cur_idiom == '' or type(cur_idiom) is not str:
+            logging.warning('please insert a Chinese idiom.')
+            return ''
+
         if restart:
             # 重新开始游戏，清空历史记录
             self.already_used_idioms = set()
@@ -102,7 +106,7 @@ def __call__(self, cur_idiom, same_pinyin=True, check_idiom=False,
             cur_last_char = cur_idiom[-1]
             backup_idioms = list()
             for idiom_obj in self.idiom_list:
-                if idiom_obj in self.already_used_idioms:
+                if idiom_obj['idiom'] in self.already_used_idioms:
                     continue
 
                 if cur_last_char == idiom_obj['idiom'][0]:

jionlp/gadget/idiom_solitaire.py

@@ -274,12 +274,11 @@
 SELF_EVI_LUNAR_MONTH_STRING = r'((闰)?[正冬腊]|闰([一二三四五六七八九十]|十[一二]|[1-9]|1[012]))月'
 
 # 周
-# 支持了 minute 中 `刻` 的计数 [123一二两三]
-WEEK_NUM_STRING = r'[一二两三四五六七八九1-9]'  # 1~9
+WEEK_NUM_STRING = r'[一二两三四五六七八九十0-9]{1,3}'  # 1~52
 WEEK_STRING = r'(周|星期|礼拜)'
 
 # 日
-DAY_NUM_STRING = r'(([0]?[1-9]|[12]\d|3[01])|([一二]?十)?[一二三四五六七八九]|(三十)?[一]|[二三]?十)'
+DAY_NUM_STRING = r'(([0]?[1-9]|[12]\d|3[01])|([一二]?十)?[一二三四五六七八九]|(三十)?[一]|[二三]?十)'  # 1~31
 DAY_STRING = DAY_NUM_STRING + r'[日号]'
 BLUR_DAY_STRING = r'([上中下]旬|初|中|底|末)'
 # 允许 `初8` 阿拉伯数字出现，但不允许 `廿2`、`23` 等作为农历`日`
@@ -321,6 +320,7 @@
 
 # time_delta 数字正则
 DELTA_NUM_STRING = r'(([一两二三四五六七八九十百千万零]+点)?[一两二三四五六七八九十百千万零]+|([\d十百千万,]+\.)?[\d十百千万,]+)'
+QUARTER_NUM_STRING = r'[一两二三四1-4]'
 
 # 单个数字正则
 SINGLE_NUM_STRING = r'[一两二三四五六七八九十\d]'
@@ -335,7 +335,8 @@
 WEEK_DELTA_STRING = ''.join([DELTA_NUM_STRING, r'[多余]?((个(多)?)?(星期|礼拜)|周(?!年))', I, r'俩(星期|礼拜)'])
 HOUR_DELTA_STRING = ''.join([DELTA_NUM_STRING, r'[多余]?(个(多)?)?(小时|钟头)', I,
                              '半(个(多)?)?(小时|钟头)', I, '俩(小时|钟头)', I, SINGLE_NUM_STRING, '个半(小时|钟头)'])
-MINUTE_DELTA_STRING = ''.join([DELTA_NUM_STRING, r'[多余]?分(钟)?(半)?', I, '一刻钟', I, '半分钟', I,
+QUARTER_DELTA_STRING = ''.join([QUARTER_NUM_STRING, '刻钟'])
+MINUTE_DELTA_STRING = ''.join([DELTA_NUM_STRING, r'[多余]?分(钟)?(半)?', I, '半分钟', I,
                                SINGLE_NUM_STRING, '+分半(钟)?'])
 SECOND_DELTA_STRING = ''.join([DELTA_NUM_STRING, r'[多余]?秒(钟)?'])
 

jionlp/gadget/time_parser.py

@@ -0,0 +1,30 @@
+# -*- coding=utf-8 -*-
+
+import unittest
+
+import jionlp as jio
+
+
+class TestIdiomSolitaire(unittest.TestCase):
+    """ 测试地址解析工具 """
+
+    def test_idiom_solitaire(self):
+        """ test func idiom_solitaire """
+
+        idiom = '道阻且长'
+        idiom = jio.idiom_solitaire(idiom, same_pinyin=False, same_tone=True)
+        self.assertEqual(idiom[0], '长')
+
+        idiom = jio.idiom_solitaire('', same_pinyin=False, same_tone=True)
+        self.assertEqual(idiom, '')
+
+
+if __name__ == '__main__':
+
+    suite = unittest.TestSuite()
+    test_idiom_solitaire = [TestIdiomSolitaire('test_idiom_solitaire')]
+    suite.addTests(test_idiom_solitaire)
+
+    runner = unittest.TextTestRunner(verbosity=1)
+    runner.run(suite)
+

jionlp/rule/rule_pattern.py

@@ -4,16 +4,18 @@
 from test_text_aug import TestTextAug
 from test_time_parser import TestTimeParser
 from test_location_parser import TestLocationParser
+from test_idiom_solitaire import TestIdiomSolitaire
 
 
 if __name__ == '__main__':
 
     suite = unittest.TestSuite()
 
     tests = [
-        TestTimeParser('test_time_parser'),  # 测试时间解析
-        TestLocationParser('test_location_parser'),  # 测试地址解析
-        TestTextAug('test_ReplaceEntity'),  # 测试实体替换增强
+        TestTimeParser('test_time_parser'),  # 测试 时间解析
+        TestLocationParser('test_location_parser'),  # 测试 地址解析
+        TestTextAug('test_ReplaceEntity'),  # 测试 实体替换增强
+        TestIdiomSolitaire('test_idiom_solitaire'),  # 测试 成语接龙
     ]
     suite.addTests(tests)
 

test/test_idiom_solitaire.py

@@ -13,8 +13,8 @@ class TestTimeParser(unittest.TestCase):
     def test_time_parser(self):
         """ test func time_parser """
 
-        _ts_1 = 1623604000
-        _ts_2 = 1630480532
+        _ts_1 = 1623604000  # 2021-06-14 01:06:40
+        _ts_2 = 1630480532  # 2021-09-01 15:15:32
         print('time stamp for test: ',
               time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(_ts_1)))
 
@@ -31,6 +31,7 @@ def test_time_parser(self):
             ['2019.05.29 15:20-2020.01.12 12:10', _ts_1, {'type': 'time_span', 'definition': 'accurate', 'time': ['2019-05-29 15:20:00', '2020-01-12 12:10:59']}],
             ['6·30', _ts_1, {'type': 'time_point', 'definition': 'accurate', 'time': ['2021-06-30 00:00:00', '2021-06-30 23:59:59']}],
             ['2018', _ts_1, {'type': 'time_span', 'definition': 'accurate', 'time': ['2018-01-01 00:00:00', '2018-12-31 23:59:59']}],
+            ['2021-09-0910:09', _ts_1, {'type': 'time_point', 'definition': 'accurate', 'time': ['2021-09-09 10:09:00', '2021-09-09 10:09:59']}],
 
             # 年、月、日（标准）
             ['2015年8月12日', _ts_1, {'type': 'time_point', 'definition': 'accurate', 'time': ['2015-08-12 00:00:00', '2015-08-12 23:59:59']}],
@@ -114,7 +115,7 @@ def test_time_parser(self):
             ['二十几年前', _ts_1, {'type': 'time_span', 'definition': 'blur', 'time': ['1991-01-01 00:00:00', '2001-12-31 23:59:59']}],
             ['1000多年之后', _ts_1, {'type': 'time_span', 'definition': 'blur', 'time': ['3020-01-01 00:00:00', 'inf']}],
             ['几十年之后', _ts_1, {'type': 'time_span', 'definition': 'blur', 'time': ['2041-01-01 00:00:00', '2121-12-31 23:59:59']}],
-            ['一刻钟后', _ts_1, {'type': 'time_point', 'definition': 'accurate', 'time': ['2021-06-14 01:21:40', '2021-06-14 01:22:40']}],
+            ['一刻钟后', _ts_1, {'type': 'time_point', 'definition': 'accurate', 'time': ['2021-06-14 01:21:40', '2021-06-14 01:36:40']}],
 
             # time span 式 `从……至……` 年、月、日、时、分、秒
             ['2017年8月11日至8月22日', _ts_1, {'type': 'time_span', 'definition': 'accurate', 'time': ['2017-08-11 00:00:00', '2017-08-22 23:59:59']}],
@@ -146,6 +147,12 @@ def test_time_parser(self):
             ['三年前', _ts_1, {'type': 'time_span', 'definition': 'blur', 'time': ['2018-01-01 00:00:00', '2018-12-31 23:59:59']}],
             ['二〇三五年前', _ts_1, {'type': 'time_span', 'definition': 'accurate', 'time': ['2021-06-14 01:06:40', '2035-12-31 23:59:59']}],
 
+            # time_span，limit 型
+            ['前天中午到明天晚上', _ts_1, {'type': 'time_span', 'definition': 'blur', 'time': ['2021-06-12 12:00:00', '2021-06-15 23:59:59']}],
+            ['前年11月到去年3月', _ts_1, {'type': 'time_span', 'definition': 'accurate', 'time': ['2019-11-01 00:00:00', '2020-03-31 23:59:59']}],
+            ['2014年11月到去年3月', _ts_1, {'type': 'time_span', 'definition': 'accurate', 'time': ['2014-11-01 00:00:00', '2020-03-31 23:59:59']}],
+            ['2014年11月到下个月9号', _ts_1, {'type': 'time_span', 'definition': 'accurate', 'time': ['2014-11-01 00:00:00', '2021-07-09 23:59:59']}],
+
             # time_span，枚举型
             ['9月10号，11号，12号，13号', _ts_1, {'type': 'time_span', 'definition': 'accurate', 'time': ['2021-09-10 00:00:00', '2021-09-13 23:59:59']}],
 
@@ -193,6 +200,11 @@ def test_time_parser(self):
             ['6月1日周六早上10点钟', _ts_1, {'type': 'time_point', 'definition': 'accurate', 'time': ['2021-06-01 10:00:00', '2021-06-01 10:59:59']}],  # 当设定 strict 时会报错
             ['上个礼拜天', _ts_1, {'type': 'time_point', 'definition': 'accurate', 'time': ['2021-06-13 00:00:00', '2021-06-13 23:59:59']}],
 
+            # 年、周
+            ['20年第52周', _ts_1, {'type': 'time_span', 'definition': 'accurate', 'time': ['2020-12-28 00:00:00', '2021-01-03 23:59:59']}],
+            ['21年第一个礼拜', _ts_1, {'type': 'time_span', 'definition': 'accurate', 'time': ['2021-01-04 00:00:00', '2021-01-10 23:59:59']}],
+            ['今年第三十七个星期', _ts_1, {'type': 'time_span', 'definition': 'accurate', 'time': ['2021-09-13 00:00:00', '2021-09-19 23:59:59']}],
+
             # 年、月、模糊日
             ['6月上旬', {'year': 2021}, {'type': 'time_span', 'definition': 'blur', 'time': ['2021-06-01 00:00:00', '2021-06-10 23:59:59']}],
             ['1999年7月下旬', time.time(), {'type': 'time_span', 'definition': 'blur', 'time': ['1999-07-11 00:00:00', '1999-07-31 23:59:59']}],
@@ -203,6 +215,12 @@ def test_time_parser(self):
             # 限定年、月、模糊日
             ['去年6月上旬', {'year': 2021}, {'type': 'time_span', 'definition': 'blur', 'time': ['2020-06-01 00:00:00', '2020-06-10 23:59:59']}],
 
+            # 超模糊 2 字
+            ['前两天', _ts_1, {'type': 'time_span', 'definition': 'blur', 'time': ['2021-06-07 00:00:00', '2021-06-12 23:59:59']}],
+            ['前两年', _ts_1, {'type': 'time_span', 'definition': 'blur', 'time': ['2016-01-01 00:00:00', '2019-12-31 23:59:59']}],
+            ['前两个钟头', _ts_1, {'type': 'time_span', 'definition': 'blur', 'time': ['2021-06-13 19:00:00', '2021-06-13 23:59:59']}],
+            ['前两分钟', _ts_1, {'type': 'time_span', 'definition': 'blur', 'time': ['2021-06-14 00:57:00', '2021-06-14 01:04:59']}],
+
             # 限定日
             ['前天', _ts_2, {'type': 'time_point', 'definition': 'accurate', 'time': ['2021-08-30 00:00:00', '2021-08-30 23:59:59']}],
             ['后天', _ts_1, {'type': 'time_point', 'definition': 'accurate', 'time': ['2021-06-16 00:00:00', '2021-06-16 23:59:59']}],
@@ -284,6 +302,7 @@ def test_time_parser(self):
             ['两日', None, {'type': 'time_delta', 'definition': 'accurate', 'time': {'day': 2.0}}],
             ['俩礼拜', None, {'type': 'time_delta', 'definition': 'accurate', 'time': {'day': 14.0}}],
             ['36天5小时30分', None, {'type': 'time_delta', 'definition': 'accurate', 'time': {'day': 36.0, 'hour': 5.0, 'minute': 30.0}}],
+            ['1刻钟', None, {'type': 'time_delta', 'definition': 'accurate', 'time': {'minute': 15.0}}],
 
             # 法律时间
             ['3年以上7年以下', None, {'type': 'time_delta', 'definition': 'blur', 'time': [{'year': 3.0}, {'year': 7.0}]}],
@@ -441,6 +460,21 @@ def test_time_parser(self):
             print(item[0])
             self.assertEqual(time_res, item[2])
 
+        time_string_list = [
+            # 未来时间扩展
+            ['8号晚上9点', _ts_2, {'type': 'time_point', 'definition': 'accurate', 'time': ['2021-09-08 21:00:00', '2021-09-08 21:59:59']}],
+            ['1号晚上9点', _ts_2, {'type': 'time_point', 'definition': 'accurate', 'time': ['2021-09-01 21:00:00', '2021-09-01 21:59:59']}],
+            ['3月8号', _ts_2, {'type': 'time_span', 'definition': 'accurate', 'time': ['2022-03-08 00:00:00', '2022-03-08 23:59:59']}],
+            ['10月8号', _ts_2, {'type': 'time_point', 'definition': 'accurate', 'time': ['2021-10-08 00:00:00', '2021-10-08 23:59:59']}],
+            ['周一', _ts_2, {'type': 'time_point', 'definition': 'accurate', 'time': ['2021-09-06 00:00:00', '2021-09-06 23:59:59']}],
+            ['妇女节', _ts_2, {'type': 'time_point', 'definition': 'accurate', 'time': ['2022-03-08 00:00:00', '2022-03-08 23:59:59']}],
+        ]
+
+        for item in time_string_list:
+            time_res = jio.parse_time(item[0], time_base=item[1], ret_future=True)  #, strict=True)
+            print(item[0])
+            self.assertEqual(time_res, item[2])
+
 
 if __name__ == '__main__':