.jpg)
本文约1000字，建议阅读5分钟。
该Github库是对目前市面上已有的开源中文聊天语料的搜集和系统化整理工作。
语料内容
该库搜集了包含chatterbot、豆瓣多轮、PTT八卦语料、青云语料、电视剧对白语料、贴吧论坛回帖语料、微博语料小黄鸡语料共8个公开闲聊常用语料和短信，并对其进行了统一化规整和处理，达到直接可以粗略使用的目的。
使用方法
下载语料
将解压后的raw_chat_corpus文件夹放到当前目录下 目录结构为：
raw_chat_corpus -- language -- process_pipelines -- raw_chat_corpus ---- chatterbot-1k ---- douban-multiturn-100w ---- .... -- main.py -- ...
执行命令即可
python main.py
生成结果
每个来源的语料分别生成一个独立的*.tsv文件，都放在新生成的clean_chat_corpus文件夹下。
生成结果格式为 tsv格式，每行是一个样本，先是query，再是answer
query \t answer
编辑：王菁
校对：林亦霖
— 完 —
关注清华-青岛数据科学研究院官方微信公众平台“THU数据派”及姊妹号“数据派THU”获取更多讲座福利及优质内容。
相关推荐
-
白玉鸟叫声(银红色玉鸟)
养鸟的朋友们应该都知道，现在很多鸟类都被列为了野生保护动物之中，有些刚入坑的小白如果不清楚的话很容易触碰红线，或者不清楚自己适合饲养哪种鸟，所以对于鸟的种类选择上犯难。今天就给大家来说一种允许个人饲养的鸟儿——白玉鸟，看看您是否喜欢？白玉鸟也称作金丝雀，也又叫芙蓉鸟，玉鸟等名称。当然有些地区又有自己
-
蒙牛问题牛奶是哪种(蒙牛牛奶事件是什么)
2016年10月底，一则宣称"蒙牛纯牛奶刚刚被查出黄曲霉菌超标"的谣言视频在微信平台上疯狂传播，给蒙牛公司造成巨大损失。日前，该谣言视频炮制者许某某被判处10个月有期徒刑，并处罚金及没收作案工具。内蒙古和林格尔县人民法院认定，许某某及其公司利用互联网故意修改和发布视频，给被害方造成重大损失的犯罪事实
-
张松茂张松茂(刘松杨)
《盛世泰平·八方尊》新品首发仪式藏八方镶器享盛世太平——至尊聚首，助您珍藏—国家级陶瓷巨匠双粉彩大师共创八方镶器价值上亿的全球最贵花鸟与山水题材作品集于一体八方尊荣获亚太地区工艺美术品年度金奖央视鉴宝专家莅临原产地直播现场与大师携手共鉴藏国瓷，送16平尺中美协会员墨宝《春夏秋冬·山水四条屏》耄耋双大
-
OPPO的最新手机是什么(oppo手机哪款性价比高)
屏幕对于手机的重要性，相信不用多说大家也知道，毕竟大多数人认识与了解一款手机都是从屏幕开始的。一款好用的手机除了屏幕大小与分辨率外，屏幕刷新率的高低也非常重要。从一加OnePlus 7 Pro到OPPO Reno ACE，再到近期的小米10系列，几乎都配备了90Hz屏幕，所以作为旗舰级手机，高帧率屏
-
永远永远爱你的英文(我永远爱你 英文)
Don\'t just follow the path. Make your own trail.不要随波逐流，要找到自己的路。path 是路径,多指原来就有的路，小路。trail 是踪迹，多指走过之后留下的路径。Sometimes the right path is not the eas
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请通知我们，一经查实，本站将立刻删除。