【免费下载链接】turkish-court-decisions项目地址https://ai.gitcode.com/hf_mirrors/hamzabagirsakci/turkish-court-decisions点击查看免费下载 本文带你逐字段拆解turkish-court-decisions土耳其法院判决数据集Türk İçtihat Korpusu的数据 Schema。这是目前已知最大的土耳其语法律文本数据集11,045,085 条判决、315 亿字符纯文本、5.52 GB Parquet 文件时间跨度 1962–2026 年覆盖土耳其最高法院Yargıtay、行政法院Danıştay、宪法法院AYM等五大公开来源。读完本文你会清楚每个字段是干什么的、怎么用。一、数据集概览5 大来源 × 30 个 Parquet 文件先看整体规模。数据按来源存放在 data/ 下的 5 个子目录中每个目录对应 README 中定义的一个 config来源目录来源config 名判决数年份范围文本量文件数data/yargitay/Yargıtay最高法院9,820,1451997–2026195 亿字符17data/emsal/UYAP Emsal地方法院/上诉法院815,7022017–202681 亿字符9data/danistay/Danıştay行政法院386,6081965–202633 亿字符2data/aym_bb/AYM 个人申诉AYM Bireysel Başvuru17,0672012–20263.74 亿字符1data/aym_norm/AYM 合宪性审查AYM Norm Denetimi5,5631962–20261.27 亿字符1合计—11,045,0851962–2026315 亿字符30几个值得知道的背景数字️ 原始抓取共获得 11,124,305 条记录其中72,441 条重复同一判决被以不同document_id多次索引和6,779 条垃圾响应源系统返回的错误页/反爬页被剔除最终保留 11,045,085 条唯一判决 去重依据是(source, court, esas_no, karar_no)四元组重复时保留文本最长的那份部分副本是抓取中断的残缺版 短判决不是垃圾全部保留二、Schema 全貌15 个字段一张表每条判决在 Parquet 中是一行记录共 15 列。先看总表依据 README.md 的 Şema 章节字段类型含义idstring{source}:{document_id}全数据集唯一sourcestring来源yargitay/danistay/emsal/aym_norm/aym_bbdocument_idstring来源系统中的原始 ID用于回源抓取courtstring法庭 / 庭 / 法院名称esas_nostring案号esas如2016/57111karar_nostring判决号karar如2023/6863karar_tarihistring判决日期ISOYYYY-MM-DD已跨来源归一化yearint16判决年份分片键monthint8判决月份分片键textstring判决全文text_lenint32正文字符数masked_countint16被脱敏标签替换的敏感信息条数raw_sha256string源 HTML 的 SHA-256 哈希mevzuat_atiflist[string]判决引用的法条格式kanunNo/maddeNo如5237/62mevzuat_konulist[string]Yargıtay 的旧判决主题索引注意与 atıf 的区别下面按功能分组逐一拆解 2.1 身份标识id / source / document_idid全数据集的唯一主键格式固定为{source}:{document_id}。比如一条 Yargıtay 记录的id会是yargitay:1234567这样的形式。跨来源不会冲突做 join、去重、缓存键都直接用它source五选一用来区分数据来自哪个来源系统。它同时也是 README.md 中load_dataset(...)的 config 名document_id判决在来源系统自己索引里的编号。用途很具体——如果你发现某条记录有问题可以用它回源重新抓取核对2.2 法院与案号court / esas_no / karar_no土耳其判决书的三要素对应中文法律语境里的字段对应概念示例说明court审理法院/庭某上诉庭、某行政庭不同来源的粒度不同最高法按daire 庭地方法院按法院名esas_no立案案号2016/57111案件的编号karar_no判决编号2023/6863判决的编号与案件号是两套体系⚠️ 注意esas_no和karar_no不是同一年份立案和判决可能跨年。做立案-判决时间差分析时要用karar_tarihi而不是案号前缀推算。2.3 时间字段karar_tarihi / year / monthkarar_tarihi统一为 ISO 格式YYYY-MM-DD。README 特别强调这是跨来源归一化的结果——不同来源网页上的日期写法各不相同采集端已统一成一种格式你可以直接str.split(-)[0]或按日期函数解析yearint16/monthint8从日期拆出的冗余列类型压缩得很紧。README 注明它们是分片键bölümleme anahtarı——数据按月窗口分批采集、按年/月对齐校验这两列保留了采集结构适合做按时间维度的快速过滤2.4 正文与质量字段text / text_len / masked_count / raw_sha256text判决全文纯文本保留段落结构换行去掉了网页骨架。这是你做 NLP 的主要输入text_lentext的字符数。想按长度分桶训练比如过滤超短判决时不用重新len()直接读这列扫描成本远低于读全文masked_count文中敏感信息被替换成占位标签的条数。涉及 5 类占位标签[TCKN]土耳其公民身份号、[IBAN]银行账号、[KART]卡号、[TELEFON]电话、[EPOSTA]邮箱。这条对隐私合规场景很有用masked_count 0说明原文含敏感信息且已脱敏 0则是干净文本raw_sha256源 HTML 页面的 SHA-256 哈希。用途是去重和验证——如果两页哈希相同内容就是同一份也方便审计我拿到的文本是否对应某个确定的原始页面2.5 结构化标签mevzuat_atif / mevzuat_konu这是 Schema 里最有信息量、也最容易用错的两列。mevzuat_atif法条引用字符串列表每项形如5237/62含义是5237 号法律的 62 条即土耳其刑法第 62 条。典型用法ds load_dataset(hamzabagirsakci/turkish-court-decisions, yargitay, splittrain) tck62 ds.filter(lambda r: 5237/62 in r[mevzuat_atif]) # 找所有引用 TCK 62 条的判决它的生成零猜测只有两条可信路径正文里明确写了法律编号5237 sayılı ... 62. maddesi→ 直接提取正文只写了法律缩写但该缩写与法律编号的对应关系经过实测且置信度 ≥ 99%才解析实测置信度 ≥ 99% 的缩写映射缩写对应法律实测置信度共同出现样本数HMK610099.91%22,816CMUK141299.74%53,197HUMK108699.73%6,627CMK527199.70%58,410TBK609899.54%1,093TMK472199.46%1,860而TCK置信度 85.6%、BK93.6%、TTK63.4%、TCY59.5%因未过 99% 阈值不生成引用。原因是法律本身的问题判决适用的是行为发生当时有效的法律2020 年的判决完全可能引用已废止的 765 号旧刑法——按日期瞎猜会在 CMK 家族里错到 61.9%。这些引用仍保留在text里只是不搬进结构列。mevzuat_konu主题索引仅出现在旧 Yargıtay 判决中且含义不同——它不是判决引用的法条而是来源系统在旧判决头部附加的一行机器生成索引如765 S. TÜRK CEZA KANUNU [ Madde 59 ]。这行索引标的是该旧法在现行法律中的对应物2000 年的判决头部可能写着 2002 年才生效的 4721 号民法典但判决正文实际写的是旧民法的条文。所以它是主题索引而非引用这正是它单独占一列、且只有旧判决才有值的原因。三、快速上手三种加载方式数据是标准 Parquet三种姿势任选示例摘自 README.md 的 Kullanım 章节# ① 全量流式加载5.52 GB推荐 streaming from datasets import load_dataset ds load_dataset(hamzabagirsakci/turkish-court-decisions, splittrain, streamingTrue) # ② 单来源 yt load_dataset(hamzabagirsakci/turkish-court-decisions, yargitay, splittrain) # ③ 直接读单个 Parquet 文件最快的试读方式 import pyarrow.parquet as pq tbl pq.read_table(data/aym_norm/train-00000-of-00001.parquet)单文件试读很适合先摸清字段——比如 data/aym_norm/train-00000-of-00001.parquet 只有 5,563 条几分钟就能跑完全量。四、字段使用避坑清单1️⃣不要按id里的来源前缀过滤后再用source列重复过滤——两者语义完全一致id前缀只是方便肉眼识别2️⃣mevzuat_atif可能是空列表正文没提到具体法条编号的判决没有这列的值写 filter 时记得处理空值3️⃣mevzuat_konu不要当引用用它只在旧 Yargıtay 判决里出现且指向现行法对应关系统计某法条被引用次数请用mevzuat_atif4️⃣text是脱敏后的文本做 PII 相关实验时以masked_count为参考占位标签[TCKN]等是刻意保留的不要清洗掉5️⃣数据用途提示本数据集为 CC0-1.0 许可、面向研究开发不构成法律建议实际引用某条判决前请以来源机构官方系统核对五、文件位置速查内容路径项目说明含完整 Schema 与统计README.mdYargıtay 数据17 个分片data/yargitay/Danıştay 数据2 个分片data/danistay/UYAP Emsal 数据9 个分片data/emsal/AYM 合宪性审查数据data/aym_norm/train-00000-of-00001.parquetAYM 个人申诉数据data/aym_bb/train-00000-of-00001.parquet小结turkish-court-decisions 用 15 个字段覆盖了谁判的court、哪一案esas_no/karar_no、何时判的karar_tarihi/year/month、判了什么text、引用了哪条法mevzuat_atif、数据可不可信raw_sha256/masked_count六类信息且所有结构化字段都坚持宁缺毋猜的原则。如果你的任务是土耳其语法律 NLP——文本检索、判决摘要、案由分类、法条引用抽取——这套 Schema 已经为你省去了绝大多数清洗工作。赞分享【免费下载链接】turkish-court-decisions项目地址https://ai.gitcode.com/hf_mirrors/hamzabagirsakci/turkish-court-decisions点击查看免费下载相关推荐为什么有7.9万条记录被剔除turkish-court-decisions数据清洗与去重逻辑全拆解为什么有7.9万条记录被剔除turkish court decisions数据清洗与去重逻辑全拆解 turkish court decisionsTürk1100万份判决中的个人隐私保护turkish-court-decisions五类敏感信息脱敏机制详解1100万份判决中的个人隐私保护turkish court decisions五类敏感信息脱敏机制详解 turkish court decisions 是一个1100万份判决里的宝藏土耳其法律语料turkish-court-decisions完整入门1100万份判决里的宝藏土耳其法律语料turkish court decisions完整入门 turkish court decisions Türk İç上一篇慕课助手重新定义在线学习效率的智能工具下一篇LSTNet参数调优秘籍提升时间序列预测精度的10个技巧创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考