Ад сырых даных да структураваных вывадаў
За публічнай базай даных The Detained працуе выдзелены Python ML-мікрасэрвіс — краінныя мадэлі даступныя праз REST API — для ацэнкі рызык па справах, прагназавання трэндаў арыштаў, выяўлення скаардынаваных кампаній і падрыхтоўкі статыстыкі, на якую могуць спасылацца юрысты — па Расіі, Беларусі, Грузіі і Цэнтральнай Азіі. Кожная ацэнка спасылаецца на зыходныя запісы, па якіх яна разлічана.
Кожная справа трапляе ў шматэтапны канвеер. Кожны этап апісаны ніжэй — раскрыйце «Як гэта працуе» на любым этапе для прагляду тэхнік.
5,400+
Задакументаваных спраў
7
Краін адсочваецца
10
Арганізацый-крыніц
25+
API-канцоў
Дзесяціэтапны канвеер
Справа ўваходзіць зверху, выходзіць знізу. Кожны этап дадае структуру, доказы або кантэкст, на якія абапіраецца наступны.
Аўтаматычны збор даных
Сістэма бесперапынна збірае дадзеныя з вядучых праваабарончых крыніц. Скрыпты сінхранізацыі трымаюць нашу PostgreSQL-базу актуальнай па новых арыштах, пераследах, прысудах і месцах утрымання ў пакрываемых рэгіёнах.
- Primary sources: OVD-Info and Political Prisoners Support. Memorial (Russia), Viasna (Belarus), Political Prisoners of Georgia and Civil Georgia, Open Dialogue Foundation and RFE/RL regional services (Central Asia), Uzbek Forum for Human Rights, and Mediazona
- Secondary sources: court record aggregators and direct family / legal counsel reports
- Structured database with a normalized schema for prisoners, cases, articles, locations, and outcomes
- Automated sync runs daily to detect new arrests, status changes, and releases; every record keeps its source URL
- Geolocation enrichment for coordinate standardization and region mapping
- Native-to-English machine translation (Russian & Belarusian) with the original text preserved alongside
Распазнаванне іменаваных сутнасцей
Шматмоўнае распазнаванне сутнасцей без данавучання (GLiNER) здабывае з неструктураваных апісанняў спраў удзельнікаў працэсу — суддзяў, пракурораў, адвакатаў і суды — што дазваляе статыстычна аналізаваць саму судовую сістэму.
- Zero-shot named-entity recognition using GLiNER (multilingual gliner_multi-v2.1) — extracts judges, prosecutors, courts, and defense counsel from case text in Russian, Belarusian, and English
- Rule-based validation (name morphology, patronymic patterns) filters low-quality extractions before anything is stored
- Per-judge analytics: average and maximum sentence, case count, and deviation from same-country peers
- Statistical fingerprinting per actor: article-by-article sentencing compared against peers using Mann-Whitney U tests — flagged only when the actor has ≥3 cases and peers ≥5
Класіфікацыя рызык XGBoost
Нашы базавыя мадэлі выкарыстоўваюць XGBoost для прадказання двух ключавых імавернасцей па кожнай справе: узроўню тэрміновасці (ці патрэбныя неадкладныя дзеянні) і рызыкі катаванняў пад вартай. Расія і Беларусь навучаюцца як асобныя мадэлі, каб прававыя патэрны не змешваліся паміж краінамі.
- Gradient-boosted tree classifiers (XGBoost, logistic objective) trained per country, with a global model as fallback
- Inputs: age, gender, arrest location, case category, and criminal articles (multi-label encoded); text-augmented torture model adds TF-IDF features from case summaries
- Class imbalance handled with positive-class weighting; decision thresholds tuned on held-out data rather than assumed at 0.5
- Probabilities calibrated post-hoc (isotonic regression, or Platt scaling on small classes) so a "70%" means 70%
- Every prediction ships with exact TreeSHAP attributions — the per-feature breakdown of why the model scored a case the way it did
- Case-page priority score is a weighted blend: urgency (0.45), torture signal (0.20), sentence severity (0.35)
Атрыбуцыя тэхналогій сачэння
Выдзелены класіфікатар прадказвае верагодную тэхналогію сачэння, выкарыстаную для ідэнтыфікацыі і затрымання палітзняволенага — выяўляючы патэрны дзяржаўнай інфраструктуры сачэння па рэгіёнах і тыпах спраў.
- Every case is labeled with what the prosecution's evidence primarily rests on — online speech, financial support, device evidence, informant testimony, physical presence — with a confidence score and a verbatim source quote, so each label can be checked against the record
- A gradient-boosted classifier trained on labeled cases predicts the likely capture vector for new ones (features: arrest location, case category, arrest year and month)
- Output is a full probability distribution over vectors, not a single guess
- Aggregated by region and over time, this exposes how enforcement actually finds people — e.g. the share of cases resting on online speech alone
Выяўленне раздутых абвінавачванняў
Гэтая мадэль выяўляе пракурорскі вэб'ал, вымяраючы разрыў паміж тым, што чалавек рэальна зрабіў (па апісаннях), і прад'яўленымі абвінавачваннямі. Асобныя шкалы цяжкасці для КК Расіі і Беларусі.
- Severity mapping: criminal articles scored on a 1–10 scale, maintained per legal framework (Russian and Belarusian codes)
- A TF-IDF text classifier estimates the probability that the underlying act was non-violent from the case description
- Inflation score = charged severity × P(non-violent act) — high when a severe article is stacked on conduct the record describes as peaceful
- A keyword safeguard caps the non-violent probability when the record itself describes violence
- Example: an anti-war post charged under Art. 207.3 "military fakes" (severity 8) with a clearly non-violent record scores near the top of the scale
Прадказанне зыходу
Па прыкметах справы мадэль прадказвае верагодную даўжыню прысуду. Лагарыфмічна-пераўтвораная рэгрэсія гарантуе дадатныя прадказанні і даверавы інтэрвал, дапамагаючы юрыстам прадбачыць зыходы.
- Gradient-boosted regression on log-transformed sentence length (guarantees positive predictions), features: articles, case category, gender, location, age, and charge severity
- Outputs: expected sentence in years with a confidence band, compared against similar documented cases
- A separate Isolation Forest model flags statistical outliers across sentence length, charge severity, age, and charge count — surfacing disproportionate punishments without assuming what "normal" looks like
- Cases whose actual sentences deviate far from the model's expectation are flagged for review as possible political escalation
Прагноз трэндаў Prophet
Мадэлі часавых радоў Facebook Prophet прагназуюць трэнды арыштаў да 90 дзён наперад — з асобнымі мадэлямі для глабальных трэндаў, Расіі і Беларусі.
- Prophet time-series models on daily arrest counts, per country and per high-use article, with automatic changepoint detection
- A curated calendar of repression events (2022 invasion and censorship laws, mobilization, the 2020 Belarus crackdown, Navalny's death) enters the models as exogenous regressors
- Forecasts are backtested before publication — models that fail an accuracy gate are not served — and confidence bands are widened by conformal calibration
- Repression-wave detection runs separately: 7-day rolling z-scores on locations and articles, alerting when a spike exceeds two standard deviations
Выяўленне тэм і кампаній
Падвойнае тэматычнае мадэляванне выяўляе тэматычныя кластары ў справах — ад антываеннай мовы да кампаній рэлігійных пераследаванняў. Гэта раскрывае скаардынаваныя стратэгіі рэпрэсій, нябачныя на ўзроўні асобных спраў.
- Two independent topic layers: TF-IDF + non-negative matrix factorization for fast monthly tracking, and BERTopic (MiniLM sentence embeddings + UMAP + HDBSCAN) for deeper semantic clusters
- Prosecution-template detection embeds every case summary with sentence-transformers (all-MiniLM-L6-v2) and clusters summaries whose cosine similarity exceeds 0.85 — surfacing near copy-paste indictments
- Template clusters are strong evidence of assembly-line prosecution: distinct defendants, near-identical case language
- Monthly topic tracking shows how the focus of repression shifts over time (e.g. war-censorship charges surging after February 2022)
Сеткавы аналіз спраў
Мы будуем сеткі падабенства, звязваючы справы па агульных абвінавачваннях, месцы, часе і тактыцы. Алгарытмы выяўлення супольнасцяў выяўляюць кластары, якія раскрываюць скаардынаваныя кампаніі рэпрэсій — групы людзей, якіх пераследуюць адначасова.
- Case-similarity graphs built per country so domestic patterns stay distinct
- Edges use a transparent, fixed-weight composite: shared criminal articles (40%, Jaccard), same case category (20%), same location (20%), temporal proximity (20%) — a deliberate design choice: every edge is explainable, none depend on a black box
- Edges below a 0.3 similarity floor are dropped; communities are found with greedy modularity maximization (networkx)
- Each community is profiled — dominant charges, geographic center, time span — and labeled for the case-network explorer
- Clusters are leads for investigating coordinated campaigns, not proof of coordination on their own
Юрыдычныя інструменты для прытулку
Самыя значныя вынікі: статыстычныя доказы пераследаванняў, індывідуальныя ацэнкі рызыкі для шукальнікаў прытулку, пошук параўнальных спраў і генерацыя дакументаў — для падтрымкі рэальных судовых працэсаў.
- Persecution Evidence Score: for any filter (category, location, article), aggregate statistics with Wilson confidence intervals on torture rates and regression-tested temporal trends — numbers a filing can cite with the math shown
- Sentencing-disparity analysis: minority vs. majority-region sentence distributions compared with Mann-Whitney U tests, reported only where p < 0.05
- Personal Risk Score: a transparent weighted heuristic (documented case density matching the applicant's profile, adjusted by torture rates and trend direction) — explicitly a structured estimate, not a trained model
- Comparative Case Finder: weighted multi-factor search for the closest documented precedents
- Report generation: statistical sections are computed directly from the database and inserted without passing through a language model, so the model cannot alter those figures; the connecting prose IS model-drafted, is not reviewed by us before you see it, and may misstate what the tables show — every generated report says so at the top, and the numbers still need checking against the primary source
Як чытаць меткі: бэйдж тэрміновасці і задакументаваная рызыка
§ 02.11На сайце сустракаюцца дзве розныя меткі, і яны наўмысна не супадаюць. Адна — рэдакцыйны кантэкст, які задаецца пры дакументаванні справы; другая — мадэльная ацэнка, што пераразлічваецца па матэрыялах справы.
The urgency level, in four steps
A triage flag, not the modeled score described alongside. When a case is first documented, our extraction pipeline reads the source reporting and proposes one of four levels, answering a single question: how time-sensitive does this case appear in the source record? Editors review and can override the flag at any time, and cases with too little reporting default to “No acute risk reported” until reviewed. Card badges appear only for the first two levels.
- ACUTE RISK REPORTEDthe record describes an immediate threat: reported torture or abuse, denied medical care, a hunger strike, or a disappearance
- ACTIVE PROCEEDINGSan active, fast-moving case: pre-trial detention, an ongoing trial, or heavy charges pending
- NO ACUTE RISK REPORTEDserving a sentence with no acute risk described; also the default while reporting is still too thin to judge
- REDUCED EXPOSUREreleased pending trial, a non-custodial or suspended sentence, or close to release. Never "unimportant."
The level is only as good as the source reporting behind it: thin records read as calmer than they may be. In the dataset these levels are stored as critical, high, medium and low.
Documented Risk — the percentage score
Independently of the badge, in-house XGBoost classifiers score each case’s documented risk: a weighted blend of modeled urgency (45%), sentence severity (35%), and the documented-mistreatment signal (20%), with a floor so a case with reported abuse can never read low on a short sentence. Probabilities are calibrated so a “70%” means 70%, and every score opens into TreeSHAP factor panels showing exactly what moved it.
The score measures what our sources document, never the importance of a case or a person — a lower number means fewer documented risk factors, not a lesser injustice.
The two labels are independent by design. The badge is editorial context fixed at documentation time; Documented Risk is recomputed from the record and can disagree with it. When they disagree, that disagreement is information — open the “Why this score?” panels on the case page to see why.
Архітэктура сістэмы
Чатыры асобныя этапы. Даныя цякуць ад крыніц уверсе да публічнай платформы ўнізе; кожны этап можна замяніць або маштабаваць незалежна.
Слой 01 / 04
Крыніцы даных
Слой 02 / 04
Прыём і праверка
Слой 03 / 04
Аналіз і мадэлі
Слой 04 / 04
Публічная платформа
Даныя цякуць у адзін бок — ад зыходнай дакументацыі да публічнага аналізу. Ацэнкі ніколі не перазапісваюць зыходныя запісы.
Заўвага пра прадказальныя мадэлі
Імавернасныя, не дэтэрмініраваныя
Ацэнкі рызыкі і прагнозы — гэта статыстычныя ацэнкі на аснове гістарычных даных, а не прадказанні таго, што адбудзецца з канкрэтным чалавекам.
Зрушэнне справаздачнасці
Нашы даныя адлюстроўваюць тое, што змаглі задакументаваць праваабарончыя маніторы, а не ўсё, што адбылося. Ацэнка катаванняў, напрыклад, паказвае, ці паведамлялася пра катаванні па справе — рэгіёны са слабай справаздачнасцю будуць выглядаць бяспечней, чым ёсць. Дзе магчыма, мы кажам пра гэта прама.
Дапамога, не замена
Канвеер дапамагае даследчыкам і юрыстам з прыярытызацыяй. Ён не замяняе чалавечае меркаванне, праверку адвакатам або жывы досвед сем'яў і сведак.
Пастаянна перанавучаюцца
Кожная мадэль перанавучаецца па меры паступлення новых даных. Класіфікацыя «высокая рызыка» адлюстроўвае статыстычнае падабенства да мінулых спраў — зыход для канкрэтнага чалавека можа адрознівацца.
Ацэнкі ўпэўненасці класіфікацыі
Калі пазнака справы суправаджаецца ацэнкай ўпэўненасці (напрыклад, «conf 0.85»), гэта самаацэнка мадэлі вымання па шкале 0–1: наколькі прыведзеная даслоўная цытата пацвярджае пазнаку. Гэта не ацэнка праўдзівасці саміх фактаў. Значэнні ≥ 0.8 азначаюць, што падстава названа ў цытаце яўна; 0.6–0.8 — пазнака выведзена з моцнага кантэксту; ніжэй 0.6 — толькі меркаванне: перад выкарыстаннем звярайцеся з крыніцай. Кожная ацэненая пазнака суправаджаецца цытатай і спасылкай на крыніцу.