mirror of
https://github.com/movixcorp/MovixOpenSource.git
synced 2026-08-09 17:07:35 +00:00
Gros lot de travail synchronisé depuis le repo privé. Cette mise à jour regroupe la refonte du lecteur et du Cast, de nouvelles sources VOD/Live TV, le durcissement de l’API et des proxies, ainsi qu’une nouvelle version de l’application mobile. Lecteur, sources et Live TV - Refonte du lecteur HLS avec sélection et mémorisation de la qualité, détection des résolutions, scan des liens, choix des pistes audio et fallback contrôlé de 1080p vers 720p. - Ajoute une garde contre les boucles de changement de source, notamment lors des erreurs vidéo et des réponses 429. - Revoit SeekStreaming de bout en bout : validation des embeds, prise en charge de plusieurs candidats, regroupement par serveur, règles de headers persistantes et cache d’extraction raccourci. - Ajoute SwiftFlow pour les films et séries, avec lecteurs VF/VOSTFR, cache stale-while-revalidate, déduplication des requêtes et limite partagée côté API. - Adapte Coflix à son nouveau domaine et à son nouveau thème, ajoute un kill switch, développe les wrappers 1jour1film et actualise le domaine Wiflix. - Ajoute NorthLive et Vavoo à la Live TV, regroupe les variantes d’une même chaîne et permet de choisir le serveur ou la qualité. - Enrichit les Top 10 avec des filtres par période et par algorithme, ainsi que de nouvelles métriques de visionnage. Cast et application mobile - Unifie le contrôle Cast entre le Web Cast SDK et le pont Android : état distant, lecture, pause, seek, arrêt et reprise après reconnexion. - Ajoute sur Android un relais média LAN sécurisé, limité au Chromecast et au réseau Wi-Fi sélectionnés, avec sessions opaques et service foreground. - Prépare les sources avant diffusion et prend en charge les playlists HLS TS/fMP4, les flux progressifs, les sous-titres VTT, SeekStreaming et les segments MPEG-TS encapsulés dans des PNG. - Renforce le proxy média local : support Range, validation des redirections, liaison DNS/socket au réseau Cast et meilleure gestion des headers Fsvid. - Sécurise le bridge WebView avec contrôle de l’origine top-frame, capacités propres à chaque document et invalidation lors des navigations. - Ajoute le Picture-in-Picture Android avec lecture/pause et seek de 10 secondes depuis la fenêtre flottante. - Maintient désormais l’écran allumé uniquement pendant une lecture active. - Publie l’application Android 2.5.7, build 16, avec le nouvel APK et ses métadonnées d’intégrité. API, base de données et paiements - Remplace 13 migrations SQL isolées par un manifeste de schéma MySQL centralisé, additif et capable de détecter les divergences de structure. - Ajoute le workflow db:init avec prévisualisation, dry-run, verrou MySQL, confirmations pour les tables Wrapped et couverture de tests dédiée. - Rend configurables les limites du pool MySQL et fiabilise les advisory locks. - Revoit entièrement PayGate : références de callback séparées, nonces, validation des wallets et transactions, états monotones, déduplication des paiements et protection contre les courses ou réutilisations de txid. - Renforce l’annulation, la réconciliation et la livraison idempotente des factures VIP, avec réponses no-store sur les routes sensibles. - Distingue les JWT invalides des indisponibilités MySQL afin de renvoyer correctement 401 ou 503 sans provoquer de déconnexions inutiles. - Utilise ZZAPI/Claude Haiku pour la modération, avec OpenRouter/DeepSeek en solution de secours. - Améliore la gestion HLS et Range dans proxiesembed. Frontend, profils et infrastructure - Protège la sélection et l’hydratation des profils contre les réponses concurrentes, les intentions obsolètes et l’effacement accidentel du stockage local. - Rend VITE_SITE_URL obligatoire et l’injecte dans le runtime, les données structurées, le service worker, robots.txt et sitemap.xml. - Optimise les probes réseau du service worker avec cache court et single-flight. - Charge dynamiquement les traductions anglaises, plusieurs routes secondaires et les données Search/TMDB uniquement lorsqu’elles deviennent nécessaires. - Ajoute des caches mémoire/session pour les images et contenus TMDB et réduit les animations, calculs et rendus hors écran. - Ajoute la page publique des frais, les coins carrés persistants, une nouvelle intro Movix, les avertissements de publicités adultes et de nombreux textes Cast, qualité, Live TV et sources. - Met à jour les extensions Chrome 1.3.12 et Firefox 1.5.9, ainsi que le userscript, avec la nouvelle extraction SeekStreaming et la préparation Cast. - Ajoute une large couverture de tests Kotlin et JavaScript pour le Cast, le proxy média, le PiP, le bridge, la base de données, PayGate et le lecteur. - Ajoute bootstrap-icons et patch-package, régénère les lockfiles npm et actualise la documentation d’installation et d’initialisation MySQL. Co-authored-by: GPT-5.6 Sol <noreply@openai.com>
379 lines
13 KiB
JavaScript
379 lines
13 KiB
JavaScript
/**
|
|
* Stockage DB des clients OAuth + stats + grants VIP. Remplace le fichier
|
|
* `data/oauth-clients.json` (déprécié — migration auto au boot).
|
|
*
|
|
* Les autres modules continuent d'appeler `loadOAuthClients()` (sync) de
|
|
* `oauthClients.js`, qui lit depuis le cache pré-warmé par les fonctions
|
|
* async ci-dessous.
|
|
*/
|
|
|
|
const fs = require('fs');
|
|
const path = require('path');
|
|
const crypto = require('crypto');
|
|
const { getPool } = require('../mysqlPool');
|
|
const { redis } = require('../config/redis');
|
|
const { ensureTableGroup } = require('../db/runtimeEnsure');
|
|
|
|
const LEGACY_JSON_PATH = path.join(__dirname, '..', 'data', 'oauth-clients.json');
|
|
const ICON_DIR = path.join(__dirname, '..', 'public', 'oauth-icons');
|
|
|
|
// Cache en mémoire : refresh par invalidate() ou refresh périodique.
|
|
let memCache = {
|
|
loadedAt: 0,
|
|
clients: [],
|
|
};
|
|
|
|
const KNOWN_OAUTH_SCOPES_SET = new Set([
|
|
'profile.read',
|
|
'profile.list',
|
|
'profile.manage',
|
|
'vip.read',
|
|
'vip.manage',
|
|
'vip.grant',
|
|
'favorites.read',
|
|
'favorites.add',
|
|
'favorites.remove',
|
|
'lists.read',
|
|
'lists.create',
|
|
'lists.rename',
|
|
'lists.delete',
|
|
'lists.add-item',
|
|
'lists.remove-item',
|
|
'watchlist.read',
|
|
'watchlist.add',
|
|
'watchlist.remove',
|
|
'history.read',
|
|
'history.add',
|
|
'history.remove',
|
|
'continue-watching.read',
|
|
'alerts.read',
|
|
'alerts.manage',
|
|
'ratings.read',
|
|
'ratings.manage',
|
|
]);
|
|
|
|
/** Crée les tables si elles n'existent pas (idempotent). */
|
|
async function ensureTables() {
|
|
await ensureTableGroup(getPool(), 'oauth');
|
|
// Crée aussi le dossier oauth-icons s'il n'existe pas.
|
|
if (!fs.existsSync(ICON_DIR)) {
|
|
fs.mkdirSync(ICON_DIR, { recursive: true, mode: 0o755 });
|
|
}
|
|
}
|
|
|
|
/** Import unique du JSON legacy vers DB. Idempotent : skip si déjà importé. */
|
|
async function migrateLegacyJsonIfNeeded() {
|
|
const pool = getPool();
|
|
if (!pool) return;
|
|
if (!fs.existsSync(LEGACY_JSON_PATH)) return;
|
|
|
|
const [rows] = await pool.execute('SELECT COUNT(*) AS n FROM oauth_clients');
|
|
const existing = Number(rows[0]?.n || 0);
|
|
if (existing > 0) {
|
|
// Migration déjà faite : on archive le JSON et on continue.
|
|
try {
|
|
const archivePath = LEGACY_JSON_PATH + '.migrated';
|
|
if (!fs.existsSync(archivePath)) {
|
|
fs.renameSync(LEGACY_JSON_PATH, archivePath);
|
|
console.log('[OAuth Clients DB] Archived legacy JSON to', archivePath);
|
|
}
|
|
} catch (err) {
|
|
console.warn('[OAuth Clients DB] Could not archive legacy JSON:', err.message);
|
|
}
|
|
return;
|
|
}
|
|
|
|
try {
|
|
const content = fs.readFileSync(LEGACY_JSON_PATH, 'utf-8');
|
|
const parsed = JSON.parse(content);
|
|
if (!Array.isArray(parsed)) return;
|
|
const now = Date.now();
|
|
for (const entry of parsed) {
|
|
if (!entry || typeof entry !== 'object') continue;
|
|
const clientId = String(entry.clientId || '').trim();
|
|
const clientName = String(entry.clientName || '').trim();
|
|
if (!clientId || !clientName) continue;
|
|
const redirectUris = Array.isArray(entry.redirectUris) ? entry.redirectUris : [];
|
|
const allowedScopes = Array.isArray(entry.allowedScopes) ? entry.allowedScopes : [];
|
|
const description = entry.description ? String(entry.description) : null;
|
|
const homepageUrl = entry.homepageUrl ? String(entry.homepageUrl) : null;
|
|
const publicClient = entry.publicClient === false ? 0 : 1;
|
|
const requirePkce = entry.requirePkce === false ? 0 : 1;
|
|
const clientSecret = entry.clientSecret ? String(entry.clientSecret) : null;
|
|
await pool.execute(
|
|
`INSERT INTO oauth_clients
|
|
(client_id, client_name, description, homepage_url, redirect_uris,
|
|
allowed_scopes, public_client, require_pkce, client_secret,
|
|
is_active, created_at, updated_at)
|
|
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, 1, ?, ?)
|
|
ON DUPLICATE KEY UPDATE updated_at = VALUES(updated_at)`,
|
|
[
|
|
clientId,
|
|
clientName,
|
|
description,
|
|
homepageUrl,
|
|
JSON.stringify(redirectUris),
|
|
JSON.stringify(allowedScopes),
|
|
publicClient,
|
|
requirePkce,
|
|
clientSecret,
|
|
now,
|
|
now,
|
|
],
|
|
);
|
|
}
|
|
console.log('[OAuth Clients DB] Migrated', parsed.length, 'client(s) from JSON to MySQL');
|
|
// Archive le JSON
|
|
try {
|
|
fs.renameSync(LEGACY_JSON_PATH, LEGACY_JSON_PATH + '.migrated');
|
|
} catch {
|
|
/* ignore */
|
|
}
|
|
} catch (err) {
|
|
console.error('[OAuth Clients DB] Legacy migration failed:', err.message);
|
|
}
|
|
}
|
|
|
|
function safeParseJson(raw, fallback) {
|
|
if (typeof raw !== 'string' || !raw.trim()) {
|
|
return Array.isArray(raw) ? raw : fallback;
|
|
}
|
|
try {
|
|
return JSON.parse(raw);
|
|
} catch {
|
|
return fallback;
|
|
}
|
|
}
|
|
|
|
function rowToClient(row) {
|
|
return {
|
|
id: Number(row.id),
|
|
clientId: row.client_id,
|
|
clientName: row.client_name,
|
|
description: row.description || null,
|
|
homepageUrl: row.homepage_url || null,
|
|
redirectUris: safeParseJson(row.redirect_uris, []).filter((u) => typeof u === 'string'),
|
|
allowedScopes: safeParseJson(row.allowed_scopes, []).filter((s) => typeof s === 'string' && KNOWN_OAUTH_SCOPES_SET.has(s)),
|
|
publicClient: row.public_client === 1 || row.public_client === true,
|
|
requirePkce: row.require_pkce === 1 || row.require_pkce === true,
|
|
clientSecret: row.client_secret || null,
|
|
iconFilename: row.icon_filename || null,
|
|
vipDaysBalance: Number(row.vip_days_balance || 0),
|
|
isActive: row.is_active === 1 || row.is_active === true,
|
|
createdAt: Number(row.created_at || 0),
|
|
updatedAt: Number(row.updated_at || 0),
|
|
};
|
|
}
|
|
|
|
/** Charge tous les clients actifs depuis la DB. À appeler au boot + après chaque modif. */
|
|
async function reloadCache() {
|
|
const pool = getPool();
|
|
if (!pool) return;
|
|
const [rows] = await pool.execute('SELECT * FROM oauth_clients WHERE is_active = 1 ORDER BY id ASC');
|
|
memCache = {
|
|
loadedAt: Date.now(),
|
|
clients: rows.map(rowToClient),
|
|
};
|
|
}
|
|
|
|
function getCachedClients() {
|
|
return memCache.clients;
|
|
}
|
|
|
|
function invalidateCache() {
|
|
memCache = { loadedAt: 0, clients: [] };
|
|
}
|
|
|
|
// ─── Cross-worker cache invalidation (Redis pub/sub) ─────────────────────
|
|
// Movix runs in Node cluster mode (server.js): each worker has its own
|
|
// in-process `memCache`. A DB mutation only reloads the worker that handled
|
|
// it — other workers keep serving stale OAuth clients until they reboot.
|
|
// After every mutation we publish on a Redis channel so all workers reload.
|
|
// Without this, a redirect_uri added to a client after boot is rejected
|
|
// intermittently, depending on which worker the request is routed to.
|
|
|
|
const CLIENTS_CHANGED_CHANNEL = 'oauth:clients:changed';
|
|
let cacheSubscriber = null;
|
|
|
|
/** Notify every cluster worker that the oauth_clients table changed. */
|
|
async function publishClientsChanged() {
|
|
try {
|
|
await redis.publish(CLIENTS_CHANGED_CHANNEL, String(process.pid));
|
|
} catch (err) {
|
|
// The local reloadCache() already ran; cross-worker propagation is
|
|
// best-effort and self-heals at the next mutation or worker restart.
|
|
console.warn('[OAuth Clients DB] publishClientsChanged failed:', err.message);
|
|
}
|
|
}
|
|
|
|
/** Reload this worker's cache, then broadcast so every other worker reloads. */
|
|
async function reloadCacheAndBroadcast() {
|
|
await reloadCache();
|
|
await publishClientsChanged();
|
|
}
|
|
|
|
/**
|
|
* Start the per-worker cache subscriber. Call once per worker at boot.
|
|
* Uses a dedicated connection — in ioredis a connection in subscriber mode
|
|
* cannot run normal commands. ioredis auto-reconnects and re-subscribes.
|
|
*/
|
|
function startClientsCacheSubscriber() {
|
|
if (cacheSubscriber) return;
|
|
cacheSubscriber = redis.duplicate();
|
|
cacheSubscriber.on('error', (err) => {
|
|
console.error('[OAuth Clients DB] cache subscriber error:', err.message);
|
|
});
|
|
cacheSubscriber.on('message', (channel, message) => {
|
|
if (channel !== CLIENTS_CHANGED_CHANNEL) return;
|
|
reloadCache()
|
|
.then(() => console.log(`[OAuth Clients DB] cache reloaded (pub/sub from pid ${message})`))
|
|
.catch((err) => console.error('[OAuth Clients DB] reloadCache after pub/sub failed:', err.message));
|
|
});
|
|
cacheSubscriber.subscribe(CLIENTS_CHANGED_CHANNEL, (err) => {
|
|
if (err) {
|
|
console.error('[OAuth Clients DB] subscribe failed:', err.message);
|
|
return;
|
|
}
|
|
console.log('[OAuth Clients DB] cache subscriber ready on', CLIENTS_CHANGED_CHANNEL);
|
|
});
|
|
}
|
|
|
|
// ─── Stats helpers ───────────────────────────────────────────────────────
|
|
|
|
async function recordEvent(clientId, eventType, userId, metadata) {
|
|
const pool = getPool();
|
|
if (!pool) return;
|
|
try {
|
|
await pool.execute(
|
|
`INSERT INTO oauth_app_stats (client_id, event_type, user_id, metadata, created_at)
|
|
VALUES (?, ?, ?, ?, ?)`,
|
|
[
|
|
String(clientId),
|
|
String(eventType).slice(0, 32),
|
|
userId ? String(userId).slice(0, 160) : null,
|
|
metadata ? JSON.stringify(metadata) : null,
|
|
Date.now(),
|
|
],
|
|
);
|
|
} catch (err) {
|
|
console.warn('[OAuth stats] recordEvent failed:', err.message);
|
|
}
|
|
}
|
|
|
|
async function getStats(clientId, sinceMs) {
|
|
const pool = getPool();
|
|
if (!pool) return null;
|
|
const since = Number(sinceMs) || Date.now() - 30 * 24 * 60 * 60 * 1000;
|
|
const [byType] = await pool.execute(
|
|
`SELECT event_type, COUNT(*) AS n
|
|
FROM oauth_app_stats
|
|
WHERE client_id = ? AND created_at >= ?
|
|
GROUP BY event_type`,
|
|
[clientId, since],
|
|
);
|
|
const [byDay] = await pool.execute(
|
|
`SELECT FROM_UNIXTIME(FLOOR(created_at/1000), '%Y-%m-%d') AS day,
|
|
COUNT(*) AS n
|
|
FROM oauth_app_stats
|
|
WHERE client_id = ? AND created_at >= ?
|
|
GROUP BY day
|
|
ORDER BY day ASC`,
|
|
[clientId, since],
|
|
);
|
|
const [uniqueUsers] = await pool.execute(
|
|
`SELECT COUNT(DISTINCT user_id) AS n
|
|
FROM oauth_app_stats
|
|
WHERE client_id = ? AND created_at >= ? AND user_id IS NOT NULL`,
|
|
[clientId, since],
|
|
);
|
|
return {
|
|
sinceMs: since,
|
|
byType,
|
|
byDay,
|
|
uniqueUsers: Number(uniqueUsers[0]?.n || 0),
|
|
};
|
|
}
|
|
|
|
// ─── VIP grants helpers ──────────────────────────────────────────────────
|
|
|
|
function generateAccessKeyValue() {
|
|
// 32 chars base32-like uppercase (lisible).
|
|
return crypto.randomBytes(20).toString('hex').toUpperCase();
|
|
}
|
|
|
|
/**
|
|
* Décrémente atomiquement le balance et émet une access_key valide N jours.
|
|
* Throw si balance insuffisant.
|
|
*/
|
|
async function grantVip({ clientId, userType, userId, days }) {
|
|
if (!clientId || !userType || !userId || !Number.isInteger(days) || days <= 0 || days > 365) {
|
|
throw new Error('Paramètres grant invalides');
|
|
}
|
|
const pool = getPool();
|
|
if (!pool) throw new Error('DB indisponible');
|
|
const conn = await pool.getConnection();
|
|
try {
|
|
await conn.beginTransaction();
|
|
// Lock + check balance
|
|
const [rows] = await conn.execute(
|
|
'SELECT id, vip_days_balance FROM oauth_clients WHERE client_id = ? FOR UPDATE',
|
|
[clientId],
|
|
);
|
|
if (rows.length === 0) throw new Error('Client OAuth introuvable');
|
|
const balance = Number(rows[0].vip_days_balance || 0);
|
|
if (balance < days) {
|
|
throw new Error(`Solde VIP insuffisant : ${balance} jour(s) disponible(s), ${days} demandé(s)`);
|
|
}
|
|
// Décrément
|
|
await conn.execute(
|
|
'UPDATE oauth_clients SET vip_days_balance = vip_days_balance - ?, updated_at = ? WHERE id = ?',
|
|
[days, Date.now(), rows[0].id],
|
|
);
|
|
// Génère access_key
|
|
const keyValue = generateAccessKeyValue();
|
|
const expiresAt = new Date(Date.now() + days * 24 * 60 * 60 * 1000);
|
|
const expiresAtSql = expiresAt.toISOString().slice(0, 19).replace('T', ' ');
|
|
await conn.execute(
|
|
`INSERT INTO access_keys (key_value, active, expires_at, duree_validite)
|
|
VALUES (?, 1, ?, ?)`,
|
|
[keyValue, expiresAtSql, `${days}d`],
|
|
);
|
|
// Audit
|
|
const userIdComposite = `${userType}:${userId}`;
|
|
await conn.execute(
|
|
`INSERT INTO oauth_vip_grants
|
|
(client_id, user_id, user_type, user_id_only, days_granted,
|
|
access_key_value, expires_at, granted_at)
|
|
VALUES (?, ?, ?, ?, ?, ?, ?, ?)`,
|
|
[clientId, userIdComposite, userType, userId, days, keyValue, expiresAtSql, Date.now()],
|
|
);
|
|
await conn.commit();
|
|
return {
|
|
accessKey: keyValue,
|
|
expiresAt: expiresAt.toISOString(),
|
|
daysGranted: days,
|
|
remainingBalance: balance - days,
|
|
};
|
|
} catch (err) {
|
|
await conn.rollback();
|
|
throw err;
|
|
} finally {
|
|
conn.release();
|
|
}
|
|
}
|
|
|
|
module.exports = {
|
|
ensureTables,
|
|
migrateLegacyJsonIfNeeded,
|
|
reloadCache,
|
|
reloadCacheAndBroadcast,
|
|
publishClientsChanged,
|
|
startClientsCacheSubscriber,
|
|
getCachedClients,
|
|
invalidateCache,
|
|
recordEvent,
|
|
getStats,
|
|
grantVip,
|
|
ICON_DIR,
|
|
KNOWN_OAUTH_SCOPES_SET,
|
|
};
|