User:Dart Raiden/Дублирующиеся строки - Revision history

RMN: formatting

2015-12-30T18:11:35Z

formatting

← Older revision		Revision as of 21:11, 30 December 2015
Line 9:		Line 9:
	Содержимое smf_sortcleaner.bat:		Содержимое smf_sortcleaner.bat:

	<~~nowiki~~>/*~~</nowiki><br>~~		<pre style="overflow:auto;">
	@echo off && cls~~<br>~~		/*
	%WinDir%\Microsoft.NET\Framework\v2.0.50727\csc.exe /nologo /out:"%~0.exe" %0~~<br>~~		@echo off && cls
	"%~0.exe" %1~~<br>~~		%WinDir%\Microsoft.NET\Framework\v2.0.50727\csc.exe /nologo /out:"%~0.exe" %0
	del "%~0.exe"~~<br>~~		"%~0.exe" %1
	exit~~<br>~~		del "%~0.exe"
	~~<nowiki>~~*/~~</nowiki>~~		exit
			*/

	using System;~~<br>~~		using System;
	using System.Collections.Generic;~~<br>~~		using System.Collections.Generic;
	using System.IO;~~<br>~~		using System.IO;
	using System.Text;~~<br>~~		using System.Text;

	namespace spicemustflow_sortcleaner~~<br>~~		namespace spicemustflow_sortcleaner
	{~~<br>~~		{
	class Program~~<br>~~		class Program
	{~~<br>~~		{
	static string GetFilename(string nameWithoutExtension, bool uniq)~~<br>~~		static string GetFilename(string nameWithoutExtension, bool uniq)
	{~~<br>~~		{
	int n = 1;~~<br>~~		int n = 1;
	string outputFile = string.Empty;~~<br>~~		string outputFile = string.Empty;
	while (true)~~<br>~~		while (true)
	{~~<br>~~		{
	outputFile = string.Format("{0}_{1}{2}.txt",~~<br>~~		outputFile = string.Format("{0}_{1}{2}.txt",
	nameWithoutExtension, uniq ? "uniques" : "duplicates",~~<br>~~		nameWithoutExtension, uniq ? "uniques" : "duplicates",
	n > 1 ? n.ToString() : string.Empty);~~<br>~~		n > 1 ? n.ToString() : string.Empty);
	if (File.Exists(outputFile)) n++;~~<br>~~		if (File.Exists(outputFile)) n++;
	else break;~~<br>~~		else break;
	}~~<br>~~		}
	return outputFile;~~<br>~~		return outputFile;
	}~~<br>~~		}

	static void Main(string[] args)~~<br>~~		static void Main(string[] args)
	{~~<br>~~		{
	string path = Path.GetDirectoryName(System.Reflection.Assembly.GetExecutingAssembly().Location) + "\\";~~<br>~~		string path = Path.GetDirectoryName(System.Reflection.Assembly.GetExecutingAssembly().Location) + "\\";
	string[] filelist = null;~~<br>~~		string[] filelist = null;
	if (args.Length == 0) filelist = Directory.GetFiles(path, "*.txt", SearchOption.TopDirectoryOnly);~~<br>~~		if (args.Length == 0) filelist = Directory.GetFiles(path, "*.txt", SearchOption.TopDirectoryOnly);
	else filelist = args;~~<br>~~		else filelist = args;

	foreach (string filename in filelist)~~<br>~~		foreach (string filename in filelist)
	{~~<br>~~		{
	Encoding enc = Encoding.Default;~~<br>~~		Encoding enc = Encoding.Default;
	using (FileStream fs = File.OpenRead(filename))~~<br>~~		using (FileStream fs = File.OpenRead(filename))
	{~~<br>~~		{
	byte[] data = new byte[3];~~<br>~~		byte[] data = new byte[3];
	while (fs.Read(data, 0, data.Length) > 0)~~<br>~~		while (fs.Read(data, 0, data.Length) > 0)
	if (data[0] == 0xef && data[1] == 0xbb && data[2] == 0xbf)~~<br>~~		if (data[0] == 0xef && data[1] == 0xbb && data[2] == 0xbf)
	{~~<br>~~		{
	enc = Encoding.UTF8;~~<br>~~		enc = Encoding.UTF8;
	break;~~<br>~~		break;
	}~~<br>~~		}
	else~~<br>~~		else
	{~~<br>~~		{
	enc = Encoding.GetEncoding(1251);~~<br>~~		enc = Encoding.GetEncoding(1251);
	break;~~<br>~~		break;
	}~~<br>~~		}
	}~~<br>~~		}

	Console.Write("loading {0}..\n", filename);~~<br>~~		Console.Write("loading {0}..\n", filename);
	string[] input = File.ReadAllLines(filename, enc);~~<br>~~		string[] input = File.ReadAllLines(filename, enc);
	if (input.Length > 0)~~<br>~~		if (input.Length > 0)
	{~~<br>~~		{
	Console.Write("sorting..\n");~~<br>~~		Console.Write("sorting..\n");
	Array.Sort(input);~~<br>~~		Array.Sort(input);
	List<string> uniques = new List<string>();~~<br>~~		List<string> uniques = new List<string>();
	List<string> duplicates = new List<string>();~~<br>~~		List<string> duplicates = new List<string>();
	Console.Write("deleting duplicates..\n");~~<br>~~		Console.Write("deleting duplicates..\n");
	uniques.Add(input[0]);~~<br>~~		uniques.Add(input[0]);
	for (int i = 1; i < input.Length; i++)~~<br>~~		for (int i = 1; i < input.Length; i++)
	if (input[i] != input[i - 1])~~<br>~~		if (input[i] != input[i - 1])
	uniques.Add(input[i]);~~<br>~~		uniques.Add(input[i]);
	else~~<br>~~		else
	duplicates.Add(input[i]);~~<br>~~		duplicates.Add(input[i]);

	Console.Write("\nsaving..\n");~~<br>~~		Console.Write("\nsaving..\n");
	File.WriteAllLines(path + GetFilename(Path.GetFileNameWithoutExtension(filename), false), duplicates.ToArray(), enc);~~<br>~~		File.WriteAllLines(path + GetFilename(Path.GetFileNameWithoutExtension(filename), false), duplicates.ToArray(), enc);
	Console.Write("\n\n");~~<br>~~		Console.Write("\n\n");
	}~~<br>~~		}
	}~~<br>~~		}
	}~~<br>~~		}
	}~~<br>~~		}
	}		}
			</pre>

Dart Raiden at 23:25, 21 June 2014

2014-06-21T23:25:28Z

Show changes

Dart Raiden at 23:05, 21 June 2014

2014-06-21T23:05:49Z

@@ Line 1: / Line 1: @@
 В пределах перевода ''конкретного плагина'' исходные (англоязычные) строки дублироваться не должны. В этом случае Миранда будет использовать первый встреченный вариант перевода.
-Для нахождения дублирующихся строк можно воспользоваться [https://www.dropbox.com/s/j8swrmrgqju2bwy/smf_sortcleaner.bat пакетным файлом], взятым с http://metaspamer.blogspot.ru/2011/12/programma-dlia-udaleniia-odinakovykh.html и немного измененным под наши нужды.
+Для нахождения дублирующихся строк можно воспользоваться пакетным файлом (.bat), взятым с http://metaspamer.blogspot.ru/2011/12/programma-dlia-udaleniia-odinakovykh.html и немного измененным под наши нужды.
 Необходимо передать батнику файл аргументом (берем свой текстовый файл и перетаскивам его мышкой на smf_sortcleaner.bat в проводнике Windows), все остальное он сам сделает и создаст в папке с собой файл, содержаший дублирующиеся строки. А если запустить без аргументов, то он обработает все .txt в папке с собой.
 Требует для работы .NET Framework не ниже 2 версии.
 После этого удобно пройтись поиском по полученным файлам и отыскать все строки, содержащие символ "[". Это и будут искомые "лишние" строки, присутствие которых в ленгпаке бессмысленно.

Dart Raiden: Created page with "В пределах перевода ''конкретного плагина'' исходные (англоязычные) строки дублироваться не дол..."

2013-11-03T17:12:59Z

Created page with "В пределах перевода ''конкретного плагина'' исходные (англоязычные) строки дублироваться не дол..."

New page

В пределах перевода ''конкретного плагина'' исходные (англоязычные) строки дублироваться не должны. В этом случае Миранда будет использовать первый встреченный вариант перевода.

Для нахождения дублирующихся строк можно воспользоваться [https://www.dropbox.com/s/j8swrmrgqju2bwy/smf_sortcleaner.bat пакетным файлом], взятым с http://metaspamer.blogspot.ru/2011/12/programma-dlia-udaleniia-odinakovykh.html и немного измененным под наши нужды.
Необходимо передать батнику файл аргументом (берем свой текстовый файл и перетаскивам его мышкой на smf_sortcleaner.bat в проводнике Windows), все остальное он сам сделает и создаст в папке с собой файл, содержаший дублирующиеся строки. А если запустить без аргументов, то он обработает все .txt в папке с собой.
Требует для работы .NET Framework не ниже 2 версии.
После этого удобно пройтись поиском по полученным файлам и отыскать все строки, содержащие символ "[". Это и будут искомые "лишние" строки, присутствие которых в ленгпаке бессмысленно.