Для чего расширение csv
Редактируем CSV-файлы, чтобы не сломать данные
Продукты HFLabs в промышленных объемах обрабатывают данные: адреса, ФИО, реквизиты компаний и еще вагон всего. Естественно, тестировщики ежедневно с этими данными имеют дело: обновляют тест-кейсы, изучают результаты очистки. Часто заказчики дают «живую» базу, чтобы тестировщик настроил сервис под нее.
Первое, чему мы учим новых QA — сохранять данные в первозданном виде. Все по заветам: «Не навреди». В статье я расскажу, как аккуратно работать с CSV-файлами в Excel и Open Office. Советы помогут ничего не испортить, сохранить информацию после редактирования и в целом чувствовать себя увереннее.
Материал базовый, профессионалы совершенно точно заскучают.
Что такое CSV-файлы
Формат CSV используют, чтобы хранить таблицы в текстовых файлах. Данные очень часто упаковывают именно в таблицы, поэтому CSV-файлы очень популярны.
CSV-файл состоит из строк с данными и разделителей, которые обозначают границы столбцов
CSV расшифровывается как comma-separated values — «значения, разделенные запятыми». Но пусть название вас не обманет: разделителями столбцов в CSV-файле могут служить и точки с запятой, и знаки табуляции. Это все равно будет CSV-файл.
У CSV куча плюсов перед тем же форматом Excel: текстовые файлы просты как пуговица, открываются быстро, читаются на любом устройстве и в любой среде без дополнительных инструментов.
Из-за своих преимуществ CSV — сверхпопулярный формат обмена данными, хотя ему уже лет 40. CSV используют прикладные промышленные программы, в него выгружают данные из баз.
Одна беда — текстового редактора для работы с CSV мало. Еще ничего, если таблица простая: в первом поле ID одной длины, во втором дата одного формата, а в третьем какой-нибудь адрес. Но когда поля разной длины и их больше трех, начинаются мучения.
Следить за разделителями и столбцами — глаза сломаешь
Еще хуже с анализом данных — попробуй «Блокнотом» хотя бы сложить все числа в столбце. Я уж не говорю о красивых графиках.
Поэтому CSV-файлы анализируют и редактируют в Excel и аналогах: Open Office, LibreOffice и прочих.
Ветеранам, которые все же дочитали: ребята, мы знаем об анализе непосредственно в БД c помощью SQL, знаем о Tableau и Talend Open Studio. Это статья для начинающих, а на базовом уровне и небольшом объеме данных Excel с аналогами хватает.
Как Excel портит данные: из классики
Все бы ничего, но Excel, едва открыв CSV-файл, начинает свои лукавые выкрутасы. Он без спроса меняет данные так, что те приходят в негодность. Причем делает это совершенно незаметно. Из-за этого в свое время мы схватили ворох проблем.
Большинство казусов связано с тем, что программа без спроса преобразует строки с набором цифр в числа.
Округляет. Например, в исходной ячейке два телефона хранятся через запятую без пробелов: «5235834,5235835». Что сделает Excel? Лихо превратит номера́ в одно число и округлит до двух цифр после запятой: «5235834,52». Так мы потеряем второй телефон.
Приводит к экспоненциальной форме. Excel заботливо преобразует «123456789012345» в число «1,2E+15». Исходное значение потеряем напрочь.
Проблема актуальна для длинных, символов по пятнадцать, цифровых строк. Например, КЛАДР-кодов (это такой государственный идентификатор адресного объекта: го́рода, у́лицы, до́ма).
Удаляет лидирующие плюсы. Excel считает, что плюс в начале строки с цифрами — совершенно лишний символ. Мол, и так ясно, что число положительное, коль перед ним не стоит минус. Поэтому лидирующий плюс в номере «+74955235834» будет отброшен за ненадобностью — получится «74955235834». (В реальности номер пострадает еще сильнее, но для наглядности обойдусь плюсом).
Потеря плюса критична, например, если данные пойдут в стороннюю систему, а та при импорте жестко проверяет формат.
Разбивает по три цифры. Цифровую строку длиннее трех символов Excel, добрая душа, аккуратно разберет. Например, «8 495 5235834» превратит в «84 955 235 834».
Форматирование важно как минимум для телефонных номеров: пробелы отделяют коды страны и города от остального номера и друг от друга. Excel запросто нарушает правильное членение телефона.
Удаляет лидирующие нули. Строку «00523446» Excel превратит в «523446».
А в ИНН, например, первые две цифры — это код региона. Для Республики Алтай он начинается с нуля — «04». Без нуля смысл номера исказится, а проверку формата ИНН вообще не пройдет.
Меняет даты под локальные настройки. Excel с удовольствием исправит номер дома «1/2» на «01.фев». Потому что Windows подсказал, что в таком виде вам удобнее считывать даты.
Побеждаем порчу данных правильным импортом
Если серьезно, в бедах виноват не Excel целиком, а неочевидный способ импорта данных в программу.
По умолчанию Excel применяет к данным в загруженном CSV-файле тип «General» — общий. Из-за него программа распознает цифровые строки как числа. Такой порядок можно победить, используя встроенный инструмент импорта.
Запускаю встроенный в Excel механизм импорта. В меню это «Data → Get External Data → From Text».
Выбираю CSV-файл с данными, открывается диалог. В диалоге кликаю на тип файла Delimited (с разделителями). Кодировка — та, что в файле, обычно определяется автоматом. Если первая строка файла — шапка, отмечаю «My Data Has Headers».
Перехожу ко второму шагу диалога. Выбираю разделитель полей (обычно это точка с запятой — semicolon). Отключаю «Treat consecutive delimiters as one», а «Text qualifier» выставляю в «
На третьем шаге выбираю формат полей, ради него все и затевалось. Для всех столбцов выставляю тип «Text». Кстати, если кликнуть на первую колонку, зажать шифт и кликнуть на последнюю, выделятся сразу все столбцы. Удобно.
Дальше Excel спросит, куда вставлять данные из CSV — можно просто нажать «OK», и данные появятся в открытом листе.
Перед импортом придется создать в Excel новый workbook
Но! Если я планирую добавлять данные в CSV через Excel, придется сделать еще кое-что.
После импорта нужно принудительно привести все-все ячейки на листе к формату «Text». Иначе новые поля приобретут все тот же тип «General».
После этого, если повезет, Excel оставит исходные данные в покое. Но это не самая твердая гарантия, поэтому мы после сохранения обязательно проверяем файл через текстовый просмотрщик.
Альтернатива: Open Office Calc
Для работы с CSV-файлами я использую именно Calc. Он не то чтобы совсем не считает цифровые данные строками, но хотя бы не применяет к ним переформатирование в соответствии с региональными настройками Windows. Да и импорт попроще.
Конечно, понадобится пакет Open Office (OO). При установке он предложит переназначить на себя файлы MS Office. Не рекомендую: хоть OO достаточно функционален, он не до конца понимает хитрое микрософтовское форматирование документов.
А вот назначить OO программой по умолчанию для CSV-файлов — вполне разумно. Сделать это можно после установки пакета.
Итак, запускаем импорт данных из CSV. После двойного клика на файле Open Office показывает диалог.
Заметьте, в OO не нужно создавать новый воркбук и принудительно запускать импорт, все само
Помимо Calc у нас в HFLabs популярен libreOffice, особенно под «Линуксом». И то, и другое для CSV применяют активнее, чем Excel.
Белая пустошь, раскинувшаяся посередине, в оригинальном CSV-файле богато заполнена данными
Поэтому после сохранения я еще раз открываю файл и убеждаюсь, что данные на месте.
После пересохранения обязательно еще раз проверяю, что все данные на месте и нет лишних пустых строк.
Если интересно работать с данными, посмотрите на наши вакансии. HFLabs почти всегда нужны аналитики, тестировщики, инженеры по внедрению, разработчики. Данными обеспечим так, что мало не покажется 🙂
Файл формата CSV: чем открыть, описание, особенности
Расширение CSV представляет текстовый вариант электронных таблиц. В статье расскажем об особенностях.
Расширение CSV представляет текстовый вариант электронных таблиц. В статье расскажем об особенностях формата и о том, чем открыть CSV файл на компьютере и смартфоне.
Общее описание формата CSV
Формат, заменяющий таблицы, появился еще в 70-х годах. В документе формата CSV строка файла заменяет строку таблицы. В оригинальной сборке формата разделителем выступает запятая, но в различных ридерах используются символы : ; / \. При этом знаки препинания употребляются в кавычках. Табличные ячейки разделяются последовательностью ASCII.
Определенного стандарта формата не существует. Это означает, что в файлах, которые импортируются в приложения, есть тонкие различия. Эти различия нарушают обработку файлов CSV из нескольких источников.
Как и чем открыть файл CSV расширения
Далее рассмотрим, чем открыть CSV формат. Это делается через онлайн-ресурсы, Android-приложения и компьютерный софт.
Просмотр формата CSV онлайн
Обзор ридеров для размера CSV начнем с онлайн-ресурсов. Чтобы открыть CSV онлайн, зайдите на сайт Convert Csv. Далее ваши действия таковы:
Таблица воспроизведется на сайте в текстовом формате или как таблица Excel.
Второй способ открыть расширение CSV онлайн – сервис Google Таблицы.
Открываем файл CSV на компьютере
Рассказываем, чем открыть CSV на компьютере, кроме штатного Microsoft Office Excel.
Подойдет программа CSVed для просмотра и редактуры файлов CSV. Она поддерживает разные символы разделителей. Добавляйте или удаляйте текстовые элементы и ячейки, экспортируйте файл в форматы HTML, Excel, Word, XML. Делайте поиск по тексту, связывайте колонки.
Утилита не поддерживает русский язык, но это не мешает работе. Функции разбиты по разделам, что облегчает управление файлами.
Как открыть формат CSV в Еxcel
Открыть формат CSV напрямую в Еxcel достаточно просто.
Открываем расширение CSV на Android
Бесплатный вьювер CSV Viewer работает с форматом CSV на устройствах Android. Утилита поддерживает несколько типов разделителей (запятая, точка с запятой, пробел, табуляция), переключение между страницами нажатием на экран. Приложение видит файлы на флешке и загружает из облака.
Какие проблемы встречаются с CSV-файлом
Чтобы расширение CSV корректно открывалось в программах, укажите для файла опцию QUOTE NONNUMERIC. Тогда поля без кавычек трансформируются в числа с точкой.
Если при импорте файла программа выдает ошибку, проверьте кодировку UTF-8. Установите один формат разделителей при загрузке файла в программу. Если из открытого файла пропали цифры, запятые, кавычки, попробуйте открыть заново через функцию «Создать» и «Текстовый документ» (Блокнот).
Предварительно создайте новый документ exl. Загрузите файл в архиватор 7 zip или другой.
CSV формат файла: инструкция по работе с расширением
CSV (не путать с CVS) — это формат для представления прямоугольного массива (матрицы) числовых и текстовых значений. Это пример формата «плоского файла».
Общее описание формата csv
Поля, содержащие специальный символ (запятая, CR, LF или двойные кавычки), «экранированы», путем заключения в двойные кавычки (Hex 22). Необязательная строка заголовка отображается как первая строка документа в том же формате, что и обычные строки записи. Этот заголовок будет содержать имена, соответствующие полям в документе, и должен содержать то же количество полей, что и записи в остальной части документа.
CSV использует US-ASCII в качестве набора символов, но разрешены другие наборы символов. Иногда файл CVS и CSV путают.
Важная информация о редактировании файлов csv
Как структурированы csv файлы
Шаблоны CSV или файлы данных можно загрузить по ссылкам в верхней части инструмента «Загрузить данные». Первая строка шаблона или файла данных содержит заголовки столбцов. Каждая последующая строка соответствует записи в базе данных. Когда загружается шаблон CSV, он содержит только заголовки столбцов. Поскольку шаблоны используются для добавления новых записей, новые строки будут добавляться для каждой записи.
Когда документ данных CSV загружается, первая строка содержит заголовок столбца, а последующие строки содержат записи данных, которые уже существуют в базе данных. Записи в этих строках можно редактировать или удалять.
В документе CSV каждая строка содержит упорядоченную последовательность заголовков столбцов или значений, разделенных запятыми. Запятые используются для сохранения файловой структуры. Каждая запятая в первой строке (которая содержит заголовки столбцов) разделяет заголовок столбца и место в упорядоченной последовательности столбцов.
Запятые в последующих строках также поддерживают последовательность упорядоченных столбцов, поэтому первое значение в каждой последующей строке представляет значение в первом столбце, второе значение в каждой последующей строке представляет значение во втором столбце и так далее. В отличие от стандартной пунктуации предложений, после запятой не ставится пробел.
Большинство значений заключено в двойные кавычки. Исключением является односимвольное значение, например 1 или 0 (ноль). Заключение значения в двойные кавычки позволяет использовать в поле сложные значения, например, содержащие запятые, без нарушения структуры документа. Например, поле, содержащее ряд элементов, например избранные цвета, может иметь такое значение:
“красный, зеленый и синий”
Вы не будете знать об этих цитатах при просмотре файла данных в приложении для работы с электронными таблицами, но они появляются, когда file просматривается в текстовом редакторе.
Как и чем открыть файл csv расширения
Формат CSV, или значения, разделенные запятыми, это общий формат для хранения и передачи контента, включая контакты, календарные встречи и статистические данные. Excel по умолчанию читает файлы CSV, но в большинстве случаев, когда открывается таблица CSV в Excel, видно только зашифрованные данные, которые невозможно прочитать.
В инструкции ниже показано, как легко правильно открывать файлы CSV в Excel и просматривать их без необходимости конвертации чего-либо.
Программы для работы с CSV
Файл CSV можно открыть в любой программе, однако для большинства пользователей CSV формат лучше всего просматривать в программе для работы с электронными таблицами, например в Microsoft Excel, OpenOffice Calc или Google Docs.
Microsoft excel
Microsoft Excel — полезная программа для анализа данных и документации. Это программа для работы с электронными таблицами, которая содержит ряд столбцов и строк, где каждое пересечение столбца и строки является «ячейкой». Каждая ячейка содержит одну точку данных или одну часть информации. Организуя хранение данных таким образом, вы упростите поиск информации и получите возможность автоматически извлекать информацию из изменяющихся данных.
Открытие csv сразу с разделением столбцов в эксель
Вы можете либо щелкнуть файл правой кнопкой мыши и открыть его в Excel, либо перейти к файлу из Excel и открыть его напрямую.
После открытия использовуйте пункт меню «Данные → текст в столбцы» для преобразования. Выберите «по разделителю» в поле выбора и используйте запятую в качестве единственного разделителя убедитесь, что это единственный отмеченный пункт.
Ручной метод превращения таблицы эксель в CSV файл
Libreoffice calc
LibreOffice — это бесплатный полнофункциональный пакет офисных приложений. Его родным файловым форматом является Open Document Format (ODF), открытый стандартный формат, который принимается правительствами во всем мире в качестве необходимого формата файлов для публикации и приема документов. LibreOffice также может открывать и сохранять документы во многих других форматах, включая те, которые используются в нескольких версиях Microsoft Office, в том числе и CSV.
Openoffice calc
Apache OpenOffice — это офисный программный пакет с открытым исходным кодом для обработки текстов, электронных таблиц, презентаций, графики, баз данных и многого другого. Он доступен на многих языках и работает на всех распространенных компьютерах. Он хранит все ваши данные в международном формате открытого стандарта, а также может читать и записывать файлы из других распространенных пакетов офисного программного обеспечения. Его можно скачать и использовать совершенно бесплатно для любых целей.
Блокнот
Блокнот — это универсальный текстовый редактор, включенный во все версии Microsoft Windows, который позволяет создавать, открывать и читать файлы с открытым текстом. Если файл содержит специальное форматирование или не является файлом с открытым текстом, его нельзя прочитать в Блокноте.
Notepad++
Notepad ++ — это бесплатный текстовый редактор для Microsoft Windows, который предоставляет дополнительные функции, которых нет в стандартном текстовом редакторе Windows, Блокноте. Впервые он был выпущен 24 ноября 2003 года разработчиком Дэном Хо и все еще находится в активной разработке.
Notepad ++ специально разработан для редактирования исходного кода. «++» в названии — это ссылка на оператор в таких языках программирования, как C, C ++, Java и JavaScript.
Safari
Safari — это интернет-браузер, который был впервые представлен 30 июня 2003 года и поддерживается на операционных системах Apple MacOS X и IOS.
Microsoft outlook
Microsoft Outlook — это приложение для управления электронной почтой и задачами, которое доступно в большинстве версий Microsoft Office. Впервые он был выпущен с Exchange Server 5.5 как связанная программа, а затем интегрирован в качестве основного приложения с пакетом Microsoft Office 97 и последующими версиями.
Просмотр формата csv онлайн
Для того, чтобы открыть CSV формат на компьютере без установки сторонних программ, можно использовать онлайн-сервисы. Вот список самых распространенных из них:
Открываем расширение csv на android
Для того, чтобы открыть расширение CSV формата на смартфоне под управлением Android, необходимо найти в Play Market подходящую программу, поддерживающую этот формат. Вот список самых распространенных из них:
Решение проблем с файлами csv
Проблема 1: Сталкиваюсь с ошибками преобразования набора символов.
Используйте программу uconv для устранения ошибок при преобразовании набора символов.
Iconv входит в состав большинства дистрибутивов ОС UNIX, а uconv – нет. iconv ограничен памятью. uconv намного лучше подходит для работы с большими файлами. Используйте app-get или другой менеджер пакетов UNIX, чтобы получить uconv, если его нет. Затем введите команду:
uconv –from-code ISO_8859-1 –to-code UTF8
Проблема 2: Что делают эти посторонние управляющие символы?
Иногда файл выглядит нормально, но не загружается. Он может содержать непечатаемые символы ASCII, которые обычно не используются в файлах CSV. Их бывает сложно отследить. Может возникнуть эта проблема, если вы получаете необычные сообщения об ошибках при попытке загрузить файл и не можете отследить причину ошибки.
Используйте эту команду Perl, чтобы удалить эти символы, пропустив через нее файл:
Проблема 3: Не знаю, как обращаться со значениями NULL.
Обратите внимание, что у Postgres есть некоторые проблемы с импортом этих типов файлов, если они содержат значения NULL. Postgres не позволит указать значение NULL как пустую строку (,,). Обычно это хороший способ представления NULL, но он не будет правильно импортирован как NULL в Postgres.Необходимо использовать явный указатель NULL, например \ N, поэтому, если вас действительно волнуют значения NULL, вы должны использовать \ N.
Что такое CSV файл и для чего нужен в Интернет-магазине?
Если у вас уже солидная база клиентов, база заказов и соответственно детальные описания продуктов, которые вы продаете, то рано или поздно перед вами встанет проблема обмена и сбережения информации.
Возможные проблемы для рабочего Интернет-магазина:
По ходу работы Интернет магазина возникают новые и дополнительные вопросы.
Все эти вопросы, возможно решать, даже если у вас нет возможности изменить логику представления данных или программировать скрипты Интернет магазина.
Вы можете спросить меня – как это?
Рекомендую использовать универсальный формат данных, экспортируя и импортируя информацию через CSV файл.
Что такое csv файл?
Это текстовый файл, в котором содержится информация, а поля разделяются специальными символами – разделителями.
Поэтому и он называется Comma Separated Values – значения, разделённые запятыми.
Вообще-то в США эти файлы разделяются действительно запятыми, в странах СНГ основным разделителем есть точка с запятой, то есть ;
Хотя Вы можете выбрать себе другой уникальный разделитель.
Как выбрать себе уникальный разделитель – я отпишу ниже. Конечно, тут есть еще нюансы.
Этот же csv-файл может быть полезен для операций прайс-листами онлайн магазина.
Думаю, более удобнее будет для вас показать полезность csv формата на реальных примерах.
Для примера я возьму демонстрационную версию Интернет-магазина.
Предположим мне нужно экспортировать все продукты Интернет-магазина для редактирования или для ознакомления.
Экспортируем данные в csv файл и сохраняем на свой ПК.
Вы видите, что браузер сам определил, что файл формата csv может быть отрыт программой Microsoft Excel.
Хорошая новость, что вам не нужен еще дополнительный инструмент для работы с файлом CSV.
Чтобы открыть файл вам достаточно даже простой Блокнот или другая программа, которая может читать тексты.
А для автоматического преобразования данных в файле подойдет Excel или подобная программа. Например, бесплатный пакет LibreOffice.
Обычно, первая строка файла – это список полей, для которых делается экспорт.
Вы можете потом удалить их, чтобы они не нарушили ваши данные.
Следующие данные разбиты по строкам, причем поля отделяются разделителем – то есть специальным символом. В нашем варианте это точка с запятой.
Некоторые клиенты забывают про специальный разделитель и “попадаются” на этой детали.
Если у вас в описании товара используются такие символы, попробуйте поставить другой разделитель, который точно не будет использоваться в описании товаров. Например: * или # или другой символ.
Чтобы открыть файл, просто запустите его в Excel
Возможные проблемы в таких типах файлов могут возникать в ценах (точка и запятая) для разделения цифр.
Эти моменты решаются простой функцией авто-замены значений полей.
Теперь, мы получили нужный файл, внесли в нем изменения. Например, поменяли цены для всех товаров на 20 % и хотим закачать его обратно в магазин.
Как автоматически менять цены на прайс – я описывал в свой статье.
Как это сделать – очень просто!
Большинство Интернет-магазинов или больших и серьезных программ используют промежуточный файл сохранения данных – то есть CSV файлы.
Будь это 1С Бухгалтерия или Интернет-магазин.
Как закачать прайс или описание товаров в магазин?
На примере я покажу, как можно импортировать данные в файле csv в Интернет-магазин.
Выбираете файл, укажите поля, которые нужно подключить в магазин и нажмите кнопку запуска. Вот и все.
Поэтому, когда у меня спрашивают, как сделать обмен данными – я всегда предлагаю клиентам попробовать csv файл.
Этот универсальный файл поможет вам во много раз ускорить все процессы управления Интернет-магазином и его наполнение контентом.
Что еще почитать про экспорт – импорт файлов?