viernes, 24 de julio de 2015

Migrar MySQL 5.1 a 5.5

Cuando vamos a migrar MySQL a otra versión tenemos que tomar en cuenta los cambios de sintaxis, variables que son descontinuadas y configuraciones que cambian.

Algunos puntos importantes al migrar de MySQL 5.1 a 5.5 son los siguientes:

= [v5.5.32] En las tablas de sistema, los campos "url" se crean tipo Text, pero en la migración no se cambian, se tiene que hacer a pie:

ALTER TABLE mysql.help_category MODIFY url TEXT NOT NULL;
ALTER TABLE mysql.help_topic MODIFY url TEXT NOT NULL;


= [v5.5.3] No se permite "FLUSH TABLES", cuando existe un bloqueo de tabla activo. Para esto se tiene que ejecutar:

FLUSH TABLES tbl_list WITH READ LOCK

Esto permite que se pueda hacer flush a la tabla y bloquearse al mismo tiempo. Por lo tanto aplicaciones que usen esto:

LOCK TABLES tbl_list READ;
FLUSH TABLES tbl_list;

fallaran.

= [v5.5.7] Nueva tabla proxies_priv, marcara error de que no existe,

"Table 'mysql.proxies_priv' doesn't exist"

cuando se inicie mysql se le tendrá que usar "--skip-grant-tables" y después se correrá mysql_upgrade. ejemplo:

shell> mysqld --skip-grant-tables &
shell> mysql_upgrade

Tendremos que detener y reiniciar el servicio mysql.

Si requerieramos de opciones adicionales, como seleccionar el archivo de configuración personalizado o por default:

shell> mysqld --defaults-file=/usr/local/mysql/etc/my.cnf
         --skip-grant-tables &
shell> mysql_upgrade

Tener cuidado por que con el parámetro "--skip-grant-tables" cualquiera podrá entrar al servidor, para seguridad adicional
agregar "--skip-networking" para que usuarios remotos se conecten.

= [v5.5.7] No se permite mas "TRUNCATE TABLE", devolverá error, se tiene que cambiar a DELETE FROM, la técnica de borrado
es un DROP Y CREATE.

= [v5.5.6] Por problemas en la replicación, cuando se guarda en el binario para ser replicado, cuando se hace uso de la sentencia
CREATE TABLE IF NOT EXISTS ... SELECT, cuando la tabla que se va a crear si existe manda un mensaje de error y en el servidor
"master" si se insertan los registros pero en el servidor "slave" no. Es decir:
- Si la tabla no existe, se guarda en el  log tal cual.
- Si la tabla existe,

= [v5.5.6] Si truena cuando inicia el full-text stopword, se debe reparar la tabla:
REPAIR TABLE tbl_name QUICK;

= [v5.5.5] Existe la manera de activar que nos envie un error (ER_DATA_OUT_OF_RANGE), cuando se quiera insertar un valor fuera de rango,
o que en su defecto le ponga el valor máximo de dicho numero. Variable global @@sql_mode , valores numéricos.

= Revisar los campos timestamp ya no permiten el campo "n" timestamp(n).
- Para corregirlo, en el archivo dump, se debe quitar el parametro (n)
- Antes de respaldar la base de datos, alterar dichas columnas.

= El parámetro "--languages" se remplazo por las variables del sistema: "lc_messages_dir" y "lc_messages".

= Las tablas particionadas se deben de alterar

Actualizar primero los espejos:

Detenemos la replicación en todos los espejos y los actualizamos. Los reiniciamos con la opción "--skip-slave-start", para que no se conecten al servidor maestro.

De esta manera se podra reparar cualquier tabla con los comandos:
REPAIR TABLE or ALTER TABLE
Desahabilitar el log binario en el maestro.

 SET sql_log_bin = 0
 También se puede hacer reiniciado el master, y configurando la opción de "--log-bin", en el my.cnf, aprovechando esto, pudieras desahabilitar la conexión de los clientes TCP/IP,  con la opción "--skip-networking".

De esta manera no se replicaran las optimizaciones o reparaciones que se hagan en los objetos de la base de datos y no se replicarían.

Finalmente regresaremos las configuraciones a su estado original, para comenzar a ponerlo nuevamente a replicarse.

Si usamos anteriormente  set sql_log_bin a 0, se ejecuta SET sql_log_bin = 1.

Si usamos el otro método solo reiniciamos el esclavo, sin la opción "--skip-slave-start".


service mysqld stop
wget http://dev.mysql.com/get/mysql-community-release-el6-5.noarch.rpm
rpm --force -Uvh mysql-community-release-el6-5.noarch.rpm
rm mysql-community-release-el6-5.noarch.rpm

yum install --disablerepo=* --enablerepo=mysql55-community mysql-community-server
chkconfig mysqld on
service mysqld start
mysql_upgrade




lunes, 20 de julio de 2015

Actualizar versión MySQL

Para actualizar la versión de MySQL


1. Habilitar el repositorio donde se encuentra la versión de MySQL
yum --enablerepo=remi,remi-test install mysql mysql-server
2. Si tenemos un monitoreo, hay que deshabilitarlo (como lo es Nagios).

3. Desinstalar los paquetes de MySQL ya instalados:
yum remove MySQL-client-community.x86_64
yum remove MySQL-community-debuginfo.x86_64
yum remove MySQL-devel-community.x86_64
yum remove MySQL-embedded-community.x86_64
yum remove MySQL-server-community.x86_64
yum remove MySQL-shared-community.x86_64
yum remove MySQL-shared-compat.x86_64
yum remove MySQL-test-community.x86_64

4. Instalar los paquetes con la nueva versión.
rpm -UK MySQL-client-5.5.41-1.linux2.6.x86_64.rpm
rpm -UK MySQL-devel-5.5.41-1.linux2.6.x86_64.rpm
rpm -UK MySQL-embedded-5.5.41-1.linux2.6.x86_64.rpm
rpm -UK MySQL-server-5.5.41-1.linux2.6.x86_64.rpm
rpm -UK MySQL-shared-5.5.41-1.linux2.6.x86_64.rpm
rpm -UK MySQL-shared-compat-5.5.41-1.linux2.6.x86_64.rpm
rpm -UK MySQL-test-5.5.41-1.linux2.6.x86_64.rpm
5. Reiniciar el servicio mysql.

6. Ejecutar el comando mysql_upgrade, para actualizar las tablas que son de sesión.

mysql_upgrade -u root -p
Las base de datos que ya estaban instaladas se pondrán en linea nuevamente, ya que no se elimina las base de datos de usuario.


Nota. Revisar que librerías que tenían dependencias se eliminaron como lo es el maatkit, o cualquier otra utilería.

jueves, 18 de junio de 2015

Configurar replicación Master-Master #MySQL

Configurando la replicación de master a master.

La replicación es un proceso de pasar la información de una base de datos de un servidor y se copia a otra base de datos a un segundo servidor.

Normalmente configuramos la replicación en espejo (master-slave), para tener un plan de contingencia ante una eventualidad donde podamos poner un servidor esclavo(slave) como master(maestro).

¿Para qué?

  • Permitir la escalibilidad de las aplicaciones.
  • Distribuir las cargas en dos servidores.
  • Redundancia e incrementar la eficiencia.


PASO 1: Instalar y configurar MySQL en el servidor 1

sudo apt-get install mysql-server mysql-client
Editar el archivo /etc/mysql/my.cnf y modificar los valores de las siguientes variables:
#server-id = 1
#log_bin = /var/log/mysql/mysql-bin.log #binlog_do_db = include_database_name bind-address = 127.0.0.1
server-id es un identificador único por servidor.
log_bin nombre de archivo donde se guardaran los logs.
bin_log_do_db nombre de la o las base de datos a replicar.
bind-address las ips donde se podrán o no conectar al servidor MySQL.

Debería quedar así:

server-id               = 1
log_bin                 = /var/log/mysql/mysql-bin.log
binlog_do_db            = basedatos_prueba
# bind-address            = 127.0.0.1
Ahora reiniciamos el servicio mysql.

sudo service mysql restart
Entramos a la consola con usuario root, nos pedirá la contraseña:

mysql -u root -p 
Ejecutaremos unas consultas, crearemos usuario para que se ejecute la replicación entre los servidores.

create user 'replicator'@'%' identified by 'password'; 
Otorgamos los derechos al usuario a las base de datos.

grant replication slave on *.* to 'replicator'@'%'; 
Finalmente obtener información del servidor configurado para despues ser utilizada (GUARDAR LOS DATOS EXTRAIDOS)

show master status; 
La salida similar a esta:

+------------------+----------+----------------+------------------+
| File             | Position | Binlog_Do_DB   | Binlog_Ignore_DB |
+------------------+----------+----------------+------------------+
| mysql-bin.000001 |      59 | basedatos_prueba|                  |
+------------------+----------+----------------+------------------+
1 row in set (0.00 sec)
PASO 2: Instalar y configurar MySQL en el servidor 2

sudo apt-get install mysql-server mysql-client
Editar el archivo /etc/mysql/my.cnf y AHORA cambiaremos el id, por otro numero único:
#server-id = 1
#log_bin = /var/log/mysql/mysql-bin.log #binlog_do_db = include_database_name bind-address = 127.0.0.1
Debería quedar así:

server-id               = 2
log_bin                 = /var/log/mysql/mysql-bin.log
binlog_do_db            = basedatos_prueba
# bind-address            = 127.0.0.1
Después de cambiar el archivo reiniciamos el servicio mysql.

sudo service mysql restart
Entramos a la consola con usuario root, nos pedirá la contraseña:

mysql -u root -p 
Crearemos usuario para que se ejecute la replicación entre los servidores.

create user 'replicator'@'%' identified by 'password'; 
Creamos la base de datos que queremos replicar, si ya existe se omite el paso.

create database basedatos_prueba; 
Otorgamos los derechos al usuario a las base de datos.

grant replication slave on *.* to 'replicator'@'%'; 
El siguiente paso permitirá comenzar con la replica de los datos, detenemos el espejo, configuramos con la información que extrajimos con anterioridad con el comando "show master status"

slave stop; 
CHANGE MASTER TO MASTER_HOST = '3.3.3.3', MASTER_USER = 'replicator', MASTER_PASSWORD = 'password', MASTER_LOG_FILE = 'mysql-bin.000001', MASTER_LOG_POS = 54; 
slave start; 
Necesitamos remplazar la contraseña por la que elegimos anteriormente cuando se creo el usuario y se dio derechos.


Lo ultimo que tenemos que realizar es obtener los datos del master (segundo servidor) para realizar la sincronización en el sentido contrario.

SHOW MASTER STATUS; 
La salida será similar a esta:

+------------------+----------+-----------------+------------------+
| File             | Position | Binlog_Do_DB    | Binlog_Ignore_DB |
+------------------+----------+-----------------+------------------+
| mysql-bin.000004 |      125 | basedatos_prueba|                  |
+------------------+----------+-----------------+------------------+
1 row in set (0.00 sec)
Guardamos los datos nuevamente, para aplicarlos en el primer servidor y que la replicación sea en ambos sentidos.

PASO 3:  Configuración del regreso de la replicación

En el primer servidor, ejecutar lo siguiente en la linea de comandos.

 
slave stop; 
CHANGE MASTER TO MASTER_HOST = '4.4.4.4', MASTER_USER = 'replicator', MASTER_PASSWORD = 'password', MASTER_LOG_FILE = 'mysql-bin.000004', MASTER_LOG_POS = 125; 
slave start; 
PASO 4: Probar la replicación

Si no existiera la base de datos configurada:

create database basedatos_prueba; 
Se crea la tabla en el primer servidor.

CREATE TABLE basedatos_prueba.ejemplo (`id` integer(10)); 
Revisamos en el segundo servidor que exista la tabla (comprobar que se replico):

SHOW TABLES IN basedatos_prueba; 
En ese mismo segundo servidor eliminamos la tabla:

DROP TABLE basedatos_prueba.ejemplo; 
Y comprobamos que no exista en el primer servidor.




Nota: Tener cuidado al realizar este tipo de replicación cuando se tengan estructuras de tabla donde existan campos que sean auto_increment.
















miércoles, 21 de enero de 2015

Plugins MySQL


INSTALACION DE PLUGIN:

Los plugins deben ser reconocidos por el servidor antes de ser usado. Esto se logra con diferentes métodos.

Normalmente el plugin se activa al reiniciar el servicio MySQL

*Buit-in plugins:
Es un plugin construido dentro del servidor que es reconocido automáticamente. Puede cambiarse el valor si se usa la opción --plugin_name.

*Registrando el plugin en la tabla mysql.plugin:
El servidor normalmente habilita cada plugin listado en la tabla al iniciar el servicio, sin embargo puede ser cambiado con la opción --plugin_name. Si el servicio de MySQL se inicia con la opción --skip-grant-tables, esta opción no consulta la tabla y no carga los plugins.

*Mandando llamar el plugins con la opción --plugin-load:
Es una librería que se carga al iniciar el servicio MySQL, con la opción --plugin-load. Pero puede ser cambiado si se usa la opción --plugin_name.

Esta opción usa un listado separado por punto y coma de los plugins con la siguiente sintaxis, name=plugin_library, donde "name" es el nombre del plugin y "plugin_library" es el nombre de la librería compartida que contiene el código. Las librerías deberán estar alojadas en el directorio que refiera la variable "plugin_dir". Esta opción no registra en la tabla mysql.plugin. Para reinicios subsecuentes, el servidor carga de nuevo los plugins SOLO con la opción --plugin-load.

*Instalar plugin con "INSTALL PLUGIN":
Cuando un plugin esta localizado en el archivo de la librería puede ser cargada en tiempo de ejecución con "INSTALL PLUGIN". Ademas registra el plugin en la tabla mysql.plugin, lo cual
causa que cuando se reinicie el servicio MySQL se recarguen los plugins. 

Si utiliza las dos opciones para registrar un plugin, "INSTALL PLUGIN" y --plugin-load, el servicio reiniciara pero mandame mensajes de que el plugin ya existe.

ejemplo:
con "--plugin-load":
[mysqld]
plugin-load=myplugin=somepluglib.so

Con sentencia:
mysql> INSTALL PLUGIN myplugin SONAME 'somepluglib.so';

CONTROLAR ACTIVAR PLUGINS
Se puede activar o desahabilitar un plugin al gusto sin importar si esta configurado con algunas de las opcinoes anteriores con:
--plugin_name=OFF       : Desahabilita el plugin
--plugin_name[=ON]      : Habilita el plugin, pero si marca error de todas formas inicia el servicio.
--plugin_name=FORCE  : Inicia el servicio siempre y cuando no exista error.
--plugin_name=FORCE_PLUS_PERMANENT : Inicia el servicio siempre y cuando no exista error pero aparte previene  de que se desahabiliten plugins en tiempo de ejecución, marcaria error.

El estado de los plugins activos pueden ser visto en information_schema.plugins.load_option.

Ejemplo: Tenemos 3 plugins, donde "csv" no es extremadamente importante que inicie si llega a fallar en el inicio, pero "blackhole" debe iniciar si o si y el plugin "archive" esta desahabilitado.

[mysqld]
csv=ON
blackhole=FORCE
archive=OFF


DESINSTALAR UN PLUGIN
* Sentencia "UNINSTALL PLUGIN", daría de baja el plugin y eliminaría el registro de la tabla mysql.plugin
-No puede desahabilitar plugins que son construidos en el servicio MySQL.
-No puede bajar plugins donde el servicio fue iniciado con --plugin-name=FORCE_PLUS_PERMANENT.


Información de los Plugin MySQL

*Cada registro de la tabla INFORMATION_SCHEMA.PLUGINS contiene información de cada plugin cargado.

SELECT * FROM information_schema.PLUGINS\G

Dentro de este resultado, todo lo que tenga en PLUGIN_LIBRARY = NULL, son plugins internos y no pueden ser descargados.


* SHOW PLUGINS\G
Muestra un registro por cada plugin cargado.

*La tabla mysql.plugin muestra los plugins registrador con "INSTALL PLUGINS".




No me a tocado a mi hacer uso de ellos, al menos no configurarlos yo, pero lo guardo como nota por si los requiero.








martes, 2 de diciembre de 2014

Extraer una tabla de un respaldo.

Para no tener que levantar todo el respaldo de una base de datos para solo extraer una tabla, hice el siguiente script:

   #! /bin/bash

   if test -z "$1"
   then
       echo First parameter will be "table"
       exit
   else
       TABLE=$1
   fi
  
  echo Table name: $1.
  echo File in to search: $2.
  echo File out: $3.
  sed -n -e '/CREATE TABLE.*'$TABLE'/,/CREATE TABLE/p' $2 > $3.dump
  echo Need to edit file $3.dump
  echo and extract just what you need.
  echo Lucky

 Se manda de parámetro el nombre de la tabla, el archivo del .dump y el nombre del archivo de salida.

sábado, 29 de noviembre de 2014

Leer fichero mysql-bin

Este archivo se genera a partir de que se tiene activo que se guarde el log de toda modificación en la base de datos, este archivo es leído por el servidor espejo, lo lee y toma los cambios y se ejecutan, para mantener la integridad de datos en los servidores.

¿Como leer este fichero binario?

Por fortuna contamos con el comando mysqlbinlog, con los parámetros correctos, podemos extraer la información para posteriormente ser leída y procesada.

 mysqlbinlog binlog.000046 > archivo.out
Y con algunos parámetros
mysqlbinlog --start-datetime="2008-05-28 16:41:00" --stop-datetime="2008-05-28 16:43:00" > archivo.out
Ya es cuestión de jugar con sus parámetros.

mas información aquí

Muy útil hasta para recuperar información.

viernes, 21 de noviembre de 2014

Se me lleno el disco de Base de Datos (ESPEJO uff!!)

Caso curioso...

Caso:
El servidor espejo( de mi productivo)  lleno el disco duro donde se encontraba la partición de mi base de datos, 100%, y como buena Ley de Murphy, el monitoreo que le tenia activado no estaba activado para esa unidad de disco, motivo por el cual no me di cuenta antes de que sucediera.

Síntoma:
El servicio de MySQL por obvias razones dejo de funcionar, no permitía accesar al servicio MySQL.

Causa:
Un descuido de una opción del sistema, comenzó a grabar mucha información en pocas horas inserto mas de 4millones de registros con mucha información de por medio.

Solución:
Una puede ser, depurar información en producción, dar mantenimiento en la base de datos productiva, respaldar nuevamente y restaurar y iniciar el espejo nuevamente ya con menos información.

Otra, liberar espacio en la unidad que se lleno copiando toda la carpeta de una de las base de datos a otro disco ó otro servidor, para levantar esa base de datos en ese otro disco.